CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

ملخص تقني: CircuitSteer

بيان المشكلة

لا يزال التحكم في سلوك النماذج اللغوية الكبيرة (LLMs) عبر التوجيه أثناء الاستدلال (inference-time steering) يمثل تحديًا حاسمًا في مواءمة الذكاء الاصطناًعي. تعتمد الأساليب الحالية، مثل إضافة التنشيط التبايني (CAA) وهندسة التمثيل (RepE)، عادةً على تدخلات أحادية الطبقة وثابتة مستمدة من فروق التنشيط الإجمالية. تواجه هذه الأساليب قيودين أساسيين:

1. الخلط الدلالي (Semantic Conflation): فهي تطبق متجه تدخل واحد عبر مدخلات متنوعة دلاليًا، مما يؤدي غالبًا إلى الفشل في التقاط الطبيعة الموزعة للمفاهيم عالية المستوى.
2. عدم المحاذاة الهندسية (Geometric Misalignment): تتوزع المفاهيم الدلالية عالية المستوى عبر طبقات متعددة وتتطور تدريجيًا عبر الشبكة. إن التدخلات متعددة الطبقات دون مراعاة هندسية تفشل لأن الميزات التي تشفر نفس المفهوم في أعماق مختلفة غالبًا ما تكون اتجاهات فك التشفير (decoder directions) الخاصة بها غير متوافقة هندسيًا. ويؤدي دمج هذه الميزات دون محاذاة إلى تداخل هدام، مما يسبب انهيار الطلاقة (تدهور جودة النص) أو تغيرات سلوكية غير مستقرة.

تحسن أساليب المشفّر التلقائي المتناثر (SAE) الحالية من قابلية التفسير من خلال تفكيك التنشيطات إلى ميزات أحادية المعنى، لكنها لا تزال غالبًا ما تفترض أن التدخل أحادي الطبقة كافٍ، متجاهلة انتشار الإشارات الدلالية عبر الطبقات.

المنهجية: CircuitSteer

إن CircuitSteer هو إطار عمل لا يتطلب تدريبًا، يستفيد من المشفرات التلقائية المتناثرة (SAEs) لتحديد ومعالجة دوائر دلالية متماسكة موزعة عبر طبقات متعددة. بدلاً من اختيار الميزات بشكل مستقل في كل طبقة، يقوم ببناء دائرة تدفق الميزات (feature flow circuit) بناءً على معيارين مشتركين:

1. التنشيط المشترك للميزات (Feature Co-activation): تحديد أزواج من الميزات $(l, i)$ و $(l+1, j)$ التي تنشط في آن واحد على نفس المدخلات، مما يقرب من التأثير السببي.
2. المحاذاة الهندسية (Geometric Alignment): ضمان توافق اتجاهات فك التشفين لهذه الميزات (تشابه جيب التمام العالي). وهذا يمنع التداخل الهدام عند تطبيق التدخلات عبر الطبقات.

تتم العملية عبر ثلاث مراحل:

• اكتشاف الدائرة (Circuit Discovery): باستخدام التحليل التبايني بين المطالبات المستهدفة ($D^+$) والمطالبات الحميدة ($D^-$)، تحسب الطريقة درجة النوعية التباينية (contrastive specificity score) للحواف في رسم تدفق الميزات البياني. يتم الاحتفاظ بالحواف ذات درجات النوعية العالية لعزل الدائرة الفرعية المسؤولة عن السلوك المستهدف.
• تخليق المتجهات (Vector Synthesis): لكل طبقة مشاركة في الدائرة الفرعية المعزولة، يتم تخليق متجه توجيه كثيف عن طريق متوسط اتجاهات فك التشفير لجميع الميزات المشاركة في حواف الدائرة. هذا يفصل مقدار التدخل عن حجم الدائرة.
• التدخل متعدد النقاط (Multi-Point Intervention): أثناء الاستدلال، يتم تطبيق هذه المتجهات المخلقة في آن واحد عند جميع الطبقات ذات الصلة باستخدام معامل قياسي $\lambda$. تضمن المحاذاة الهندسية أن التدخلات تعزز إزاحة اتجاهية متسقة عبر العمق بدلاً من السماح للطبقات اللاحقة بالتعويض عن الاضطرابات السابقة.

لا يتطلب إطار العمل أي تحديث للأوزان أو تحسين قائم على التدرج؛ بل يستخدم SAEs مدربة مسبقًا (مثل Gemma-Scope و Llama-Scope) ويجري عمليات جبرية على تنشيطات التمرير الأمامي.

المساهمات الرئيسية

• إطار عمل CircuitSteer: طريقة توجيه متعددة الطبقات جديدة لا تتطلب تدريبًا، تحدد دوائر SAE الخاصة بالسلوك عبر التنشيط المشترك للميزات والمحاذاة الهندسية لاتجاهات فك التشفير.
• ضرورة المحاذاة الهندسية: إثبات تجريبي بأن المحاذاة الهندسية لاتجاهات فك التشفير هي شرط مسبق للتوجيه المستقر متعدد الطبقات. تسبب الميزات غير المتوافقة انهيارًا في الطلاقة، بينما تحقق الميزات المتوافقة تقليلًا سلوكيًا ثابتًا مع بقاء درجة الحيرة (perplexity) قريبة من المستوى المرجعي.
• التقييم الشامل: التقييم مقابل ثمانية نماذج مرجعية (بما في ذلك CAA و RepE و ITI و LoReFT والأساليب القائمة على SAE) عبر أربع مجموعات بيانات سلوكية (السمية، العاطفة، التملق، الرفض) وعائلتين من النماذج (Gemma-2-2B و Llama-3.1-8B-Instruct).

النتائج

عبر جميع النماذج ومجموعات البيانات، يعد CircuitSteer هو الأسلوب الوحيد الذي ينتج باستمرار تدخلات تحافظ على الطلاقة:

• الحفاظ على الطلاقة: تضحي الأساليب المنافسة إما بجودة النص (درجة حيرة عالية) أو تفشل في تحقيق تقليل سلوكي كافٍ. يحافظ CircuitSteer على درجة حيرة معيارية قريبة من 1.0 مع تحقيق تقليل سلوكي كبير.
• السلوكيات المعقدة: في المهام الصعبة مثل التملق (sycophancy) و الرفض (refusal)، غالبًا ما تفشل الأساليب أحادية الطبقة (مثل CAA) تمامًا أو تنتج تغييرات ضئيلة. ينجح CircuitSteer في تقليل التملق في Gemma-2-2B (حيث تفشل الأساليب الأخرى) ويقلل معدلات الرفض من 89% إلى 0% في Llama-3.1-8B-Instruct.
• القوة والمتانة: يتوسع المنهج بفعالية مع النماذ الأكبر (Qwen3.5-27B) وعائلات SAE المختلفة دون الحاجة لإعادة ضبط المعلمات الفائقة.
• الحفاظ على القدرات: لا يؤدي التوجيه القوي إلى تدهور كبير في القدرات الأساسية؛ حيث تظل الدقة في اختبارات MMLU و GSM8K سليمة إلى حد كبير.

الأهمية والادعاءات

يزعم البحث أن CircuitSteer يثبت أن التوجيه عبر الدوائر متعددة الطبقات، والذي يتم تمكينه عبر فرض المحاذاة الهندسية بين الميزات المختارة، يعطي تحكمًا سلوكيًا أكثر قوة وفعالية من التدخلات الثابتة أحادية النقطة.

يضع المؤلفون هذا العمل كخطوة مبدئية نحو نشر أكثر أمانًا للنماذج اللغوية من خلال:

1. الانتقال من التدخلات الغامضة في التدفق المتبقي (residual-stream) إلى التحكم الشفاف على مستوى الميزات، حيث يمكن فحص وضبط الدائرة الفرعية المحددة لسلوك ما.
2. معالجة أوضاع الفشل الأساسية للتوجيه متعدد الطبقات دون مراعاة هندسية (التداخل الهدام وانهيار الطلاقة).
3. توفير آلية قابلة للتوسع ولا تتطلب تدريبًا للتحكم السلوكي تحترم البنية الحسابية الموزعة للنماذج اللغوية الكبيرة.

يخلص البحث إلى أن محاذاة التدخلات مع الهندسة الميزية الخاصة بالنموذج أمر ضروري لتحقيق كل من المتانة والشفافية في مواءمة الذكاء الاصطناعي.