ملخص تقني: التعلم التعزيزي للتحكم (CRL)

1. بيان المشكلة

أثبتت المشفّرات التلقائية المتفرقة (SAEs) أنها أداة قوية لتفكيك تنشيطات النماذج اللغوية إلى سمات قابلة للتفسير ومفهومة بشرياً. ومع ذلك، فإن طرق التحليل الحالية ساكنة في معظمها: فهي تحدد السمات التي تتنشط لأنماط مدخلات معينة، لكنها لا تكشف عن السمات التي تؤدي، عند تعزيزها، إلى تغيير مخرجات النموذج فعلياً. غالباً ما تعتمد تقنيات التحكم في التنشيط الحالية على مجموعات بيانات تباينية لاختيار السمات أو تخزين مكثف للتنشيطات لتحسين المعاملات، مما يفتقر إلى آليات التغذية الراجعة التكيفية لضبط استراتيجيات التحكم بناءً على جودة التوليد.

يسد هذا العمل الفجوة بين تحديد السمات الساكن والتدخل الديناميكي القابل للتفسير. التحدي الجوهري يكمن في تطوير إطار عمل لا يكتفي باختيار سمات SAE للتحكم في نموذج ما فحسب، بل يوفر أيضاً بروتوكولات تدخل على مستوى الرمز (token-level) تشرح لماذا تم اختيار سمة معينة وكيف أثرت على المخرج، مما يحول التحكم إلى أداة للتفسير الآلي (mechanistic interpretability).

2. المنهجية: التعلم التعزيزي للتحكم (CRL)

يقترح المؤلفون التعلم التعزيزي للتحكم (CRL)، وهو إطار عمل يعامل التحكم في تمثيلات المحولات (transformers) كعملية اتخاذ قرار ماركوف (MDP) عبر سمات SAE.

2.1 صياغة عملية ماركوف لاتخاذ القرار (MDP)

• الحالة (S): الملاحظة هي تنشيط تيار المتبقي ($x \in \mathbb{R}^d$) في طبقة محددة $\ell$ لموضع الرمز الحالي.
• الإجراء (A): متجه ثنائي يختار سمة واحدة أو أكثر من سمات SAE لتعزيزها. يختار السياسة (policy) أعلى-$k$ من السمات (عادةً $k=1$ من أجل القابلية للتفسير).
• الانتقال (P): حتمي، محكوم بالمرور الأمامي للمحول مع تطبيق تدخل السمة.
• المكافأة (R): مكافآت مرتبطة بالمهمة بناءً على جودة المخرج النهائي (مثل: الصحة في MMLU، أو الرفض في مهام السلامة).

2.2 التحكم في الرمز والسمة في CRL

في كل خطوة توليد $t$، يقوم إطار العمل بتدخلات على مستوى الرمز:
$$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$$
هنا، $a_t$ هو متجه الاختيار الثنائي المتفرق، $c$ هو معامل التحكم، و $W_{dec}$ هو مفكك الترميز الخاص بـ SAE. تقوم شبكة السياسة $\pi_\theta$ برسم خرائط تنشيطات تيار المتبقي إلى لوغاريتمات (logits) لاختيار السمات، ويتم تنفيذها كشبكة MLP مكونة من طبقتين.

2.3 القناع المتميز التكيفي (AFM)

لمنع السياسة من الانهيار في مجموعة صغيرة من السمات النشطة بشكل متكرر، يقدم CRL قناعاً متميزاً تكيفياً (Adaptive Feature Masking).

• قناع بوليني لكل عينة يقيد خيارات اختيار السمات.
• يبدأ القناع بمجموعة فرعية صغيرة من السمات ويتوسع تدريجياً أثناء التوليد، مدمجاً السمات التي تم تنشيطها طبيعياً في الخطوات السابقة.
• تعزز هذه الآلية اكتشاف سمات متنوعة مع الحفاظ على قابلية تفسير التدخلات أحادية السمة.

2.4 التحسين

يتم تدريب السياسة وشبكة الناقد (لتقدير قيمة الحالة) باستخدام تحسين السياسة القريبة (PPO).

• معامل التحكم ($c$): يتم تحديده تكيفياً من خلال متوسط قوة التنشيط من عينات التدريب المتوقعة بشكل صحيح، مما يلغي الحاجة إلى الضبط اليدوي عبر الطبقات.
• شبكة الناقد (Critic Network): شبكة MLP مكونة من طبقتين تقدّر دالة القيمة $V_\phi(s)$، مما يسمح بفصل أخطاء السياسة (اختيار السمات) عن أخطاء الناقد (تقدير المكافأة) أثناء التحليل.

3. المساهمات الرئيسية

يحدد العمل أربع مساهمات رئيسية:

1. بروتوكولات التدخل على مستوى الرمز: إطار عمل يولد بروتوكولات تحدد بدقة أي سمة SAE تم اختيارها عند كل رمز وما هو تأثيرها على المخرج، مما يتيح تحليلاً سلوكياً دقيقاً.
2. الأدوات التشخيصية:
   • تتبع نقاط التفرع (Branch Point Tracking): يحدد نقاط القرار الحرجة حيث تؤدي البوادئ (prefixes) المتطابقة إلى نتائج مختلفة بناءً على اختيار السمة.
   • تحليل مسار الناقد (Critic Trajectory Analysis): يستخدم دالة القيمة المتعلمة للتمييز بين أخطاء السياسة (اختيار السمات) وأخطاء الناقد (تقدير المكافأة).
3. القناع المتميز التكيفي (AFM): آلية توازن بين الاستكشاف والاستغلال لضمان اكتشاف سمات متنوعة دون التضحية بقابلية تفسير التدخلات أحادية السمة.
4. التوصيف التجريبي لدلالات السمات: يوضح أن الطبقات المبكرة تشفر البنى النحوية بينما تلتقط الطبقات المتأخرة الدلالات المجردة، وأن المهام المختلفة تظهر أنماط اختناق متميزة.

4. النتائج التجريبية

تم تقييم إطار العمل على Gemma 2 2B (و LLaMA-3.1 8B) باستخدام Gemma Scope و LLaMA Scope SAEs عبر خمسة اختبارات مرجعية: MMLU، BBQ، GSM8K، HarmBench، و XSTest.

• تحسينات الأداء: حقق CRL تحسينات عبر جميع الاختبارات المرجعية. تشمل المكاسب الملحوظة:
  • HarmBench: +7.66 نقطة مئوية (41.46% $\to$ 49.12%).
  • BBQ (الغامض): +5.69 نقطة مئوية.
  • MMLU: +3.31 نقطة مئوية.
  • GSM8K: +1.03 نقطة مئوية.
• التكامل: يحقق CRL مكاسب إضافية عند تطبيقه على النماذج التي خضعت لضبط دقيق تحت الإشراف (SFT) (على سبيل المثال، زادت دقة MMLU من 55.2% إلى 56.1% مع SFT + CRL).
• دلالات محددة للطبقة:
  • الطبقة 10: تلتقط السمات خصائص نحوية ملموسة (مثل "الترميز الرياضي"، "الإشارات الضميرية").
  • الطبقة 20: تلتقط السمات دلالات سياقية مجردة (مثل "بنية الاستدلالات المنطقية"، "البراهين الرياضية").
  • تختلف طبقات التدخل المثلى حسب المهمة (مثلاً، الطبقة 5 لـ BBQ، والطبقة 24 لـ MMLU).
• تحليل الناقد:
  • BBQ: يظهر تنسيقاً فعالاً بين السياسة والناقد مع تمييز واضح للعينات.
  • MMLU: يظهر "اختناق الناقد" حيث يصعب التمييز بين العينات المصححة والموجهة بشكل خاطئ، مما يشير إلى أن الناقد يواجه صعوبة في تقدير القيمة لمهام الاستدلال المعقدة.
  • HarmBench مقابل XSTest: يظهر HarmBench فجوات واضحة بين العينات الصحيحة والخاطئة، بينما يعرض XSTyst أنماط تقدير معكوسة، مما يشير إلى تحديات متعلقة بالمهمة في تقدير المكافأة.

5. الأهمية والادعاءات

يضع هذا العمل CRL كتقدم مهم في التفسير الآلي (mechanistic interpretability). تكمن أهميته الأساسية في التحول من التحليل الساكن للسمات (مراقبة ما يتنشط) إلى أخذ عينات التدخل الديناميكي (مراقبة ما يغير النموذج).

• القابلية للتفسير: من خلال فرض اختيار سمات فردية وتسجيل التدخلات، يوفر CRL رؤية "آلية" لسلوك النموذج، موضحاً أن سمات مثل "العمليات الرياضية" يمكن أن تعمم معجمياً إلى وحدات كمية مثل "الأطفال" في المسائل الكلامية.
• القدرة التشخيصية: يعمل إطار العمل كأداة تشخيصية لكل من النموذج و SAE. إذا انهارت السياسة على سمات غير متسقة دلالياً رغم وجود AFM، فإن ذلك يشير إلى قصور في SAE (مثل نقص المفاهيم أو تعدد المعاني) وليس فشلاً في طريقة التحكم.
• العملية: يعمل CRL بعبء إضافي منخفض على الاستدلال (8-9% تأخير في زمن الاستجابة) ولا يتطلب إعادة تدريب أوزان النموذج الأساسية، مما يوفر آلية تحسين خفيفة الوزن وتالية للتدريب (post-hoc).

يخلص المؤلفون إلى أن تعلم توجيه السمات بالتزامن مع التعلم التعزيزي يؤسس أداة عملية لفهم والتحكم في النماذج اللغوية، مما يكمل التحليل الساكن برؤى ديناميكية خاصة بكل مهمة.