ملخص تقني: ضبط التعليمات يغير كيفية تكييف حالات الحالة العليا مع القراءة المتأخرة

بيان المشكلة

حددت أبحاث التفسير الآلي الأخيرة سلوكيات ما بعد التدريب (مثل الرفض، الشخصية، اتباع التعليمات) في اتجاهات وميزات وطبقات محددة، غالباً في المراحل المتوسطة إلى المتأخرة من مكدس المحولات (Transformer stack). ومع ذلك، لا تزال هناك فجوة حرجة في فهم التعاون بين الحوسبة المبكرة والمكدس المتأخر. وتحديداً، ليس من الواضح ما إذا كانت الاختلافات الناتجة عن ما بعد التدريب تنشأ أساساً من التغييرات في الميزات المتأخرة نفسها، أم من التغييرات في الحالات المتبقية (residual states) المبكرة التي تُنشط تلك الميزات. السؤال الجوهري هو: هل يكتفي ضبط التعليمات (Instruction Tuning) بتعديل طبقة القراءة المتأخرة، أم أنه يغير بشكل جذري الحالة العليا المطلوبة لجعل تلك الميزات المتأخرة فعالة؟

المنهجية: التوصيل المتقاطع لأول تباين (First-Divergence Cross-Patching)

لمعالجة ذلك، قدم المؤلفون التوصيل المتقاطع لأول تباين، وهو أداة تشخيصية تفكك تأثير ضبط التعليمات (IT) إلى مكونات تعتمد على الحالة العليا ومكونات مباشرة للمكدس المتأخر.

1. موقع التدخل

لكل مطالبة (prompt)، تحدد الطريقة موضع أول رمز (token) يتم توليده حيث يختلف نموذج القاعدة المسبق التدريب (PT) ونظيره المضبوط بالتعليمات (IT) في اختيار الرمز التالي الأعلى (top-1). لتكن هذه الرموز هي $t_{PT}$ و $t_{IT}$.

2. المصفوفة الرباعية (Four-Cell Factorial)

عند نقطة التباين هذه، يقوم المؤلفون ببناء أربع تمريرات أمامية هجينة عبر دمج الحالة المتبقية العليا ($U$) لأحد النموذجين مع المكدس المتأخر ($L$) للآخر. يُعرف المكدس المتأخر بأنه آخر ~40% من الطبقات (بدءاً من عمق 60% تقريباً).
التهيئات الأربعة هي:

1. $Y(U_{PT}, L_{PT})$: الحالة العليا للقاعدة + المكدس المتأخر للقاعدة (التحكم)
2. $Y(U_{PT}, L_{IT})$: الحالة العليا للقاعدة + المكدس المتأخر لضبط التعليمات
3. $Y(U_{IT}, L_{PT})$: الحالة العليا لضبط التعليمات + المكدس المتأخر للقاعدة
4. $Y(U_{IT}, L_{IT})$: الحالة العليا لضبط التعليمات + المكدس المتأخر لضبط التعليمات (التحكم)

يُعرف المقياس $Y$ بهامش اللوغاريتم (logit margin): $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. التفكيك

المقياس الجوهري هو تأثير التفاعل، ويُحسب كالتالي:
$$\text{Interaction} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
يقيس هذا مدى زيادة مساهمة المكدس المتأخر لضبط التعليمات عند قراءته لحالته العليا الخاصة (IT) مقارنة بحالة القاعدة (PT).

• تأثير المكدس المتأخر المباشر: مساهمة المكدس المتأخر لضبط التعليمات عند اقترانه بالحالة العليا للقاعدة ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• التأثير المعتمد على الحالة العليا: الربح الإضافي عندما يقرأ المكدس المتأخر لضبط التعليمات حالته العليا الخاصة (IT).

4. التحقق والضوابط

تستخدم الدراسة ضوابط صارمة لضمان أن الحالات الهجينة ليست نتاج عيوب اصطناعية:

• سلامة الحالة الهجينة: التداخل (Interpolation) بين حالات PT و IT سلس؛ كما أن التباديل الموقعة العشوائية تفشل في إعادة إنتاج التأثير.
• تحيز الاختيار: تظهر حالات الخلاف المحلي العشوائي (ليس عند أول تباين) تأثيراً تفاعلياً أقل ولكن بنفس الإشارة، بينما يكون التقييم قبل التباين قريباً من الصفر، مما يؤكد أن أول تباين يركز التأثير.
• السجل الأصلي: يستمر التأثير عند استخدام سجلات توليد IT أو PT الأصلية بدلاً من بادئة مشتركة.

النتائج الرئيسية

1. الاقتران بين الحالة العليا والمتأخرة

عبر خمس عائلات من النماذج الكثيفة (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B)، تظهر النتائج اقتراناً قوياً بين الحالة العليا والمتأخرة:

• التأثير المباشر: يضيف المكدس المتأخر لـ IT مقدار +0.76 لوغاريتم نحو رمز IT عند اقترانه بالحالة العليا لـ PT.
• التأثير المعتمد على الحالة العليا: يضيف المكدس المتأخر لـ IT مقدار +2.44 لوغاريتم عند اقترانه بالحالة العليا لـ IT.
• التفاعل: معامل التفاعل هو +1.68 لوغاريتم، وهو موجب في جميع العائلات الخمس.
• التفسير: للمكدس المتأخر تأثير مباشر حقيقي، لكن معظم التحول السلوكي الملاحظ في نسخة IT لا يتجلى إلا عندما يقرأ المكدس المتأخر حالته العليا (IT) الخاصة.

2. الفصل بين وصفات التدريب

يميز التشخيص بين وصفات ما بعد التدريب المختلفة:

• أحفاد اتباع التعليمات (Instruction-Following Descendants): تظهر اعتماداً قوياً على الحالة العليا (تفاعل كبير). تتطلب تأثيراتها المتأخرة حالتها العليا المحددة.
• OpenMath2 (نطاق الرياضيات): رغم مشاركتها لنفس قاعدة Llama 3.1، فإن تأثير OpenMath2 المتأخر في نطاق الرياضيات هو تأثير قابل للنقل إلى حد كبير. فهو يظهر تأثيراً كبيراً حتى عند قراءة الحالة العليا للقاعدة (التفاعل $\approx -0.15$).
• الاستمرار الموجه (CPT): لا تعيد محولات CPT البرمجية والطبية الحيوية التي نجحت في تحسين NLL النطاق نمط التفاعل الخاص بالتعليمات (التفاعلات قريبة من الصفر). يشير هذا إلى أن الاعتماد على الحالة العليا خاص بمحاذاة اتباع التعليمات، وليس للتكيف مع النطاقات بشكل عام.

3. الأدلة الميكانيكية

• ميزات الطبقة النهائية المتفرقة: تحدد الـ Crosscoders طبقات MLP النهائية ميزات متفرقة تتوسط جزئياً التفاعل. يؤدي استئصال (Ablation) أعلى 200 ميزة سببية إلى تقليل التفاعل بنسبة 26–48% في العائلات ذات البوابة النوعية.
• الدفع من الحالة العليا: يؤدي حقن حسابات IT العليا في الهجين الضعيف إلى استعادة +1.71 لوغاريتم، مع جزء يتم بوساطة هذه الميزات النهائية. يدعم هذا آلية "التسليم" (handoff) حيث تقود الحالة المبكرة تنشيط ميزات الطبقة النهائية.
• الحالة المهيكلة: تُظهر إسقاطات PCA لفرق الحالة الحدودية (descendant-minus-base) إغلاق جزء كبير من الهامش المفقود، مما يشير إلى أن الحالة العليا المفقودة لها شكل مهيكل ومنخفض الرتبة (low-rank).

4. العواقب اللاحقة

• تقييم الرمز المفروض: فرض الرمز المتغير المفضل لـ IT يحسن نجاح الإجابة الدقيقة في مطالبات الاستدلال المحتوي بنسبة +0.157.
• الاستمرار المقيد: يستمر التفاعل عبر آفاق قصيرة (حتى $N=8$ رموز)، حيث تحمل الذيول الأصلية المتماسكة تفاعلاً أكبر من الذيول المختلطة.

الأهمية والادعاءات

يدعي البحث تقديم تفكيك سببي محلي لكيفية تغيير ضبط التعليمات لسلوك النموذج، متجاوزاً مجرد تحديد مواقع الميزات إلى فهم تنشيطها المشروط.

1. دحض فكرة المكدسات المتأخرة ذاتية الاحتواء: تفضل النتائج عدم اعتبار المكدسات المتأخرة مستقلة بذاتها. إن وجود تأثير متأخر كبير في نسخة IT لا يعني أن الحوسبة مستقلة؛ بل غالباً ما تعتمد على الحالة العليا المحددة التي أنتجتها عملية تدريب IT.
2. آليات خاصة بالوصفة: بصمة "الاعتماد على الحالة العليا" هي خاصية محددة لمحاذاة اتباع التعليمات، مما يميزها عن الضبط الدقيق للنطاقات (مثل OpenMath2) أو التدريب المستمر العام (CPT).
3. تشخيص عملياتي: يقترح المؤلفون أن أي دراسة تحدد المواقع في الطبقات المتأخرة يجب أن تختبر ما إذا كانت تلك التأثيرات تصمد تحت الحالة العليا للنسخة الأخرى. إذا تلاشى التأثير أو تقلص بشكل كبير، فإن المكدس المتأخر ليس ذاتي الاحتواء.
4. حدود النطاق: يذكر المؤلفون صراحة أن هذه اختبارات قراءة محلية للرمز التالي عند أول تباين. هم لا يدعون لتقدير متوسط سلوك النشر أو تقديم إعادة بناء كاملة للدائرة (circuit) الخاصة باتباع التعليمات. النتائج محصورة في عائلات المحولات الكثيفة ودعامات المطالبات المحددة.

باختصار، يجادل البحث بأن ضبط التعليمات يعيد تشكيل التعاون بين الحوسبة العليا والقراءة المتأخرة، حيث يكون قدرة المكدس المتأخر على إنتاج مخرجات تتبع التعليمات مشروطاً بشدة بالحالة المتبقية المحددة التي تنتجها الطبقات المبكرة من النموذج المضبوط.