Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages

ملخص تقني: الاختبار، ثم التوجيه: كيف تنفذ النماذج اللغوية القواعد الشرطية في السياق

بيان المشكلة
تنفذ النماذج اللغوية الكبيرة (LLMs) بشكل متكرر قواعد شرطية داخل السياق تأتي على هيئة "إذا كان $P(x)$ فإن $A$ وإلا $B$". وثمة سؤال جوهري في التفسير الآلي (mechanistic interpretability) هو ما إذا كان النموذج يجمع دائرة تشغيل (runtime circuit) تتكون من وحدات منفصلة لـ الاختبار (test) الخاص بالمسند $P(x)$ و التوجيه (route) للإجابة المناسبة ($A$ أو $B$)، أم أن هذه العمليات متشابكة في آلية واحدة غير قابلة للتجزئة. وبينما يمكن للتقييمات السلوكية تأكيد اتباع النموذج للقاعدة، إلا أنها لا تستطيع التمييز بين هذه الهياكل التنظيمية الداخلية. وخلافاً للدوائر المخزنة في الأوزان (مثل تحديد المفعول به غير المباشر) التي تكون مدربة مسبقاً وقابلة لإعادة الاستخدام، تتطلب الشرطيات داخل السياق تجميع الدائرة أثناء الاستدلال بناءً على محتوى المطالبة الديناميكي.

المنهجية
يقترح المؤلفون تصميماً تجريبياً مبتكراً باستخدام ترقيع التنشيط (activation patching) لفصل عملية "الاختبار" (تقييم المسند) عن عملية "التوجيه" (اختيار الإجابة).

1. تصميم المانح الرباعي: الابتكار الأساسي هو مجموعة من أربعة مطالبات مانحة (donor prompts) تخلق "تعارضاً" بين القيمة الحقيقية للمسند وكلمة الإجابة.

   • القاعدة الأساسية (BASE): قاعدة قياسية، المسند صحيح $\leftarrow$ الإجابة $A$.
   • المانح المعاكس (O-DONOR): قاعدة قياسية، المسند خاطئ $\leftarrow$ الإجابة $B$ (يعكس النتيجة).
   • المانح المبدل (MAP-DONOR): قاعدة متبادلة ("إذا كان $P(x)$ فإن $B$ وإلا $A$")، المسند صحيح $\leftarrow$ الإجابة $B$ (يعكس الربط، مع بقاء المسند صحيحاً).
   • المانح الصفري (MAP-NULL): قاعدة متبادلة، المسند خاطئ $\leftarrow$ الإجابة $A$ (يعكس الربط، مع بقاء المسند خاطئاً).
   • المنطق: في MAP-DONOR و MAP-NULL، تشير القيمة الحقيقية وكلمة الإجابة إلى تسميات متضاربة. من خلال ترقيع طبقة من تيار المتبقي (residual stream) من مانح إلى تشغيل أساسي، يمكن للباحثين تحديد ما إذا كانت تلك الطبقة تحمل الشرط (يتبع القيمة الحقيقية) أم الإجابة (يتبع الكلمة).

2. المقاييس:

   • احتمالية الانقلاب (Flip Probability): يقيس ما إذا كان الترقيع يتسبب في إخراج إجابة المانح، مع ضبطه بعتبة كتلة التسمية ($\ge 0.30$) لتجنب الآثار الاصطناعية الناتجة عن انهيار التوزيع.
   • كسر استعادة التأرجح ($R$): مقياس متدرج يقيس مدى تحريك الترقيع لفرق لوغاريتم الإجابة (logit difference) نحو إجابة المانح.
   • ضوابط النقل (Transfer Controls): للتمييز بين وحدة توجيه حقيقية وبين قراءة مرتبطة بـ token محدد، قام المؤلفون بتدريب فضاء فرعي منخفض الرتبة (DAS-lite) على زوج تسميات واحد (مثلاً: كلب/قطة) واختبار قدرته على قلب زوج آخر محجوب (مثلاً: ثعلب/بومة). كما اختبروا النقل عبر اللغات.

3. النطاق التجريبي:

   • النماذج: ثلاثة نماذج مفتوحة الأوزان من عائلتين: Gemma-3-4B، وGemma-3-12B، وQwen3-8B.
   • اللغات: ست لغات (الإنجليزية، الصينية، الهندية، الإندونيسية، التاميلية، السنهالية) تغطي أربعة خطوط كتابية.
   • الضوابط: بنك عناصر ثابت مكون من 250 عنصراً مشتركاً عبر جميع الخلايا؛ تم الإبقاء على تسميات الإجابة ($dog/cat$) بالخط اللاتيني لعزل فهم القاعدة عن تأثيرات الترجمة.

النتائج الرئيسية

1. الاختبار (TEST) كمسند معياري:

   • عبر جميع الخلايا التجريبية الـ 18 (3 نماذج $\times$ 6 لغات)، يوجد نطاق متبقي في منتصف المكدس (على سبيل المثال، الطبقتان 21-22 في Gemma-3-4B) يحمل القيمة الحقيقية للمسند.
   • ترقيع هذا النطاق باستخدام O-DONOR (الذي يعكس القيمة الحقيقية) يعيد توجيه الإجابة باحتمالية تقارب $1.0$.
   • ترقيع نفس النطاق باستخدام MAP-DONOR (الذي يعكس الربط مع بقاء القيمة الحقيقية) يترك الإجابة دون تغيير ($\approx 0.0$).
   • هذا العزل صمد أمام خمس عائلات مختلفة من المسندات (الحدود الرقمية، عضوية المجموعة، والكلمات التي تبدأ بحروف علة)، مما يؤكد أن الوحدة تحسب قيمة حقيقية مجردة، وليس قاعدة محددة.

2. التوجيه (ROUTE) غير القابل للفصل:

   • مرحلة التوجيه (حيث يتم ربط القيمة الحقيقية بكلمة الإجابة) لا تظهر أي فضاء فرعي قابل للفصل أو النقل.
   • بينما يمكن لفضاء فرعي متعلم أن يقلب زوج تسميات مدرب بدقة مثالية (دقة التبادل $\approx 1.00$)، فإنه يفشل في النقل إلى زوج تسميات جديد (الدقة $\approx 0$) في جميع النماذج.
   • النقل عبر اللغات: في Gemma-3-4B، ينتقل الاتجاه المتعلم لزوج ثابت (كلب/قطة) بشكل شبه مثالي ($\approx 0.98$) إلى نفس الزوج في لغات أخرى (التاميلية، الصينية). وهذا يشير إلى أن الاتجاه مرتبط بالرمز (محدد بكلمات الإجابة) وليس آلية توجيه مجردة.
   • في Qwen3-8B، يكون الاتجاه خاصاً بالزوج ومتعامداً مع القراءة، ولكنه لا يزال غير قابل للنقل إلى أزواج جديدة.

3. حدود المرحلة:

   • تكشف التجارب عن حد حاد بين المراحل (مثلاً، $L_{22} \to L_{23}$ في Gemma-3-4B). تحت هذا الحد، تتبع الترقيعات الشرط، وفوقه، تتبع الترقيعات كلمة الإجابة.
   • مرساة الاختبار (TEST) ثابتة لغوياً وتقع في عمق نسبي ثابت. أما بداية التوجيه (ROUTE) فتختلف حسب النموذج واللغة، مما يشير إلى أن القراءة تتبلور في مرحلة لاحقة من المكدس.

الأهمية والادعاءات
يدعي البحث وجود عدم تماثل جوهري في كيفية تنفيذ النماذج اللغوية الكبيرة للشرطيات داخل السياق:

• الاختبار معياري: تقييم المسند هو عملية معيارية، قابلة للتحديد محلياً، وقابلة للنقل، وتعمل كوحدة مستقلة. وهي تحمل قيمة حقيقية مجردة يمكن تعديلها لتوجيه قرار النموذج.
• التوجيه متشابك: آلية التوجيه ليست وحدة مجردة قابلة لإعادة الاستخدام. بدلاً من ذلك، تبدو كاتجاه قراءة مرتبط بالرموز (أو اتجاه خاص بالزوج) متشابك مع مفردات الإجابة المحددة، ولا تعمم عبر أزواج تسميات مختلفة.

الآثار المترتبة:

• التوجيه (Steering): يجب أن يكون التوجيه على مستوى المسند (تعديل القيمة الحقيقية) أكثر قابلية للنقل عبر المطالبات ومجموعات المفردات من التوجيه على مستوى الإجابة.
• التدقيق (Auditing): يوفر نطاق الاختبار (TEST) المنفصل "خطاف مراقبة" للكشف عن عدم التطابق بين الحكم/القرار والنتيجة النهائية قبل إصدار المخرج.
• الفهم الآلي: تتحدى النتائج الافتراض بأن جميع سلوكيات السياق تعتمد على دوائر مخزنة في الأوزان؛ وبدلاً من ذلك، يتضمن التجميع أثناء التشغيل مراحل متميزة حيث تكون مرحلة "الاختبار" فقط هي المعيارية.

القصور
يشير المؤلفون إلى أن نتائجهم خاصة بالنماذج مفتوحة الأوزان والمهام الاصطناعية المحكومة ذات التسميات اللاتينية أحادية الـ token. وهم لا يدعون أن هذه النتائج تمتد إلى النماذج الرائدة المملوكة لشركات، أو الشرطيات المكتوبة بخطوط أصلية، أو الإكمال الحر. كما أن الطبيعة "المتشابكة" للموجه دقيقة بالنسبة للإعدادات المختبرة ولكنها قد لا تعمم على جميع مهام التوجيه.