ملخص تقني: معتقد أم دوائر برمجية؟ أدلة سببية على تعلم الرسوم البيانية داخل السياق

1. بيان المشكلة

تتناول الورقة بحثاً في جدل جوهري في مجال التفسير الآلي (mechanistic interpretability) يتعلق بكيفية أداء النماذج اللغوية الكبيرة (LLMs) في التعلم داخل السياق (ICL). وتحديداً، تبحث فيما إذا كانت النماذج اللغوية الكبيرة تستنتج علاقات هيكلية كامنة (آلية "معتقد" تشبه الاستدلال البايزي على نماذج العالم) أم أنها ببساطة تنسخ الانتقالات المحلية الحديثة عبر دوائر الاستقراء (آلية "دوائر برمجية").

بينما اقترحت أعمال حديثة (Park et al., 2025) أن النماذج اللغوية الكبيرة تحافظ على نماذج عالم احتمالية ضمنية لهياكل الرسوم البيانية، إلا أن الحجج المضادة (Ardite, 2026; Ransome, 2026) تفترض أن السلوكيات الملحوظة يمكن تفسيرها بالكامل من خلال رؤوس الاستقراء المحلية التي تراكم إحصائيات الانتقال دون استنتاج الهيكل العالمي. يهدف المؤلفون إلى تحديد موقع هذا الجدل باستخدام مهمة تجريبية محكومة تتضمن مسارات عشوائية على هياكل رسوم بيانية متنافسة.

2. المنهجية

تستخدم الدراسة نهجاً متعدد الأوجه يجمع بين النمذجة السلوكية، والتحليل التمثيلي، والتدخلات السببية على نموذج Llama-3.1-8B.

2.1. تصميم المهمة

يستخدم المؤلفون مهمة المسار العشوائي للرسم البياني حيث يتنبأ النموذج بالعقدة التالية في تسلسل ناتج عن رسم بياني مجهول. يتم اختبار فرضيتين متنافستين:

• $H_{grid}$: رسم بياني شبكي $4\times4$ (16 عقدة، 24 حافة، درجة متغيرة).
• $H_{ring}$: رسم بياني حلقي مكون من 16 عقدة (16 حافة، درجة موحدة).

لخلق منافسة حقيقية، يقوم المؤلفون بدمج المسارات العشوائية من كلا الرسمين البيانيين عند نسب خلط محكومة ($\rho$)، حيث تمثل $\rho$ احتمال أن يكون الجزء المختار من الرسم الحلقي.

2.2. النمذجة السلوكية (التجربة 1)

يقوم المؤلفون بملاءمة نموذج ديناميكيات المعتقد للمنحنيات الدقة الملحوظة. وخلافاً لنهج الاحتمال المسبق المسطح السابق، يقدمون أولوية مرجحة بالتعقيد:
$$b_k = b_0 - \lambda \cdot C(H_k)$$
حيث $C(H_k)$ هو تعقيد طول الوصف الأدنى (MDL) لفرضية الرسم البياني (بناءً على ترميز قائمة الحواف).

• الفرضية: إذا كان النموذج يقوم باستنتاج هيكلي، فيجب أن يتطلب المزيد من الأدلة للالتزام بالرسم البياني الأكثر تعقيداً ($H_{grid}$)، مما يؤدي إلى $\hat{\lambda} > 0$.
• التباين: دوائر الاستقضاء الصرفة يجب أن تراكم إحصائيات الانتقال بشكل موحد بغض النظر عن الطوبولوجيا العالمية، مما يتنبأ بأن $\hat{\lambda} \approx 0$.

2.3. التحليل التمثيلي (التجربة 2)

يحلل المؤلفون تنشيطات التيار المتبقي (تحديداً الطبقة 26) باستخدام تحليل المكونات الرئيسية (PCA).

• المقياس: يقيسون طاقة ديريكليه المرجحة بالدرجة ($E_{norm}$) لتحديد مدى توافق الهندسة منخفضة الأبعاد لتمثيلات رموز العقد مع بنية التجاور الحقيقية للرسم البياني.
• الهدف: تحديد ما إذا كان يمكن استعادة كلتا طوبولوجيا الرسم البياني في آن واحد في فضاءات فرعية متعامدة عند نسب الخلط المتوسطة، وهو توقيع لا يتوافق مع التمثيل المختلط من النسخ المحلي.

2.4. التدخلات السببية (التجربة 3)

لإقامة علاقة سببية بين التمثيلات الداخلية والتنبؤات، يقوم المؤلفون بإجراء تدخلين:

1. رقع التنشيط (Activation Patching): استبدال تنشيطات التيار المتبقي من مطالبة "فاسدة" (مختلطة) بتلك القادمة من مطالبة "نظيفة" (رسم بياني واحد) عند طبقات محددة. ويقيسون استعادة تفضيل الرسم البياني النظيف باستخدام درجة تباين اللوجيت.
2. توجيه التنشيط (Activation Steering): إضافة "متجه فرق الرسم البياني" المتعلم (المستمد من سياقات نظيفة مقابل حلقية) إلى التيار المتبقي لتحويل التنبؤات نحو عائلة رسوم بيانية محددة.

3. النتائج الرئيسية

3.1. الأدلة السلوكية

• الحساسية للتعقيد: يُظهر النموذج الملائم أن $\hat{\lambda} > 0$ و $\hat{b}_{grid} < \hat{b}_{ring}$. يتطلب النموذج سياقاً أكبر بشكل غير متناسب للالتزام بطوبولوجيا الشبكة الأكثر كثافة مقارنة بالحلقة.
• انتقال الطور: تتحرك نقطة الانعطاف للشبكة بشكل رتيب في وقت لاحق مع زيادة أدلة الحلقة.
• اختيار النموذج: يتفوق التوصيف لكل رسم بياني (الذي يسمح بديناميكيات متميزة لكل رسم) بشكل كبير على تجريد مزيج الانحياز (الذي يعدل فقط الاحتمال المسبق) في مقاييس AIC و BIC. يشير هذا إلى أن النموذج يعالج الأدلة الهيكلية بشكل مختلف لكل طوبولوجيا، وليس فقط عبر احتمال مسبق ثابت.

3.2. الأدلة التمثيلية

• الفضاءات الفرعية المتعامدة: عند نسب الخلط المتوسطة ($\rho = 0.5$)، يكشف تحليل PCA أن كلا طوبولوجيا الشبكة والحلقة يتم ترميزهما في آن واحد في فضاءات رئيسية فرعية متعامدة.
• الاستنتاج: آلية الاستقضاء المحلية الصرفة ستنتج تمثيلاً مختلطاً واحداً لإحصائيات التواجد المشترك. وجود هيكلين عالميين قابلين للفصل يتناقض مع فرضية "النسخ فقط".
• توافق الهندسة: مع زيادة طول السياق بعد نقطة الانعطاف، تعكس الهندسة الداخلية الطوبولوجيا الحقيقية تدريجياً، حيث تنتقل $E_{norm}$ من 0.785 إلى 0.828.

3.3. الأدلة السببية

• نقل الرقعة: تؤدي رقعة الطبقة المتأخرة (حوالي الطبقة 26-30) تقريباً إلى نقل تفضيل الرسم البياني النظيف إلى المطالبة الفاسدة. والأهم من ذلك، أن هذا التأثير يمتد إلى الحواف المحجوبة (الجيران الذين لم يسبق رؤيتهم في السياق الفاسد)، مما يشير إلى أن النموذج لا يقوم بمجرد إعادة تشغيل الانتقالات الملحوظة بل يستخدم تمثيلاً هيكلياً.
• التوجيه: ينجح التوجيه الخطي باستخدام متجه فرق الرسم البياني في تحريك التنبؤات نحو الاتجاه المقصود. هذا التأثير قوي ضد المتجهات العشوائية المتساوية في المعيار وضد ضوابط التسميات المختلطة، مما يؤكد أن الاتجاهية محددة لإشارة عائلة الرسم البياني.

4. المساهمات

1. الاحتمال المسبق المرجح بالتعقيد: استبدل الاحتمالات المسطحة بمقياس تعقيد مستوحى من طول الوصف الأدنى (MDL)، مما استعاد توقيعاً كمياً للانحياز الهيكلي الحساس للطوبولوجيا ($\hat{\lambda} > 0$).
2. المنافسة المتداخلة: أثبت أن تراكم الأدلة المتحيزة للطوبولوجيا يصمد أمام توقع دائرة الاستقضاء في نظام السلوك المتماثل في ظل وجود فرضية مختلطة.
3. الترميز المتزامن: قدم دليل PCA على أن طوب topologies الرسوم البيانية العالمية المتميزة يمكن استعادتها في فضاءات فرعية متعامدة في آن واحد، وهو نمط يصعب التوفيق بينه وبين نسخ الانتقال المحلي.
4. الرابط السببي: أثبت عبر الرقعة والتوجيه أن هذه الهياكل التمثيلية تتحكم سببياً في تنبؤات الرمز التالي، بما في ذلك الانتقالات غير المرئية.

5. الأهمية والخاتمة

تخلص الورقة إلى أن الثنائية بين "المعتقد" (استنتاج الهيكل العالمي) و"الدوائر البرمجية" (الاستقضاء المحلي) هي على الأرجح ثنائية زائفة. تدعم الأدلة حساب الآلية المزدوجة:

• ذاكرة الاستقضاء (Induction-like caches) تظل مهمة، كما يتضح من التأثيرات المتأخرة على الحواف المحجوبة والاستعادة غير الكاملة تحت التوجيه.
• التمثيلات الهيكلية الكامنة تعمل بالتوازي، حيث تدمج الأدلة قبل التنبؤ النهائي.

يؤكد المؤلفون أن بنية هذا التعايش — حيث يعمل كل من استنتاج الهيكل الحقيقي ودوائر الاستقضاء في آن واحد — هي التحدي الرئيسي أمام التفسير الآلي في المستقبل. هم لا يدعون أن النماذج اللغوية الكبيرة تمتلك استدلالاً كاملاً يشبه البشر، لكنهم يؤكدون أنها تحافظ على نماذج عالم احتمالية ضمنية وقابلة للتلاعب جنباً إلى جنب مع آليات مطابقة الأنماط المحلية.