ملخص تقني: تتبع الدوائر الماركوفية لديناميكيات حالة المحولات (Transformer)

بيان المشكلة

ركزت التفسيرية الآلية (Mechanistic Interpretability) إلى حد كبير على تحليل الدوائر المحلية، والميزات، ورؤوس الانتباه لتفسير السلوكيات المعزولة. ومع ذلك، تتطلب مهام التسلسل ذات الملاحظة الجزئية نموذجاً حوسبياً مختلفاً: يجب على النموذج الحفاظ على ملخص داخلي (حالة) وتحديثه بمرور الوقت لتوجيه التنبؤات المستقبلية. وبينما توفر نماذج ماركوف المخفية (HMMs) إطاراً دقيقاً رياضياً لمثل هذه المهام — حيث يكون الحل الأمثل هو متجه الاعتقاد البايزي (Bayesian belief vector) عبر الحالات الكامنة — إلا أن هناك نقصاً في المعايير المرجعية المنضبطة لاختبار ما إذا كانت تنشيطات المحول (Transformer activations) تشفر بالفعل ديناميكيات انتقال الحالة هذه. غالباً ما تدرس الأعمال الحالية المكونات (مثل الاستقصاء، والترقيع، واستخراج الحالة) بشكل منعزل دون الوصول إلى الحقيقة الأرضية الدقيقة للحالات الكامنة، ومتجهات الاعتقاد، والأهداف المضادة للواقع (counterfactual targets) في آن واحد.

المنهجية: تتبع الدوائر الماركوفية (MCT)

يقدم هذا البحث تتبع الدوائر الماركوفية (MCT)، وهو مسار تشخيصي مصمم لاختبار ما إذا كانت تنشيطات المحول تحتوي على بنية انتقال حالة خشنة. تعمل المنهجية ضمن معيار مرجعي اصطناعي يستخدم ست عائلات متميزة من نماذج ماركوف المخفية (HMM) مع تباين في تعقيدات الانتقال والانبعاث.

المعيار المرجعي

يتم تدريب محولات سببية صغيرة (طبقتان، عرض 128، حوالي 275 ألف معلمة) على انبعاثات مرئية من نماذج HMM حيث تكون الحالات الكامنة، ومصفوفات الانتقال، واحتمالات الانبعاث معروفة بدقة. يوفر هذا الإعداد:

1. الحقيقة الأرضية الدقيقة: تسلسلات الحالات الكامنة، ومتجهات الاعتقاد البايزي، ومصفوفات الانتقال.
2. الأهداف الدقيقة: التنبؤ بالرمز التالي الأمثل بايزياً (Bayes-optimal)، وأهداف الحالة المفروضة المضادة للواقع (توزيع الرمز التالي إذا فُرضت حالة كامنة معينة).

مسار MCT

بالنظر إلى محول مدرب على انبعاثات HMM، يقوم MCT بالخطوات التالية:

1. استخراج الحالة: يقوم مستخرج الحالة $g$ برسم خرائط لمتجهات التنشيط $a_{\ell,t}$ إلى حالات مرشحة منفصلة $z_t$. يستخدم المستخرج المرجعي تجميع (K-means) على التنشيطات المتبقية.
2. استعادة الاعتقاد: يقوم مستقصى خطي (linear ridge probe) برسم خرائط للتنشيطات إلى متجه الاعتقاد البايزي الدقيق لاختبار ما إذا كانت معلومات الاعتقاد موجودة.
3. استعادة الانتقال: تُستخدم تسلسلات الحالة المستخرجة لتقدير مصفوفة الانتقال، والتي تُقارن بمصفوفة انتقال HMM الحقيقية باستخدام تباعد KL الصفّي.
4. اختبار رتبة ماركوف: يتم ملاءمة نماذج تجريبية من الرتب 0 و1 و2 للنماذج المستخرجة لتقييم قوة إشارة ماركوف من الدرجة الأولى.
5. فرض الحالة (التدخل): هذا هو الاختبار السببي الجوهري. يتم حقن مركز تجمع (centroid) الحالة المستخرجة في النموذج عند موضع رمز معين. ثم تتم مقارنة مخرجات النموذج بتارجت (هدف) HMM المضاد للواقع الدقيق (التوزيع الناتج عن فرض الحالة الكامنة). تُقاس الأداء باستخدام تباعد KL بين مخرجات النموذج المرقّع والهدف الدقيق.

النتائج الرئيسية

تعلم المهمة

عبر 18 دورة تشغيل (6 عائلات HMM $\times$ 3 بذور عشوائية)، تعلمت المحولات مهمة التنبؤ بفعالية، محققة متوسط خسارة زائدة عن المتنبئ الأمثل بايزياً قدره 0.0138 فقط.

استعادة الحالة والانتقال

• معلومات الاعتقاد: أكدت المستقصيات الخطية أن معلومات الاعتقاد يمكن استعادتها من التنشيطات عبر جميع العائلات، رغم أن الجودة تختلف بشكل كبير حسب عائلة HMM.
• بنية الانتقال: استعادت تجريدات الحالة القائمة على المتبقي (residual) وتحليل المكونات الرئيسية (PCA) بنية انتقال جزئية. كانت الإشارة أقوى في الأنظمة المستمرة (الانتقالات اللزجة) وسهلة الفصل (انخفاض إنتروبيا الانبعاث).
• القيود: كانت عملية الاستعادة أضعف في أنظمة الانبعاث الغامض وأنظمة الحالات الست. ظل تجميع الاعتقاد الدقيق حداً أعلى أقوى من التجميع المشتق من التنشيط، مما يشير إلى أن النموذج يمثل كائناً مستمراً يشبه الاعتقاد بدلاً من نسخة مباشرة من الملصق المنفصل.

فرض الحالة (الدليل السببي)

قدم تدخل فرض الحالة أوضح دليل على الفائدة السببية:

• الأداء: أدى حقن مركز الحالة المستخرجة إلى تقليل تباعد KL عن الهدف المضاد للواقع الدقيق من 0.195_7 (بدون ترقيع) إلى 0.0532 في المتوسط.
• الضوابط: تفوق هذا التحسن بشكل كبير على الضوابط التي شملت مراكز التجمعات الخاطئة، ومتوسط التنشيطات، والتنشيطات العشوائية، ومراكز الملصقات المبعثرة، وحتى مراكز الحالات الحقيقية في بعض المقاييس المجمعة.
• الاستنتاج: التجريد المستخلص للحالة ذو معنى سببي وهو أقرب إلى الحالة التنبؤية الداخلية للنموذج من الملصق العينة في سياقات معينة.

المساهمات

1. معيار مرجعي منضبط: إطار عمل موحد يوفر ملصقات كامنة دقيقة، ومتجهات اعتقاد بايزي، ومصفوفات انتقال، وأهداف مضادة للواقع لاختبار طرق تفسيرية المحولات.
2. مسار تشخيصي (MCT): مسار مرجعي لرسم خرائط التنشيط إلى تجريدات الحالة، واختبار رتبة ماركوف، والتحقق من الصلة السببية عبر فرض الحالة.
3. النتائج التجريبية: أدلة على أن المحولات الصغيرة تتعلم متنبئات قريبة من النموذج الأمثل بايزياً، وأن تنشيطاتها المتبقية تحتوي على بنية انتقال جزئية وخشنة، خاصة في الأنظمة ذات إشارات الانتقال القوية.

الأهمية والادعاءات

يضع البحث MCT ليس كخوارزمية كاملة لاستعادة الحالات المخفية، بل كـ إطار تشخيصي لديناميكيات حالة المحول. يدعي المؤلفون أن:

• نجح MCT في اكتشاف بنية انتقال تنبؤية جزئية في البيئات الاصطناعية.
• حدد الأماكن التي تكون فيها إشارات التفسير قوية (الأنظمة المستمرة/السهلة) وحيث تكون ضعيفة (الأنظمة الغامضة/عالية الإنتروبيا).
• توفر اختبارات فرض الحالة باستخدام سيناريوهات HMM المضادة للواقع الدقيقة طريقة صارمة لتقييم الصلة السببية لتجريدات الحالة المستخرجة.

العمل متواضع في نطاقه، حيث يقر بأن المهام اصطناعية والنماذج صغيرة جداً، وأن المستخرج المرجعي بسيط. هو لا يدعي أن استدلال اللغة الطبيعية يمتلك هياكل حالة مطابقة، بل يضع أساساً لاختبار ما إذا كانت التجريدات المشتقة من التنشيط يمكنها كشف الديناميكيات التنبؤية الخشنة مقابل الحقيقة الأرضية الدقيقة.