ملخص تقني: قابلية فك التشفير دون إمكانية التصحيح عبر التوجيه الخطي لتدفق المتبقي الثابت

بيان المشكلة

تستقصي هذه الورقة البحثية فجوة حرجة في قابلية التفسير والتحكم في النماذج اللغوية الكبيرة (LLMs): وهي فجوة التصنيف-التصحيح (classification-correction gap). بينما أظهرت الأعمال السابقة أن حالات سلوكية محددة (مثل الرفض، أو تحليل المشاعر) يمكن فك تشفيرها خطياً من الحالات الخفية وتصحيحها عبر توجيه التنشيط، لا يزال من غير الواضح ما إذا كان هذا ينطبق على إخفاقات الاستدلال المعقدة متعددة الخطوات. يركز المؤلفون على نظام فشل محدد في الإجابة على الأسئلة الطبية (Med-QA) يُسمى الإفراط في التفكير (Overthinking - OT)، حيث تنتج النماذج إجابات صحيحة بشكل متكرر عند إعادة أخذ العينات، لكنها تفشل عند توليد مسارات "سلسلة التفكير" (CoT) الممتدة. السؤال المركزي هو: إذا كان نمط الفشل قابلاً لفك التشفير خطياً في الحالات الخفية، فهل يمكن استخدام نواقل التوجيه الخطي الثابتة لتصحيحه؟

المنهجية

1. تحديد النظام السلوكي (الإفراط في التفكير)

يعرّف المؤلفون الإفراط في التفكير (OT) كبناء سلوكي حيث:

• يجيب النموذج بشكل صحيح في $\ge$60% من المسارات التي تم أخذ عينات منها (مما يشير إلى وجود المعرفة).
• ينتج النموذج إجابة غير صحيحة في مسارات الاستدلال الطويلة (>200 توكن).
• هذا النظام متميز عن نقص المعرفة (Knowledge Deficit - KD) (الأخطاء الواقعية) وانقطاع سلسلة الاستدلال (Reasoning Chain Break - RCB) (حقائق صحيحة، منطق غير صحيح).
• يتم تحديد الـ OT باستقرار عالٍ (Jaccard $\ge$0.81 تحت اضطراب العتبة، واتفاق بين المقيمين بنسبة 94%).

2. التحليل الهندسي

باستخدام Llama-3.1-8B-Instruct وQwen2.5-7B-Instruct، استخرج المؤلفون الحالات الخفية من 12,000 مسار (2,000 لكل نمط فشل + 6,000 مسار صحيح مطابق).

• النواقل التباينية (Contrastive Vectors): حُسبت كفرق طبيعي بين متوسط الحالات الخفية للمسارات الصحيحة وأنماط فشل محددة ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• التصنيف: تم تدريب مجسات خطية (Linear probes) للتمييز بين مسارات OT والمسارات غير التابعة لـ OT.
• تفكيك النوعية (Specificity Decomposition): حسب المؤلفون نسبة النوعية (specificity ratio) لتحديد مقدار ما هو فريد في المتجه التبايني مقابل ما هو مشترك مع اتجاهات "الخطأ مقابل الصواب" العامة.
• عبر البنى والمنوعات: تم إجراء التحقق من الصحة على Qwen2.5-7B ومجال MMLU-STEM لاختبار القدرة على التعميم.

3. تجارب توجيه التنشيط

اختبر المؤلفون خمس عائلات من تدخلات التوجيه الخطي الثابت على مجموعة اختبار Llama-3.1-8B ($n=1,273$) وQwen2.5-7B ($n=1,273$):

1. التوجيه التبايني (Contrastive Steering): إضافة $\alpha \cdot v$ عند الطبقات الذروية.
2. التوجيه الموجه بالمجس (Probe-Guided Steering): استخدام نواقل أوزان المجس بدلاً من النواقل التباينية.
3. التوجيه متعدد الطبقات (Multi-layer Steering): تطبيق النواقل عند الطبقات 1، 3، أو 5.
4. توجيه الفضاء الجزئي من الرتبة k (Rank-k Subspace Steering): التوجيه ضمن الفضاءات الجزئية التي تشغلها أعلى المتجهات المفردة.
5. توجيه نهاية المطالبة (Prompt-End Steering): استخدام نواقل مشتقة من المطالبة (قبل التوليد) لتجنب تلوث الاستجابة.

• محو المفهوم (Concept Erasure): تدخل تكميلي يقوم بإسقاط اتجاه الفشل لاختبار التشابك السببي.
• الضوابط (Controls): تحقق توجيه الرفض من البنية التحتية؛ كما استبعدت عمليات مسح درجة الحرارة (temperature sweeps) وتقييمات نفس درجة الحرارة أن يكون الانزياح في التوزيع هو السبب الرئيسي للفشل.

4. موثوقية ما بعد التوليد

قيم المؤلفون ما إذا كان الهيكل القابل لفك التشفين يمكن أن يدعم الامتناع الانتقائي (selective abstention) (رفض الإجابة عندما يتنبأ المجس بثقة منخفضة) كبديل للتصحيح.

النتائج الرئيسية

1. فجوة التصنيف-التصحيح

• قابلية فك التشفير: يمكن فك تشفير OT خطياً بدقة متوازنة بلغت 71.6% ($p \approx 10^{-16}$) على Llama-3.1-8B. هذه الإشارة قوية تجاه تراجع الطول واضطرابات العتبة.
• فشل التوجيه: رغم قابلية فك التشفير العالية، فإن جميع التكوينات الـ 29 من التوجيه الخطي الثابت عبر خمس عائلات من الطرق أعطت $\Delta \approx 0$ (لا يوجد تحسن معنوي في الدقة).
  • التوجيه الخاص بالنمط: $\Delta = -0.2$ نقطة مئوية.
  • التوجيه متعدد الطبقات: $\Delta \approx 0$.
  • توجيه نهاية المطالبة: $\Delta \approx 0$.
• الاتساق عبر البنى: ظلت النتيجة الصفرية قائمة في Qwen2.5-7B (9 تكوينات) وMMLU-STEM (4 تكوينات).

2. دليل على التشابك التمثيلي

يُعزى الفشل في التوجيه إلى التشابك التمثيلي (representational entanglement) بين إشارة الفشل والحوسبة الحرجة للمهمة:

• النوعية المنخفضة: نسبة النوعية الخاصة بـ OT هي فقط 0.119 (Llama) و0.152 (Qwen). وهذا يعني أن ~88% من الإشارة التباينية تتماشى مع اتجاه "الخطأ مقابل الصواب" المشترك.
• الضرر السببي:
  • توجيه الاتجاه المشترك (تطبيق اتجاه الخطأ المشترك) ألحق ضرراً شديداً بالدقة ($\Delta = -12.1$ نقطة مئوية).
  • محو المفهوم: إزالة اتجاه OT عبر إسقاط متوسط الفرق ألحق ضرراً بالدقة ($\Delta = -3.6$ نقطة مئوية، $p=0.01$)، بينما لم ينتج عن 10 اتجاهات عشوائية أي ضرر ($\Delta = +0.3$ نقطة مئوية). وهذا يؤكد أن اتجاه OT متشابك سببياً مع الاستدلال الصحيح، وليس مجرد ارتباط.
• عدم الارتباط لكل حالة: الارتباط بين ثقة المجس وتأثير التوجيه هو $r = -0.002$ ($p=0.97$)، مما يشير إلى أن معرفة متى يفرط النموذج في التفكير لا تتنبأ بـ كيفية توجيهه.

3. النتيجة الإيجابية: الامتناع الانتقائي

بينما فشل التوجيه، سمح الهيكل القابل لفك التشفير بـ تقدير موثوقية ما بعد التوليد:

• حقق مجس الصحة AUROC قدره 0.610 على مجموعة الاختبار المستبعدة، متفوقاً بشكل كبير على خمسة من أسس عدم اليقين في المرور الأمامي الواحد (أفضل أساس AUROC = 0.569، $\Delta = 0.041$، $p=0.009$).
• الامتناع الانتقائي: من خلال الامتناع عن التنبؤات ذات الثقة المنخفضة، حقق النموذج زيادة في الدقة قدرها +5.5 نقطة مئوية عند تغطية 60%.
• المقارنة مع الاتساق الذاتي (Self-Consistency): بينما يصحح التصويت بالأغلبية (Self-Consistency) 100% من أخطاء OT، فإنه يتطلب تكلفة توليد تبلغ 10 أضعاف. يوفر المجس بديلاً فعالاً من حيث التكلفة لتقدير الموثوقية في تمريرة واحدة.

4. التدخلات غير الخطية

حققت تجربة أولية باستخدام شبكة MLP غير خطية متعلمة (مهايئ متبقي/residual adapter) تحسناً طفيفاً ولكن معنوياً ($\Delta = +2.8$ نقطة مئوية، $p=0.025$). يشير هذا إلى أن الفجوة ليست مطلقة بل خاصة بـ التدخلات الخطية الثابتة؛ إذ قد تنجح التحويلات غير الخطية جزئياً في فك تشابك الاتجاهات المشتركة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم دليلاً ميكانيكياً لسبب فشل توجيه التنشيط في أنظمة الاستدلال متعددة الخطوات، متجاوزة مجرد توثيق الظاهرة.

1. التفسير الهندسي: يجادل المؤلفون بأن فجوة التصنيف-التصحيح تنشأ لأن إشارات الفشل في مهام الاستدلال متشابكة مع الحوسبة ذات الصلة بالمهمة. بخلاف الرفض (الذي لديه نسبة نوعية قدرها 0.999 وقابل للتوجيه)، تشترك إشارة OT بنسبة ~88% في اتجاهها مع مسار الاستدناء الصحيح.
2. عدم التماثل بين الملاحظة والتدخل: توضح الدراسة أن قابلية فك التشفير لا تعني بالضرورة قابلية التوجيه. يمكن للمجس (الملاحظة) قراءة إشارة ما إحصائياً دون أن تكون تلك الإشارة قابلة للتنفيذ سببياً عبر الاضطراب الإضافي (التدخل)، لأن الاضطراب سيؤدي حتماً إلى تعطيل حوسبة المهمة المشتركة.
3. القيمة التشغيلية للمجسات: حتى عندما يفشل التوجيه، فإن الهيكل القابل لفك التشفين له فائدة في تقدير الموثوقية (الامتناع الانتقائي)، مما يوفر أداة عملية للنشر حيث يكون التصحيح مستحيلاً.
4. إطار تشخيصي: يقترح المؤلفون ملف الوصول الخطي (Linear Accessibility Profile - LAP) ونسبة النوعية كتشخيصات ما قبل التدخل. ويقترحون أنه إذا كان الاتجاه ذا نوعية منخفضة (<0.21) وتداخل عالٍ مع حوسبة المهمة، فمن غير المرجح أن ينجح التوجيه الخطي الثابت.

تخلص الورقة إلى أنه بينما تعد فجوة "التصنيف-التصحيح" ظاهرة تجريبية قوية في الاستدلال الطبي، إلا أنه يمكن إغلاقها جزئياً عبر التدخلات غير الخطية المتعلمة التي يمكنها فك تشابك الاتجاهات المشتركة، وهو اتجاه للعمل المستقبلي.