When Shallow Wins: Silent Failures and the Depth-Accuracy Paradox in Latent Reasoning

1. بيان المشكلة

تتناول الورقة البحثية فجوة حرجة في تقييم النماذج اللغوية الكبيرة (LLMs) التي تؤدي مهام الاستدلال الرياضي. وبينما أدى استخدام "سلسلة الأفكر" (Chain-of-Thought - CoT) في التلقين إلى تحسين الأداء، إلا أنه يستهلك سياقاً (Context) ويسبب تأخراً في الاستجابة (Latency). وبناءً على ذلك، تستخدم البنيات الأحدث الاستدلال الكامن (Implicit Reasoning)، حيث يحدث الاستدلال متعدد الخطوات داخل مساحات التنشيط الخفية دون الحاجة إلى التعبير اللفظي.

تتمثل المشكلة الجوهرية في أن دقة المعايير المرجعية قد تخفي عدم الموثوقية الحسابية. يتحدى المؤلفون الافتراض القائل بأن الدقة العالية تعني استدلالاً حقيقياً؛ حيث يبحثون فيما إذا كانت النماذج تقوم بالفعل بالخطوات الحسابية الضرورية أم أنها تستغل أنماطاً إحصائية سطحية ("الاستدلالات السطحية - Shallow Heuristics") للوصول إلى الإجابات الصحيحة. وتشمل الأسئلة الرئيسية ما يلي:

• كيف يمكننا قياس ما إذا كان الاستدلال الكامن "أميناً" (أي هل ينفذ الخطوات الضرورية)؟
• هل الاستدلال الكامن مجرد نسخة مضغوطة من "سلسلة الأفكار" (CoT)، أم أنه يستخدم استراتيجيات مختلفة؟
• هل يمكن للنماذج تحقيق دقة عالية من خلال مسارات غير مستقرة وغير موثوقة، وما هي الآثار المترتبة على السلامة؟

2. المنهجية والإعداد التجريبي

تركز الدراسة على نموذج Qwen2.5-Math-7B الذي تم تقييمه على مجموعة فرعية مكونة من 500 مسألة من مجموعة بيانات GSM8K (6% من إجمالي البيانات). يقترح المؤلفون إطار عمل مبتكر لتحليل الديناميكيات الداخلية للنموذج.

أ. مقاييس الأمانة (Faithfulness Metrics)

قدم المؤلفون مقياس أمانة مركباً ($F$) يتكون من ثلاثة عناصر:

1. استقرار التنشيط (Activation Stability - $S$): يقيس الاتساق عبر عمليات الاستدلال المستقلة. ويحسب متوسط تشابه جيب التمام (Cosine Similarity) لتنشيطات الطبقات بين تمريرتين أماميتين، مع فرض عقوبة على التباين العالي.
2. محاذاة خطوات الاستدلال (Reasoning-Hop Alignment - $A$): يكشف عن "انتقالات الاستدلال" (الطبقات التي يحدث فيها تغير كبير في حجم التنشيط) ويقوم بمحاذاتها مع عدد خطوات الاستدلال المتوقعة ($s$). وهو يعاقب على الإفراط أو النقص في استخدام الطبقات بالنسبة لتعقيد المسألة.
3. كفاءة العمق (Depth Efficiency - $E$): يقيم ما إذا كان النموذج يستخدم عمق الطبقات بشكل يتناسب مع متطلبات المسألة دون تكرار، من خلال مقارنة الطبقات النشطة المرصودة مقابل العمق الأمثل النظري.

تعتبر الاستجابة "أمينة" فقط إذا استوفت جميع هذه العناصر الثلاثة ($F \ge 0.60, S \ge 0.65, E \ge 0.60$).

ب. التدخل السببي والتحليل

• تدخل الضجيج (Noise Intervention): قام المؤلفون بحقن ضجيج غاوسي (Gaussian Noise) في طبقات محددة لقياس الأهمية السببية ($\gamma_\ell$). الطبقات التي يؤدي فيها الضجيج إلى تدهور الدقة بشكل كبير تُعتبر أساسية للاستدلال.
• كشف عنق زجاجة المعلومات (Information Bottleneck Detection): تحليل إنتروبيا التنشيط لتحديد الطبقات التي يتم فيها ضغط المعلومات إلى أقصى حد.
• اختبار فرضية الضغط (Compression Hypothesis Testing): مقارنة مسارات التنشيط لكل من أنماط الاستدلال الضمني (Latent)، والاستدلال الصريح (Explicit CoT)، والاستدلال الموجز (Concise CoT) باستخدام تشابه جيب التمام لتحديد ما إذا كان الاستدلال الكامن هو مجرد نسخة مضغوطة من CoT.

ج. إطار السلامة

صنف المؤلفون التنبؤات إلى أربعة أنماط بناءً على الصحة والاستقرار:

• الإيجابي الحقيقي (True Positive): صحيح + مستقر.
• التخمين المحظوظ (Lucky Guess): صحيح + غير مستقر (مخاطرة عالية).
• الفشل الصامت (Silent Failure): غير صحيح + مستقر (واثق ولكنه مخطئ؛ مخاطرة عالية على السلامة).
• السلبي الحقيقي (True Negative): غير صحيح + غير مستقر.

3. المساهمات الرئيسية

1. تحليل دقيق لأنماط الفشل: أظهرت الدراسة أن 81.6% من التنبؤات الصحيحة في Qwen2.5-Math-7B تعتمد على مسارات غير متسقة حسابياً، بينما 18.4% فقط تستخدم استدلالاً مستقراً وأميناً.
2. تحديد الفشل الصامت: تحديد معدل فشل صامت بنسبة 8.8%، حيث ينتج النموذج مخرجات واثقة ومستقرة ولكنها غير صحيحة.
3. مفارقة العمق والدقة (Depth-Accuracy Paradox): وجد الباحثون أن زيادة حجم النموذج (من 1.5B إلى 7B بارامتر) لم توفر أي زيادة في الدقة على المجموعة المختبرة، رغم أن النموذج الأكبر أظهر استدلالاً كامناً أكثر عمقاً وهيكلية.
4. رفض فرضية الضغط: أثبتت الدراسة أن الاستدلال الكامن ليس مجرد CoT مضغوط؛ حيث تشترك ~20% فقط من مسارات الاستدلال الضمني في تشابه عالٍ مع أنماط CoT الصريحة، مما يشير إلى استراتيجيات حسابية متنوعة.

4. النتائج الرئيسية

أ. الفجوة بين الأمانة والدقة

• الدقة: 61.0% إجمالاً.
• الأمانة: 20% فقط من الاستجابات استوفت معايير الأمانة الصارمة.
• الارتباط: يوجد ارتباط سلبي ضعيف ($r = -0.21, p=0.002$) بين مقياس الأمانة والصحة الثنائية: الإجابات الصحيحة غالباً ما تعتمد على "تخمينات محظوظة" (غير مستقرة ولكنها صحيحة)، بينما الإجابات الخاطئة يمكن أن تكون مستقرة أحياناً (فشل صامت). ومع ذلك، عند التحليل المستمر، فإن الدقة العالية في المحاكاة تؤدي بالفعل إلى أداء أفضل (AUROC = 0.78).

ب. الاستدلال الضمني مقابل الصريح

• الدقة: أدى استخدام CoT الصريح إلى تحسين الدقة بمقدار 10 نقاط مئوية (58.5% $\to$ 68.5%).
• الآلية: رغم تحسن الدقة، ظلت البصمات الداخلية (عمق الاستدلال، عدد الخطوات) متطابقة تقريباً ($\Delta D = 0.01$). وهذا يشير إلى أن CoT الصريح يعمل كـ "سقالات" (Scaffolding) تعمل على محاذاة الاستدلال الكامن الموجود بالفعل بدلاً من تعميق الحساب نفسه.

ج. تخصص الطبقات والأهمية السببية

• حجم التنشيط: يصل إلى ذروته في الطبقات المتأخرة (19–28)، مما يشير إلى أن هذه الطبقات تعمل على تضخيم/تنقيح الحسابات.
• الأهمية السببية: بشكل مفاجئ، أظهرت الطبقات الوسطى (6–9) أعلى أهمية سببية؛ فعند اضطرابها، انخفضت الدقة بشكل كبير. وهذا يدعم نموذج المرحلتين: حيث يحدث الاستدلال الحرج في الطبقات الوسطى، بينما تتولى الطبقات المتأخرة تنسيق المخرجات.

د. التوسع عبر النماذج (1.5B مقابل 7B)

• الدقة: متطابقة (61.0%) لكلا النموذجين.
• الديناميكيات الداخلية: أظهر نموذج 7B استدلالاً أعمق بنسبة 7.2% وإنتروبيا تنشيط أقل بنسبة 88% (أكثر هيكلية) من نموذج 1.5B.
• الاستنتاج: تسمح السعة المتزايدة باستدلال داخلي أكثر تطوراً، لكن هذا لا يترجم إلى مكاسب في الدقة في المعايير المرجعية القياسية، مما يشير إلى أن المعايير قد تصل إلى حالة التشبع قبل استغلال قدرة النموذج بالكامل.

5. الأهمية والآثار المترتبة

الآثار النظرية

• مفارقة الأمانة: الدقة العالية لا تضمن استدلالاً موثوقاً. قد تنجح النماذج عبر استدلالات هشة تفشل عند حدوث تغير في التوزيع (Distribution Shifts).
• حدود التفسير (Interpretability Limits): التقنيات المصممة لـ CoT الصريح (مثل تدفق الانتباه) قد لا تنطبق على الاستدلال الكامن، الذي يستخدم استراتيجيات متنوعة تعتمد على المسألة.
• قوانين التوسع (Scaling Laws): الانفصال بين التطور الداخلي (العمق/الإنتروبيا) والدقة الخارجية يتحدى افتراضات قوانين التوسع الحالية.

مخاطر النشر والسلامة

• الفشل الصامت: تمثل نسبة الـ 8.8% من المخرجات الخاطئة والواثقة خطراً جسيماً في التطبيقات عالية المخاطر (مثل التعليم الآلي أو دعم القرار الطبي) حيث قد يتم تجاوز الرقابة البشرية بسبب ثقة النموذج.
• الهشاشة: النماذج التي تعتمد على "التخمينات المحظوظة" (61% من الإجابات الصحيحة) ستفشل كارثياً عند مواجهة مسائل معاد صياغتها قليلاً أو أكثر صعوبة.

التوصيات

يدعو المؤلفون إلى إصلاح عمليات التقييم لتتجاوز مجرد دقة العينة الواحدة:

1. مقاييس الاستقرار: اعتماد فحوصات الاستقرار عبر عمليات التشغيل المتعددة (تطلب الاتفاق عبر عينات متعددة).
2. عتبات السلامة: وضع علامات (Flags) على التنبؤات ذات درجات الاستقرار المنخفضة لمراجعتها بشرياً.
3. إصلاح المعايير المرجعية: تطوير معايير مقاومة للاستدلالات السطية وقياس الاتساق الحسابي.

باختصار، تجادل الورقة بأن الدقة هي مؤشر سيء لجودة الاستدلال في البنيات الكامنة. وهي تسلط الضوء على ظاهرة "الانتصار السطحي" حيث تحقق النماذج درجات عالية من خلال مسارات غير مستقرة وغير أمينة، مما يستوجب التحول نحو أطر تقييم تدرك عامل الاستقرار.