ملخص تقني: طاقة الاستدلال المدركة للخطوات (SARE)

1. بيان المشكلة

بينما أدى التلقين بسلسلة الأفكام (Chain-of-Thought - CoT) إلى تحسين أداء النماذج اللغوية الكبيرة (LLMs) بشكل كبير في مهام الاستدلال المعقدة، إلا أن تخصيص الجهد الحسابي الداخلي عبر خطوات الاستدلال الفردية يظل غامضاً. تعاني طرق التفسير الحالية من قصورين أساسيين:

1. الاعتماد على السطحية: تعتمد العديد من النهج على إشارات مستوى المخرجات (مثل احتمالات توكن اللوغاريتم، أو الإنتروبيا) أو تعامل مسار الاستدلال كقيمة عددية واحدة، مما يفشل في التقاط الديناميكيات الخاصة بكل خطوة.
2. الجزئية الخشنة: غالباً ما يحلل بحث التفسير الفردي للتوكنات أو التمثيلات المجمعة المنهارة. هذه الجزئية غير كافية لالتقاط الديناميكيات الحسابية لخطوة استدلال كاملة (مثل استنتاج منطقي أو معادلة)، وهي تهمل البنية العلاقاتية بين التوكنات داخل تلك الخطوة.

وبناءً على ذلك، هناك نقص في الفهم المتعلق بالخطوات التي تتطلب معالجة داخلية عميقة مقابل تلك التي تُحل بشكل بديهي، وكيف ترتبط هذه الديناميكيات الداخلية بنجاح أو فشل الاستدلال.

2. المنهجية

يقترح المؤلفون إطار عمل طاقة الاستدلال المدركة للخطوات (SARE)، وهو إطار هندسي مصمم لقياس الجهد الحسابي عند مستوى جزئية خطوات الـ CoT الفردية. تدمج المنهجية بين عدم التشابه الهندسي ونمذجة الحالة الدلالية.

2.1 الصياغة المدركة للخطوات

يتم تقسيم مسار الـ CoT $T$ إلى خطوات استدلال نصية منفصلة $s_1, \dots, s_T$. لكل خطوة $s_t$ عند طبقة محددة $l$ من طبقات الترانسفورمر، تُمثل مصفوفة الحالات المخفية للتوكنات بـ $H^{(l)}_t$. ويتم التقاط العلاقات الدلالية الداخلية عبر مصفوفة جرام (Gram matrix) $G^{(l)}_t = H^{(l)}_t (H^{(l)}_t)^\top$.

2.2 عدم التشابه الهندسي عبر CKA

لقياس الجهد الحسابي المبذول داخل الخطوة، يحسب إطار العمل محاذاة النواة المركزية (Centered Kernel Alignment - CKA) بين مصفوفات جرام للطبقات المتجاورة ($l$ و $l+1$).

• درجة عدم التشابه: تُعرف درجة عدم التشابه للطبقة $D^{(l)}_t$ بأنها $1 - \text{CKA}(\tilde{G}^{(l)}_t, \tilde{G}^{(l+1)}_t)$، حيث تمثل $\tilde{G}$ مصفوفة جرام المركزية.
• طاقة الاستدلال ($E_t$): إجمالي الطاقة للخطوة هو مجموع درجات عدم التشابه عبر انتقالات الطبقات: $E_t = \sum_{l=1}^{L-1} D^{(l)}_t$.
• التفسير: تشير $E_t$ العالية إلى إعادة تنظيم جوهرية لهندسة علاقات التوكنات الداخلية عبر الطبقات، مما يعكس جهداً حسابياً حقيقياً. بينما تشير $E_t$ المنخفضة إلى استقرار هيكلي مبكر، وهو ما يميز الانتقالات البديهية أو الاستدعاء الروتيني.
• الميزة مقارنة بالبدائل: على عكس مقاييس مستوى التوكن (مثل تباعد جينسن-شانون على توزيعات التوكن التالي) أو مقارنات القيم الذاتية، تعمل CKA مباشرة على هياكل التشابه الزوجي للتوكنات. فهي تحافظ على المعلومات العلاقاتية بين التوكنات دون الحاجة إلى محاذاة المتجهات الذاتية أو توافق العناقيد عبر الطبقات.

2.3 نمذجة الحالة الدلالية

يضع إطار العمل الطاقة في سياق مسار الاستدلال من خلال نمذجة خطوات الـ CoT كتحولات بين حالات دلالية كامنة:

1. التجميع (Clustering): تُمثل الخطوات عبر تضمينات طيفية مشتقة من الطيف الذاتي لمصفوفات جرام التوكنات التراكمية (من الطبقة النهائية). يتم تجميعها عبر خوارزمية K-Means لتحديد الحالات الكلية (مثل تأطير المشكلة، الاسترجاع الحقائقي، التركيب).
2. ديناميكيات ماركوف (Markovian Dynamics): يتم نمذجة تسلسل العناقيد كسلسلة ماركوف من الدرجة الأولى لتحليل سرعات طاقة الاستدلال واستقرار المسار عبر الخطوات.

3. المساهمات الرئيسية

1. إطار عمل SARE: طريقة قائمة على الهندسة لقياس جهد الاستدلال على مستوى الخطوة باستخدام CKA على مصفوفات جرام الحالات المخفية للتوكنات، مما يلتقط الديناميكيات العلاقاتية بين التوكنات التي غالباً ما تهملها مقاييس مستوى التوكن.
2. التوصيف التجريبي: إثبات أن طاقة الاستدلال غير منتظمة للغاية عبر أنواع الخطوات الدلالية، حيث تظهر انتقالات تشبه التحولات الطورية (phase-like transitions) غير مرئية للمقاييس على مستوى المسار.
3. كشف الفشل: إثبات أن المسارات الخاطئة ترتبط بشكل منهجي بطاقة استدلال أقل عند نقاط الاستدلال الحرجة (خاصة في حالات التحقق والتركيب).
4. المنفعة التنبؤية: أدلة على أن الميزات القائمة على SARE تضاهف أو تتفوق على معايير الثقة القائمة على المخرجات (اللوغاريتم الاحتمالي، الإنتروبيا، الارتياب) في الكشف عن فشل الاستدلاف خارج الخط (offline).

4. النتائج التجريبية

تم تقييم إطار العمل عبر ستة معايير (GSM8K, MATH, CSQA, StrategyQA, HotpotQA, MuSiQue) وثلاثة نماذج لغوية مفتوحة الأوزان (LLaMA-3.2-3B, Phi-4-mini, Gemma-3-4B).

4.1 ملفات تعريف طاقة الاستدلال

• عدم الانتظام: يختلف توزيع الطاقة بشكل كبير حسب الدور الدلالي. غالباً ما ترتكز خطوات الإعداد المبكرة وخطوات التركيب النهائية عند أطراف الطاقة، بينما تظهر خطوات الاسترجاع الحقائقي في منتصف المسار طاقة مستقرة ومعتدلة.
• الاعتماد على النموذج: يعتمد "النطاق الديناميكي" للطاقة على البنية. على سبيل المثال، يستخدم Gemma-3-4B طيف طاقة أوسع من LLaMA-3.2-3B أو Phi-4-mini.
• التفسير الدلالي:
  • في الاستدلال الرياضي (Phi-4-mini)، غالباً ما تظهر الخطوة النهائية أدنى طاقة، مما يشير إلى اكتمال الاستدلال الجوهري في مرحلة أبكر.
  • في الاستدلال متعدد الخطوات/المنطق الشائع (Gemma-3, LLaMA)، غالباً ما يظهر عنقود التركيب النهائي أعلى طاقة.

4.2 بصمات فشل الاستدلال

• طاقة أقل في الأخطاء: تظهر المسارات غير الصحيحة باستمرار طاقة استدلال أقل عند نقاط معينة، لا سيما أثناء عمليات التحقق النهائية والاستدلال التركيبي.
• التباعد الموضعي: لا يكون التباعد بين توزيعات الطاقة الصحيحة والخاطئة موحداً؛ بل غالباً ما يبدأ في حالات التكميم والتركيب المتأخرة بدلاً من حالات الاسترجاع المبكرة.

4.3 الأداء التنبئي

• المقارنة مع المعايير الأساسية: يضاهي SARE (مع عدد التوكنات) أو يتفوق على معايير الثقة القياسية (اللوغاريتم الاحتمالي، الإنتروبيا، الارتياب، اليقين الذاتي) في معظم مجموعات البيانات.
• شذوذ StrategyQA: فشلت المعايير الاحتمالية تماماً (F1 = 0) في مهمة StrategyQA (وهي مهمة True/False) لأن توزيعات التوكنات كانت قريبة من التوزيع المنتظم بغض النظر عن الصحة. حافظ SARE وعدد التوكنات على القدرة التنبؤية (F1 ~0.46–0.58)، مما يثبت أن الديناميكيات الهندسية الداخلية تشفر معلومات تتجاوز احتمالات المستوى السطحي.

5. الأهمية والادعاءات

يضع البحث SARE في المقام الأول كـ أداة تشخيصية وتفسيرية وليس كآلية تدخل مباشرة. تكمن أهميته في:

• فتح الصندوق الأسود: يوفر نافذة على طبيعة "الصندوق الأسود" لاستدلال النماذج اللغوية الكبيرة من خلال قياس الجهد على مستوى الخطوة دون الحاجة إلى محاذاة المتجهات الذاتية.
• ما وراء الإشارات السطحية: يثبت أن الديناميكيات الهندسية الداخلية تحتوي على معلومات تنبؤية حول صحة الاستدلال لا تلتقطها درجات الثقة في مستوى المخرجات.
• أساس للعمل المستقبلي: يقترح المؤلفون أن أنماط الطاقة المهيكلة هذه يمكن أن تعمل كأساس لتحسينات الاستدلال المدركة للهندسة، مثل إشارات وقت التدريب لتشجيع إعادة التنظيم المستدام عند النقاط الحرجة أو محفزات وقت الاستدلال لإعادة أخذ العينات.

القيود المعترف بها:

• النطاق: اقتصرت التجارب على نماذج ذات 3-4 مليار معلمة؛ وتظل قابلية التعميم على النماذج الأكبر سؤالاً مفتوحاً.
• العبء الحسابي: يتطلب استخراج الحالات المخفية عند كل طبقة أن يكون SARE مناسباً بشكل أفضل للتحليل خارج الخط (offline)، وإن كان المؤلفون قد اقترحوا تقريبات (مثل أخذ عينات من الطبقات) لزيادة الكفاءة في المستقبل.