ملخص تقني: ما الذي يجعل "سلسلة الأفكار" (Chain-of-Thought) تعمل وقت الاستقصاء؟

بيان المشكلة

بينما يُعترف على نطاق واسع بقدرة "سلسلة الأفكار" (CoT) في التلقين على تحسين دقة النماذج اللغوية في مهام الاستدلال، إلا أن الخصائص النصية المحددة للمبرر (rationale) التي تدفع هذا التحسن لا تزال غير مفهومة بشكل جيد. ركزت الأبحاث السابقة بشكل أساسي على سلوك وقت التوليد (generation-time behavior)، حيث بحثت في كيفية تأثير سلسلة الأفكار على الحوسبة الداخلية للنموذج أو كيف تؤثر المتغيرات مثل "الاتساق الذاتي" (self-consistency) على جودة الاستدلال. ومع ذلك، فإن سلوك وقت الاستقصاء (probe-time behavior) — وهو العملية التي يقرأ من خلالها النموذج مبرراً ثابتاً ومحقوناً ويستخدمه للإجابة على سؤال — قد لم يحظَ بالاهتمام الكافي.

تعالج هذه الورقة السؤال التالي: بالنظر إلى مبرر ثابت في السياق، ما هي الخصائص المحددة لهذا النص التي تغير إجابة النموذج؟ يتحدى المؤلفون الافتراض السائد بأن فائدة سلسلة الأفكৰ تأتي أساساً من إعادة بناء النموذج لاستنباط منطقي عالمي على مستوى الجملة. بدلاً من ذلك، يفترضون أن المكاسب قد تعتمد على خصائص محلية مفاجئة للنص.

المنهجية

يستخدم المؤلفون إطار عمل المولد-المستقصي (generator–probe framework) المنضبط لعزل آثار بنية نص المبرر:

1. المولد (Generator): يقوم نموذج قوي بتوليد مبرر كامل لسلسلة أفكار لسؤال معين.
2. الحقن والاضطراب (Injection & Perturbation): يتم حقن المبرر المولد في سياق نموذج الاستقصاء. ومن الأهمية بمكان، يتم حذف جمل إعلان الإجابة الصريحة تلقائياً لمنع تسرب الإجابة بشكل بديهي.
3. بروتوكول اضطراب الـ N-gram: يتضمن التلاعب التجريبي الأساسي تقسيم تسلسل توكنات المبرر إلى نوافذ متصلة بحجم $n$ مع إعادة خلط هذه النوافذ عشوائياً مع الحفاظ على الترتيب الداخلي للتوكنات داخل كل نافذة.
   • $n=1$ (خلط الكلمات): يدمر جميع البنى التركيبية، تاركاً فقط حقيبة كلمات عالمية.
   • $n=2, 3, \dots$: يحافظ على هياكل التواجد المشترك المحلية المتزايدة الحجم.
   • خلط الجمل (Sentence Shuffle): يعيد ترتيب الجمل الكاملة عشوائياً مع إبقائها سليمة.
4. إحصائية استعادة الفجوة ($GR(n)$): يعرّف المؤلفون مقياساً لتحديد مقدار الفجوة في الأداء بين خط الأساس لـ "حقيبة الكلمات" ($WS$) وسلسلة الأفكار الكاملة (CoT) التي يتم استعادتها عند حجم نافذة $n$ معين:
   $$GR(n) = \frac{Acc(n) - Acc(WS)}{Acc(CoT) - Acc(WS)}$$
   يتم تحديد حجم نافذة حرج $n^*$ كأصغر $n$ حيث يكون $GR(n) > 0.5$.

تشمل الدراسة مجموعات بيانات متعددة (MMLU-Pro, LogiQA, MedQA, GSM8K, MATH500) وتكوينات نماذج مختلفة (Qwen2.5, Qwen3.5, GPT-4o-mini) عبر مقاييس بارامترية مختلفة (من 0.8B إلى 35B).

المساهمات الرئيسية

1. منظور وقت الاستقصاء: تقدم الورقة إطاراً منهجياً لدراسة كيفية تأثير الاضطرابات في مبرر ثابت على التنبؤ بالإجابة اللاحقة، وهو أمر متميز عن تحليل وقت التوليد.
2. تحديد مصدرين للمكاسب: يحدد المؤلفون آليتين متكاملتين تقودان أداء سلسلة الأفكار في وقت الاستقصاء:
   • التنشيط المعجمي (Lexical Activation): مجرد وجود توكنات ذات صلة بالمجال يوفر دفعة كبيرة مقارنة بخط الأساس (بدون مبرر)، حتى عند تدمير جميع الهياكل.
   • تنشيط التواجد المشترك المحلي (Local Co-occurrence Activation - LCA): يتم استعادة غالبية المكاسب المتبقية (الفرق بين حقيبة الكلمات وسلسلة الأفكار الكاملة) من خلال الحفاظ على نوافذ توكن محلية قصيرة جداً ($n^* \approx 2\text{--}3$).
3. استبعاد البدائل: من خلال تجارب ضبط مستهدفة، تثبت الورقة أن المكاسب الملحوظة لا تُدفع أساساً بواسطة:
   • نسخ إعلانات الإجابة الصريحة أو قيم الإجابة.
   • وجود جمل قواعدية ومتماسكة تماماً.
   • الصلة الموضوعية العامة (تم اختبارها عبر استرجاع ويكيبيديا).
   • المتانة العامة للنموذج تجاه الخلط (تم اختبارها عبر خلط متن السؤال).

النتائج الرئيسية

• ترتيب الجمل ثانوي: يؤدي خلط ترتيب الجمل (Sentence Shuffle) إلى تدهور طفيف في الدقة مقارنة بسلسلة الأفكار الكاملة (على سبيل المثال، 83.1% مقابل 83.9% في MMLU-Pro)، مما يشير إلى أن الترتيب المنطقي على مستوى الجملة ليس المحرك الأساسي لمكاسب وقت الاستقصاء.
• التنشيط المعجمي قوي: يتفوق مبرر "خلط الكلمات" (Word Shuffle) العالمي بشكل كبير على خط الأساس المدخل فقط (على سبيل المثال، 66.5% مقابل 50.9%)، مما يؤكد أن مفردات المجال وحدها تنشط المعرفة ذات الصلة.
• النوافذ القصيرة تستعيد معظم المكاسب: الانتقال من حقيبة الكلمات ($n=1$) إلى الحفاظ على نوافذ مكونة من 2-3 توكنات هو انتقال حاد. في MMLU-Pro، يستعيد الحفاظ على نوافذ $n=2$ حوالي 57.5% من الفجوة المتبقية بين حقيبة الكلمات وسلسلة الأفكار الكاملة. يظل حجم النافذة الحرج $n^*$ صغيراً باستمرار (2-3) عبر مختلف عائلات النماذج ومجموعات البيانات.
• التعميم: النمط النوعي يظل ثابتاً عبر:
  • عائلات النماذج: Qwen2.5، Qwen3.5، و GPT-4o-mini.
  • مقاييس البارامترات: من 0.8B إلى 35B بارامتر.
  • أنواع المهام: كل من الاختيار من متعدد (MMLU, LogiQA) والتوليد مفتوح النهايات (GSM8K, MATH500).
• الخصوصية لسلسلة الأفكار (CoT): تأثير استعادة الأداء عند قيم $n$ المنخفضة خاص بنصوص المبررات من نمط CoT. إن حقن نصوص ويكيبيديا المتطابقة موضوعياً أو خلط متن السؤال يتطلب نوافذ أكبر بكثير لاستعادة الأداء، مما يشير إلى أن التأثير ليس خاصية عامة لمعالجة اللغة.

الأهمية والادعاءات

تدعي الورقة دعم حساب تنشيط التواجد المشترك المحلي (LCA) لسلسلة الأفكار في وقت الاستقصاء. يجادل المؤلفون بأن مكاسب الأداء الملحوظة تنشأ أساساً من التنشيط المعجمي (وجود التوكنات ذات الصلة) والتواجد المشترك للتوكنات قصير المدى (الارتباطات الإحصائية المحلية)، بدلاً من قيام النموذج باستنباط منطقي أمين على مستوى الجملة أو إعادة بناء سلسلة استدلال عالمية.

تكمن أهمية هذا الاكتشاف في تحديه للحدس القائل بأن سلسلة الأفكار تعمل لأنها تجبر النموذج على "التفكير خطوة بخطوة" بطريقة منطقية متماسكة. بدلاً من ذلك، تشير النتائج إلى أنه في وقت الاستقصاء، قد يستفيد النموذج من الإشارات الإحصائية المحلية داخل نص المبرر لتنشيط الإجابة الصحيحة، حتى عندما يكون النص مجزءاً ويفتقر إلى التماسك المنطقي العالمي. هذا يعيد صياغة فائدة سلسلة الأفكار من كونها آلية لتنفيذ الاستدلال الصريح إلى كونها آلية للتنشيط السياقي المحلي.