Do LLMs Encode Functional Importance of Reasoning Tokens?

إليك ملخص تقني مفصل لورقة البحث "هل تشفر النماذج اللغوية الكبيرة (LLMs) الأهمية الوظيفية لرموز الاستدلال؟" من تأليف جانفي جاي سينغ وديلك هاكاني تور.

1. بيان المشكلة

تحل النماذج اللغوية الكبيرة (LLMs) المهام المعقدة (مثل الرياضيات والعلوم) عن طريق توليد سلاسل طويلة من التفكير (الاستدلال). ورغم فعاليتها، إلا أن هذه السلاسل تترتب عليها تكاليف حوسبة عالية (زمن الاستجابة، الذاكرة) وتجعل من الصعب عزل أي رموز (tokens) محددة هي المسؤولة وظيفياً عن الإجابة النهائية.

تعتمد الأساليب الحالية لـ "الاستدلال المدمج" (تقصير السلاسل) على:

• الاستكشاف الخارجي: أخذ عينات من سلاسل متعددة واختيار الأقصر منها.
• الاستدلالات التقريبية (Heuristics): استخدام عتبات الاحتمالية أو قواعد المعالجة اللاحقة.
• الإشراف من النماذج الرائدة (Frontier models): استخدام نماذج أقوى (مثل GPT-4) لتسمية أو توليد سلاسل مدمجة.

الفجوة: تقدم هذه الطرق رؤية محدودة حول ما إذا كان نموذج الاستدلال يشفّر داخلياً بنية للأهمية الوظيفية على مستوى الرمز. ولا يزال من غير الواضح ما إذا كانت آليات الاحتمالية والانتباه الخاصة بالنموذج يمكنها تحديد رموز الاستدلال الحرجة لتوليد الإجابة دون إشراف خارجي.

2. المنهجية: التقليم الجشع (Greedy Pruning)

يقترح المؤلفون التقليم الجشع، وهو إجراء تشخيصي يعامل ضغط الاستدلال كمهمة حذف تحافظ على الاحتمالية.

الآلية الأساسية

بدلاً من توليد سلاسل جديدة، يبدأ "التقليم الجشع" بسلسلة استدلال كاملة تم توليدها بواسطة نموذج "المعلم" (Teacher)، ثم يقوم بإزالة الرموز بشكل تكراري.

1. الهدف: الهدف هو إزالة رمز بحيث يتم تقليل تدهور الاحتمالية (بموجب هدف محدد) إلى أدنى حد.
2. العملية:
   • البدء بسلسلة كاملة $R$.
   • لكل رمز $i$ في السلسلة الحالية، احسب احتمالية ما بعد الحذف $L_{del}^i$ (احتمالية التسلسل المتبقي + الإجابة).
   • تحديد الرمز $i^*$ الذي تؤدي إزالته إلى أعلى احتمالية متبقية (أي أقل ضرر لسلوك تنبؤ النموذج).
   • إزالة $i^*$ وتسجيل "رتبة التقليم" الخاصة به.
   • التكرار حتى الوصول إلى كسر الاحتفاظ المطلوب ($\rho$).
3. أهداف التقليم:
   • $L_{JOINT}$: يحافظ على احتمالية كل من سلسلة الاستدلال والإجابة ($\log P(R_K, A | Q)$). هذا أكثر تقييداً ويحافظ على مسار الاستدلال.
   • $L_{ANS}$: يحافظ فقط على احتمالية الإجابة ($\log P(A | Q, R_K)$). وهذا يسمح بتقليم أكثر عدوانية للخطوات الوسيطة.

الإطار العملي

يستخدم المؤلفون إطار عمل "التقطير" (Distillation) المكون من معلم-مقلم-طالب (Teacher-Pruner-Student):

• المعلم (Teacher): يولد سلسلة الاستدلال الأولية.
• المقلم (Pruner): يطبق التقليم الجشع لإنشاء قائمة مرتبة من الرموز والسلاسل المضغوطة.
• الطالب (Student): نموذج أصغر يتم تدريبه عبر الضبط الدقيق تحت الإشراف (SFT) على السلاسل المقلمة لمعرفة ما إذا كان بإمكانه تعلم الاستدلال المدمج بفعالية.

3. المساهمات الرئيسية

1. أداة تشخيصية: تقديم التقليم الجشع كوسيلة لاستقصاء الأهمية الوظيفية على مستوى الرمز دون تسميات خارجية.
2. تفوق التقطير: إثبات أن الطلاب المدربين على سلاسل مقلمة جشعاً يتفوقون على الطلاب المدربين على سلاسل مشرفة عليها نماذج رائدة (مثل TokenSkip) عند مطابقة الأطوال.
3. اكتشاف البنية الوظيفية: الكشف عن أن النماذج اللغوية الكبيرة تشفر بنية وظيفية غير بديهية حيث تُعطى الأولوية لـ الحساب الرمزي (المعادلات، الأرقام) للاحتفاظ بها، بينما يتم تقليم الهياكل المرجعية (الضمائر)، الوصفية، والنحوية أولاً.
4. الأهمية الديناميكية: إظهار أن أهمية الرمز هي أمر ديناميكي وليست ثابتة؛ حيث تتغير أهمية الرمز مع انكماش السياق، مما يعني أن قرارات التقليم المبكرة لا يمكنها التنبؤ بالقرارات اللاحقة بشكل مثالي.
5. ارتباط الانتباه: إثبات أن رتب التقليم يمكن التنبؤ بها بدرجة عالية (ارتباط بيرسون $\approx 0.88$) باستخدام درجات الانتباه فقط من نموذج المعلم، مما يشير إلى أن إشارات الأهمية متاحة عبر الآليات الداخلية.

4. النتائج التجريبية

مجموعات البيانات والنماذج

• الاختبارات المرجعية: GSM8K (الحساب)، MATH (أولمبياد الرياضيات)، MMLU-Pro (متعدد المجالات).
• النماذج:
  • المعلمون/المقلمون: Llama-3.1-8B، Qwen-2.5-7B.
  • الطلاب: Llama-2-7B، Mistral-7B.
• النماذج المرجعية (Baselines): TokenSkip (مشرف عليه من نموذج رائد)، H2O (إخلاء ذاكرة التخزين المؤقت القائم على الانتباه)، Surprisal (احتمالية التنبؤ)، و Uniform (عشوائي).

نتائج الأداء

• دقة التقطير: حقق التقليم الجشع باستمرار أعلى دقة للطالب عبر جميع مجموعات البيانات وكسور الاحتفاظ ($\rho$). على سبيل المثال، في GSM8K، تفوق الطلاب المقلمون جشعاً بشكل كبير على TokenSkip و H2O.
• جودة الضغط: حتى عند التقليم العدواني (الاحتفاظ بـ 30-40% فقط من الرموز)، احتفظت السلاسل المقلمة بالبنية الدلالية والرياضية الكافية لتدريب طلاب فعالين.
• قوة المقلم: استخدام نموذج أضعف كمقلم (مثل Llama-2-7B بدلاً من Qwen-2.5-7B) أدى إلى تدهور البنية الوظيفية وأداء الطالب، مما يشير إلى أن جودة إشارة الأهمية تعتمد على قدرة المقلم.

تحليل البنية الوظيفية

من خلال تصنيف الرموز إلى ستة أنواع وظيفية (SYMBMATH، METADISC، COREF، ENTNAME، VERBALMATH، GRAMMAR)، وجد المؤلفون:

• SYMBMATH (الرموز/الرياضيات): يتم الاحتفاظ بها بقوة زائدة. وهي أساسية للإجابة.
• COREF (الضمائر) و GRAMMAR: يتم تقليمها أولاً. وهي بمثابة "سقالات" يعتبرها النموذج أقل أهمية للاحتمالية النهائية.
• التأثير الموضوعي: حافظ هدف $L_{JOINT}$ على بنية وظيفية أوضح من $L_{ANS}$، مما أدى إلى نتائج تقطير أفضل.

الديناميكيات والقدرة على التنبؤ

• الرتب الديناميكية: أدى "الترتيب المجمد" (الذي يُحسب مرة واحدة في البداية) إلى أداء أسوأ بكثير من الرتب الديناميكية (التي يُعاد تقييمها في كل خطوة). وهذا يؤكد أن أهمية الرمز تعتمد على السياق.
• تنبؤ الانتباه: يمكن لشبكة MLP بسيطة مدربة على درجات الانتباه التنبؤ بترتيب التقليم الجشع بدقة عالية، مما يشير إلى أن آليات الانتباه تشفر بطبيعتها الأهمية الوظيفية.

5. الأهمية والآثار المترتبة

• التمثيل الداخلي: توفر الورقة دليلاً قوياً على أن النماذج اللغوية الكبيرة لا تعامل جميع رموز الاستدلال بالتساوي؛ بل تشفر تسلسلاً هرمياً كامناً للأهمية يتماشى مع الضرورة الوظيفية للرموز لتوليد الإجابة.
• الكفاءة بدون إشراف خارجي: يوفر التقليم الجشع طريقة مبدئية ذاتية الإشراف لضغط سلاسل الاستدلال، مما قد يقلل من الحاجة إلى النماذج الرائدة المكلفة لتوليد بيانات التدريب للنماذج الأصغر.
• القابلية للتفسير: تعمل هذه الطريقة كـ "مسبار" لفهم كيفية تنظيم النماذج للاستدلال، والتمييز بين الجوهر الحسابي والحشو اللغوي.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن هذه النتائج قد تؤدي إلى تقليم أثناء الاستدلال (إزالة الرموز أثناء التشغيل) ومناهج تدريب أفضل تركز على الرموز الوظيفية بدلاً من طول التسلسل الخام.

القيود

• التكلفة الحوسبية: التنفيذ الساذج للتقليم الجشع هو $O(n^2)$ أو $O(n^4)$ اعتماداً على التنفيذ، مما يجعله مكلفاً جداً للسلاسل الطويلة جداً. ومع ذلك، يشير المؤلفون إلى أن هذا خطوة معالجة مسبقة غير متزامنة (offline).
• القابلية للقراءة: يمكن للتقليم العدواني أن يقلل من السلاسة السطحية (فقدان علامات الترقيم، كسر القواعد النحوية)، رغم أن المنطق الرياضي يظل سليماً.
• النطاق: اقتصرت التجارب على النماذج متوسطة الحجم؛ ولم يتم اختبار النتائج على النماذج الضخمة الموجهة للاستدلال (مثل DeepSeek-R1) بسبب قيود الموارد.