ملخص تقني: CLORE – تحسين مستوى المحتوى لكفاءة الاستدلال

بيان المشكلة

أظهرت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs)، وخاصة تلك التي تستخدم التعلم التعزيزي (RL) بعد مرحلة التدريب (مثل OpenAI o1 وDeepSeek-R1)، قدرات ملحوظة في مهام الاستدلال متعدد الخطوات مثل حل المسائل الرياضية. تحفز هذه الأنظمة مسارات "سلسلة التفكير" (Chain-of-Thought - CoT) الممتدة. ومع ذلك، يحدد الورقة البحثية أن مسارات الاستدلال الطويلة بشكل مفرط غالبًا ما تعاني من "الإفراط في التفكير" (overthinking)، والذي يتميز بثلاثة أنماط محددة من المحتوى منخفض الجودة:

1. مقاطع استدلال متكررة: زيارات زائدة لمراحل وسيطة متكافئة دون تحقيق تقدم جديد.
2. محتوى غير مفهوم أو غير ذي صلة بالمهمة: نصوص غير متماسكة دلاليًا، أو تالفة، أو منفصلة، مما يقلل من القدرة على التفسير.
3. استكشاف غير ضروري: استمرار الاستدلال بعد تحديد الحل الصحيح بالفعل.

تعالج طرق الاستدلال الفعالة الحالية هذه المشكلة أساسًا من خلال التحكم في مستوى الطول، مثل فرض ميزانيات صريحة لعدد الرموز (tokens) أو تصميم مكافآت واعية بالطول. ويجادل المؤلفون بأن هذه الأساليب تعتمد على إشارات خشنة على مستوى التسلسل تنظم مقدار ما يتم توليده من استدلال، لكنها تفشل في الإشراف على ماهية المحتوى الذي يتم توليده. وبناءً على ذلك، تظل محتويات الاستدلال الوسيطة خاضعة لإشراف ضعيف، مما يسمح باستمرار المقاطع ذات المنفعة المنخفضة، أو غير المفهومة، أو غير المساهمة، والتي قد تؤدي إلى زعزعة ديناميكيات تدريب التعلم التعزيزي (RL).

المنهجية: إطار عمل CLORE

تقترح الورقة إطار عمل CLORE (تحسين مستوى المحتوى لكفاءة الاستدلال)، وهو إطار يعمل على تحسين كفاءة الاستدلال عن طريق تحرير محتوى مسارات الاستدلال الصحيحة بدلاً من مجرد تقييد طولها.

سير العمل الأساسي

1. توليد العينات (Rollout Generation): يقوم نموذج السياسة $\pi_\theta$ بأخذ عينات من مسارات استدلال متعددة $\tau$ لمُدخل (prompt) معين $x$.
2. اختيار المسارات الصحيحة: يقيد الإطار عملية التعزيز بالمسارات التي تكون فيها الإجابة النهائية صحيحة ($R(x, \tau) = 1$). يضمن هذا أن البيانات الأساسية تحتوي على استدلال أقل جودة من المسارات الخاطئة، ويبقي البيانات المعززة قريبة من توزيع السياسة.
3. تعزيز الاستدلال: يقوم نموذج تعزيز خارجي (نموذج لغوي كبير يعمل كمحرر) بمعالجة المسارات الصحيحة. يتم توجيهه للقيام بما يلي:
   • حذف مقاطع الاستدلال المتكررة.
   • إزالة المحتوى غير المفهوم أو غير ذي الصلة بالمهمة.
   • قطع الاستكشاف غير الضروري الذي يحدث بعد استقرار الحل.
   • القيد: يجب على المحرر عدم إعادة كتابة أو تغيير صياغة أو إعادة ترتيب المحتوى؛ بل يقوم بعمليات حذف فقط للحفاظ على البنية الأصلية وصحة الحل.
4. بناء أزواج التفضيل: النتيجة هي زوج من المسارات $(\tau, \tilde{\tau})$، حيث $\tilde{\tau}$ هو النسخة المحررة والأكثر إيجازًا. يتم إنشاء تفضيل حيث $\tilde{\tau} \succ \tau$ بناءً على جودة الاستدلال، وليس صحة الإجابة (بما أن كليهما صحيح).
5. هدف التدريب: يتم تدريب السياسة باستخدام هدف هجين يجمع بين:
   • تدرج السياسة القياسي (Policy Gradient - PG): تحسين المسارات الأساسية (مثل GRPO أو DAPO).
   • تحسين التفضيل المباشر الخالي من المرجع (Reference-Free DPO): هدف إضافي لتحسين التفضيل المباشر (DPO) يُطبق على أزواج $(\tau, \tilde{\tau})$. تُصاغ الخسارة كالتالي:
     $$L_{DPO} = -\log \sigma(\beta [\log \pi_\theta(\tilde{\tau} | x) - \log \pi_\theta(\tau | x)])$$
     على عكس DPO القياسي، لا تتطلب هذه الصيغة سياسة مرجعية صريحة. ويجادل المؤلفون بأنه نظرًا لأن $\tilde{\tau}$ مشتق عبر الحذف المحلي من $\tau$، فإنه يظل قريبًا بنيويًا من توزيع السياسة، مما يحد ضمنيًا من الانحراف.

التوافق

تم تصميم CLORE ليكون مستقلاً عن الهيكل الأساسي للتعلم التعزيزي. يمكن دمجه مع مختلف طرق تدرج السياسة (PPO، GRPO، REINFORCE) وطرق الاستدضاء الفعالة القائمة على الطول (مثل ThinkPrune، Training Efficient) عن طريق إضافة حد DPO إلى دالة الخسارة الموجودة.

المساهمات الرئيسية

1. إطار تحسين مستوى المحتوى: ينقل CLORE التركيز من التحكم في طول التسلسل إلى الإشراف على مستوى المحتوى. فهو يستهدف صراحةً ويزيل مكونات الاستدلال منخفضة الجودة (التكرار، عدم الوضوح، ضجيج ما بعد الإجابة) مع الحفاظ على الإجابة النهائية.
2. تعلم التفضيل (المعزز-الأصلي): تقدم الطريقة آلية لتدريب السياسات باستخدام أزواج (المعزز–الأصلي) عبر هدف DPO الخالي من المرجع، مما يخفف من مشكلات عدم التطابق مع السياسة (off-policy mismatch) المرتبطة عادةً بالتحرير اللاحق.
3. التحقق التجريبي: تم تقييم الإطار على DeepSeek-R1-Distill-Qwen-7B و Qwen2.5-Math-7B عبر خمسة معايير للاستدلال الرياضي (OlympiadBench, Minerva, MATH500, AMC2023, AIME2025).
4. إثبات التكامل: توضح الورقة أن CLORE ليس بديلاً للتحكم في مستوى الطول، بل هو طبقة مكملة تحسن المقايضة بين الدقة والكفاءة عند دمجه مع الطرق الموجودة.

النتائج التجريبية

• المقايضة بين الدقة والكفاءة: يحسن CLORE باستمرار درجة الدقة-الكفاءة (AE Score) عبر جميع الخطوط المرجعية المختبرة (GRPO, DAPO, Training Efficient, ThinkProne).
  • في نموذج DeepSeek-R1-Distill-Qwen-7B، أدى تطبيق CLORE إلى تحسين متوسط درجات AE بنحو 0.4 عبر المعايير.
  • في نموذج Qwen2.5-Math-7B، كانت التحسينات أكثر وضوحًا، حيث تجاوز متوسط مكاسب AE غالبًا 1.0، مع تحقيق مكسب محدد يتجاوز 6 نقاط في Minerva عند تطبيقه على GRPO.
• تقليل الطول: يقلل CLORE بشكل كبير من عدد رموز المخرجات (20-30% في DeepSeek، و30-50% في Qwen) دون التسبب في انهيار منهجي للدقة.
• تحليل المحتوى:
  • التكرار: يقلل CLORE من تكرار n-gram المحلي وأطول المقاطع المتكررة.
  • عدم الوضوح: يقلل بشكل كبير من معدل المحتوى غير المفهوم أو غير ذي الصلة بالمهمة (مقاسًا عبر LLM-as-a-judge).
  • استكشاف ما بعد الإجابة: يقلل بفعالية من الاستدلال الذي يستمر بعد العثัง على الحل.
    *. دراسات الاستئصال (Ablation Studies):
  • وزن DPO: يوفر وزن DPO المتوسط ($\lambda$) أفضل توازن بين تقليل الطول والحفاظ على الدقة.
  • نموذج التعزيز: تظل الطريقة فعالة حتى مع استخدام نموذج تعزيز أصغر (Qwen3-1.7B)، رغم أن النموذج الأقوى (Qwen3-4B) يعطي نتائج أفضل قليلاً.

الأهمية والادعاءات

تدعي الورقة أن الاستدلال الفعال يتطلب تحسينًا مزدوجًا: التحكم في كمية الاستدلال (الطول) والإشراف على جودة الاستدلال (المحتوى).

• ما وراء التحكم في الطول: يجادل المؤلفون بأن مجرد تقليل الطول أو فرض ميزانيات أمر غير كافٍ لأنه لا يميز بين الاستدلال عالي القيمة والضجيج الزائد. يعالج CLORE "الإشراف الضعيف" للمحتوى الوسيط المتأصل في تدريب RL القياسي.
• التحسين المستقر: من خلال قصر التعزيز على المسارات الصحيحة واستخدام الحذف المحلي، يبقي CLORE المسارات المحررة قريبة من توزيع السياسة، مما يخفف من عدم التطابق مع السياسة الذي غالبًا ما يصاحب طرق التحرير اللاحقة.
• قابلية التطبيق العامة: يتم تقديم الإطار كتحسين عام لخطوط تدريب الاستدلال القائمة على RL، القادرة على تحسين كل من كفاءة التدريب (عن طريق تقليل التدرجات الضوضائية من الرموز منخفضة الجودة) وكفاءة الاستدلال (عن طريق توليد مسارات استدلال أكثر إيجازًا وكثافة).

يخلص المؤلفون إلى أنه بينما ينظم التحكم في مستوى الطول مقدار الاستدلال الذي يتم توليده، فإن الإشراف على مستوى المحتوى (كما يوفر CLORE) ضروري لتحديد أي محتوى استدلالي هو مفيد ويستحق الاحتفاظ به.