ملخص تقني: التقطير الموجه بالانتقاد من أجل الاستدلال القوي عبر التنقيح

بيان المشكلة

لا يزال الضبط الدقيق الخاضع للإشراف (SFT) هو النهج المهيمن لتكييف النماذج اللغوية الكبيرة (LLMs) مع المهام النهائية. ومع ذلك، غالبًا ما يؤدي الـ SFT القياسي إلى جعل النماذج تحاكي مخرجات الخبراء دون استيعاب عمليات الاستدلال الكامنة، مما يؤدي إلى ضعف في التعميم خارج نطاق التوزيع، وزيادة في الهلوسة، وصعوبة في التوسع للتعامل مع حالات المشكلات الأكثر صعوبة.

تُظهر النماذج البديلة التي تستفيد من الانتقاد والمراجعة (مثل Self-Refine و Reflexion) وعودًا، لكنها تتسبب في تكاليف استدلال كبيرة بسبب تعدد مراحل التلقين (multi-pass prompting). يحاول "الضبط الدقيق للانتقاد" (CFT) نقل عملية توليد الانتقادات إلى مرحلة التدريب، ولكنه يقدم عيوبًا جوهرية: إذ يؤدي تدريب النماذج على توليد الانتقادات غالبًا إلى انحراف في تنسيق المخرجات وفقدان القدرات العامة (مثل اتباع التعليمات). علاوة على ذلك، تعتمد طرق التقطير الحالية غالبًا على تفسيرات المعلم العامة للحلول الصحيحة بدلاً من معالجة أخطاء الطالب المحددة، أو تعتمد على إشارات إشراف ضمنية (مثل احتمالات الرموز/tokens) تفتقر إلى المعلومات التشخيصية القابلة للتنفيذ.

المنهجية: التقطير الموجه بالانتقاد (CGD)

يقترح المؤلفون التقطير الموجه بالانتقاد (CGD)، وهو إطار عمل تدريبي يفصل بين استهلاك الانتقاد وتوليد الانتقاد. الحدس الجوهري هو أن نموذج الطالب يمكنه استيعاب قدرات التصحيح الذاتي من خلال التدريب على انتقادات يوفرها المعلم لأخطائه الخاصة، دون الحاجة إلى توليد تلك الانتقادات بنفسه.

إجراء التدريب

يتكون مسار CGD من ثلاث مراحل لكل عينة تدريبية:

1. توليد إجابة الطالب: يقوم نموذج الطالب ($S_{\theta_{init}}$) بتوليد استجابة أولية، قد تكون معيبة، ($y'$) للمطالبة ($x$).
2. توليد الانتقاد: يقوم نموذج المعلم ($T_\phi$) بتحليل ($y'$) وتوليد انتقاد نصي ($c$) يحدد أخطاءً أو مفاهيم خاطئة أو فجوات محددة في الاستدلال.
3. توليد الإجابة المنقحة: ينتج نموذج المعلم إجابة مثالية ومنقحة ($\hat{y}$) مشروطة بالمطالبة ($x$)، وإجابة الطالب الأولية ($y'$)، والانتقاد ($c$).

يتم بعد ذلك ضبط الطالب دقيقًا باستخدام مجموعة البيانات المعززة $((x, y', c), \hat{y})$ باستخدام هدف نمذجة لغوية قياسي لتقليل السلب اللوغاريتمي للاحتمالية (negative log-likelihood) للإجابة المنقحة:
$$\mathcal{L}(\theta) = \mathbb{E}_{(x,y',c,\hat{y})}[-\log S_\theta(\hat{y} \mid x, y', c)]$$

سلوك الاستدلال

من الأهمية بمكان أن الانتقادات تُستخدم فقط أثناء التدريب. في وقت الاستدلال، يتلقى النموذج فقط المطالبة ($x$) ويولد إجابة منقحة في تمريرة أمامية واحدة (single forward pass). لا يقوم النموذج بتوليد الانتقادات، ولا يتطلبها كمدخلات. يضمن هذا التصميم عدم وجود عبء معماري إضافي ويحافظ على تنسيق الاستدلال القياسي، متجنبًا انحراف التنسيق الملاحظ في CFT.

المساهمات الرئيسية

1. إطار عمل تدريبي مبتكر: تقديم CGD، الذي يدرب النماذج على استهلاك التغذية الراجعة التفسيرية لتنقيح استجاباتها، بدلاً من تدريبها على توليد الانتقادات.
2. فصل الأدوار: يفصل الإطار بين أدوار توليد الانتقاد (المعلم) واستهلاك الانتقاد (الطالب)، مما يسمح للطالب باستيعاب الاستدلال المدرك للأخطاء دون الحاجة إلى زمن تأخير (latency) في الاستدلال الناتج عن حلقات التصحيح الذاتي.
3. الحفاظ على القدرات العامة: على عكس CFT الذي يقلل من قدرات اتباع التعليمات، يحافظ CGD على القدرات العامة مع تعزيز أداء الاستدلال بشكل كبير.
4. التعميم عبر عائلات النماذج: يظهر المنهج متانة عبر عائلات نماذج متنوعة (LLaMA, Qwen, S1.1, Mixtral, OLMo) ويتوسع، محققًا نتائج رائدة حتى مع استخدام معلم من المصادر المفتوحة.
5. التحليل التجريبي: دراسات استئصال (ablation studies) شاملة توضح دور خصوصية الانتقاد، وملاءمته، وصحته، بالإضافة إلى التحليلات التشخيصية لآليات الانتباه الداخلية ومعايير التدرج (gradient norms).

النتائج التجريبية

قيم المؤلفون CGD عبر خمس عائلات من النماذج وعدة اختبارات مرجعية (benchmarks)، مقارنة بـ SFT القياسي، وDistilled SFT، وCritique Fine-Tuning (CFT).

• الاستدلال الرياضي: يتفوق CGD باستمرار على النماذج المرجعية. في نموذج LLaMA3.1-8B، حقق تحسنًا متوسطًا بنسبة +5.4% في اختبارات الاستدلال الرياضي مقارنة بـ CFT، مع مكاسب محددة بلغت +15.0% في AMC23 و +12.2% في MATH-500. وفي نموذج S1.1-3B، وصلت المكاسب إلى +7.2% فوق CFT.
• القدرات العامة: بينما تسبب CFT في انخفاض كارثي في أداء اتباع التعليمات (انخفضت دقة IFEval من 76.9% إلى 55.6%)، حافظ CGD على الأداء (76.1%)، مما حافظ بفعالية على القدرات العامة.
• التعميم خارج نطاق التوزيع: رغم تدريب النماذج على بيانات لا تحتوي على أي أكواد برمجية، انتقل CGD إلى مهام توليد الكود (HumanEval)، محققًا تحسنًا بنسبة +4.9% فوق النموذج الأساسي، متفوقًا على CFT.
• جودة الاستدلال مقابل البحث: في الاختبارات التنافسية الصعبة (AIME24)، أظهر CGD مكاسبًا كبيرة عند ميزانيات العينات المنخفضة (تحسن Pass@1 من 3.3% إلى 16.7%)، مما يشير إلى تحسن في جودة الاستدلال لكل عينة بدلاً من الاعتماد على البحث المكثف. كما أنتجت النماذج سلاسل استدلال أطول بكثير (أطول بـ 4.4 مرة في AIME).
• رؤى الاستئصال (Ablation Insights):
  • ضرورة الانتقاد: أدى إزالة الانتقاد من سياق التدريب إلى تدهور الأداء بنسبة تصل إلى 114% في AMC23، مما يؤكد أن الانتقاد يعمل كسند تعليمي حاسم.
  • الخصوصية والملاءمة: تفوقت الانتقادات المحددة والملائمة على العناصر النائبة (placeholders) العامة. أما الانتقادات غير الملائمة (محددة ولكنها خاطئة بالنسبة للمشكلة) فقد أدت إلى تضليل النموذج فعليًا، وكان أداؤها أسوأ من العناصر النائبة العامة.
  • المتانة: أظهرت النماذج المدربة على خليط متوازن من الإجابات الصحيحة والخاطئة (50/50) أعلى مستويات المتانة، حيث طورت قدرة داخلية للتمييز بين التوجيهات الصالحة وغير الصالحة.

الأهمية والادعاءات

تضع الورقة البحثية CGD كـ نموذج تدريبي وسيط عملي وفعال من حيث الحوسبة لمهام التركيز على الاستدلال. تكمن أهميته الأساسية في تحقيق تحسينات كبيرة في الاستدلال دون إدخال عبء إضافي في وقت الاستدلال أو تغييرات هيكلية.

يدعي المؤلفون أن CGD يعالج بنجاح قيود كل من SFT القياسي (المحاكاة الضحلة) وCFT (انحراف التنسيق وتدهور القدرات). من خلال معاملة الانتقادات كسند دلالي مخصص لوقت التدريب فقط، يُمكّن CGD النماذج من استيعاب التحول من الخطأ إلى التصحيح. تشير النتائج إلى أن هذا النهج يقدم بديلًا مستقرًا وخاضعًا للإشراف لتعلم التعزيز (RL) لمهام الاستدلال، حيث لاحظ المؤلفون أن CGD و RL قد يكونان مكملين لبعضهما البعض بدلاً من كونهما متنافسين. ويُبرز المنهج كونه فعالاً بشكل خاص في البيئات محدودة الموارد، حيث يحقق أداءً قويًا بتكاليف حوسبة أقل بكثير مقارنة بطرق الاستدلال القائمة على RL.