ملخص تقني: فهم وتخفيف الثقة المبكرة من أجل تعزيز استدلال النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) الحالية التي تستخدم سلسلة التفكير (Chain-of-Thought - CoT) بشكل متكرر فجوات منطقية، وقفزات غير مبررة، وتناقضات، لا سيما في سلاسل الاستدلال الطويلة. وبينما يهدف زيادة الحوسبة أثناء وقت الاختبار (على سبيل المثال، توليد سلاسل CoT أطول) إلى تحسين الأداء، فإن مسارات الاستدلال المعيبة هذه غالبًا ما تفشل في تقديم المكاسب المتوقعة في القدرة. وتتمثل المشكلة الحرجة في عدم الأمانة (unfaithfulness): حيث لا يعكس الاستدﻟﺠ المولد حقيقةً العمليات الحسابية الفعلية للنموذج. وتحديداً، تظهر النماذج غالباً ثقة مبكرة (premature confidence)، وهي ظاهرة يلتزم فيها النموذج بإجابة نهائية في وقت مبكر من عملية الاستدلال، ثم يستخدم الرموز (tokens) المتبقية لتبرير تلك الإجابة المحددة مسبقاً بدلاً من استنتاجها.

إن معالجة هذا الأمر مباشرة عبر نماذج مكافأة العمليات (PRMs) أمر صعب بسبب ندرة وتكلفة التوسيم (annotation) على مستوى الخطوة الواحدة. وبناءً على ذلك، تعتمد أساليب التعلم التعزيزي (RL) الحالية للاستدلال إلى حد كبير على مكافآت النتائج النهائية، مما يحسن الإجابات النهائية دون ضمان سلامة عملية الاستدلال. علاوة على ذلك، تواجه الطرق الحالية صعوبة في مراقبة وتوجيه سلوك النموذج عندما يكون مسار الاستدلال غير أمين لعملية اتخاذ القرار الأساسية.

المنهجية: تشكيل الثقة التدريجي (Progressive Confidence Shaping)

يقترح المؤلفون نهجاً جديداً لا يتطلب توسيماً (annotation-free) لاكتشاف وتخفيف الثقة المبكرة، يُسمى تشكيل الثقة التدريجي.

1. قياس الثقة المبكرة

تقيس الطريقة الثقة عن طريق تقسيم سلسلة التفكير (CoT) إلى نقاط تفتيش موزعة بالتساوي (على سبيل المثال، 0%، 10%، ...، 100%). عند كل نقطة تفتيش، يتم قطع سلسلة الـ CoT، ويُطلب من النموذج إخراج الإجابة النهائية فوراً. ومن خلال مقارنة إجابات "الجس" (probe answers) هذه مع الحقيقة (أو إجابة الـ CoT الكاملة)، يتم بناء مسار ثقة (confidence trajectory).

• الثقة التدريجية: يرتفع المسار تدريجياً من منخفض إلى مرتفع، مما يشير إلى أن الاستدلال يساهم فعلياً في التنبؤ.
• الثقة المبكرة: يكون المسار مرتفعاً منذ البداية، مما يشير إلى أن النموذج قد ثبت إجابته قبل توليد سلسلة الاستدلال.

2. هدف التدريب

يقدم المؤلفون هدف تعلم تعزيزي مبني على تحسين السياسة النسبية للمجموعة (Group Relative Policy Optimization - GRPO). بدلاً من الاعتماد على مراقبين خارجيين لكل خطوة تدريب، تستخدم الطريقة مسار الثقة الخاص بالنموذ_ نفسه كإشارة تدريب.

• الآلية: لكل CoT يتم توليده، يتم جس النموذج عند نقاط قطع متعددة للحصول على متجه ثقة. يتم دمج هذا المتجه في حساب الميزة (advantage calculation) عبر الضرب الداخلي مع متجه تسجيل ثابت ومتناقص رتيب (على سبيل المثال، $w = [0.5, 0.3, 0.1, -0.1, -0.3, -0.5]$).
• الأثر: يؤدي هذا إلى معاقبة سلاسل الـ CoT التي تكون فيها الثقة عالية في البداية (الالتزام المبكر) ومكافأة تلك التي تبني الثقة تدريجياً.
• الميزة: لا يتطلب هذا النهج أي تسميات خارجية، ولا مدققين مدربين، ولا توسيماً على مستوى الخطوة، مما يجعله قابلاً للتوسع عبر مختلف المهام وأحجام النماذج.

المساهمات الرئيسية

1. الارتباط التجريبي: تثبت الورقة أن الثقة المبكرة هي مؤشر قوي للعيوب المنطقية. عبر أربعة اختبارات متنوعة (CSQA, GPQA, LSAT, MuSR) ونموذجين قويين للاستدلال (Qwen2.5-32B, DeepSeek-R1-Distill-Qwen-32B)، تحتوي سلاسل الـ CoT ذات الثقة المبكرة على عيوب منطقية أكثر بكثير (على سبيل المثال، $2.8\times$ أكثر في CSQA) من تلك ذات الثقة التدريجية. وهذا الارتباط يظل قائماً حتى بالنسبة للعينات التي تصل إلى الإجابة الصحيحة، مما يؤكد أن الثقة المبكرة تتبع الاستدلال المعيب، وليس فقط الإجابات الخاطئة.
2. تشكيل الثقة التدريجي: هدف تعلم تعزيزي جديد يعاقب الالتزام المبكر ويكافئ نمو الثقة التدريجي. وهو يستخدم متجهاً واحداً ثابتاً للتسجيل عبر جميع المهام وأحجام النماذج دون ضبط (tuning).
3. التحليل الآلي: يحدد المؤلفون قوتين متنافستين تحكمان الثقة المبكرة: منفعة الاستدلال (Reasoning Utility) (مدى معاقبة المهمة للثقة المبكرة) وإمكانية الوصول إلى الاستدلال (Reasoning Accessibility) (مدى سهولة إنتاج النموذج لـ CoT تدريجي). وقد وجدوا أنه في المشكلات الصعبة ومع النماذج الأكبر، تهيمن إمكانية الوصول؛ حيث نادراً ما تنتج النماذج CoT تدريجياً في البداية، مما يؤدي بالتعلم التعزيزي التقليدي إلى الاستقرار على الثقة المبكرة. تعالج الطريقة المقترحة هذا الأمر بفعالية من خلال تشكيل إشارة المكافأة لتشجيع إمكانية الوصول.

النتائج التجريبية

تم تقييم الطريقة على الحساب الاصطناعي (Countdown)، والاستدلال الرياضي (DAPO, AIME, HMMT)، والاستدلال العلمي (SciQA) عبر أحجام نماذج تتراوح من 1.5 مليار إلى 8 مليارات معلمة.

• الحساب (Countdown): في الإعدادات الصعبة، حسنت الطريقة الدقة بمقدار 3.2$\times$ (من 19.1% إلى 61.1%، بزيادة قدرها 42.0 نقطة مئوية) مع تقليل العيوب الاستدلالية بمقدار 48 نقطة مئوية.
• الرياضيات (AIME/DAPO): في AIME، تحسن مقياس Pass@64 بمقدار 6.6 نقطة مئوية. وفي مجموعة اختبار DAPO الصعبة باستخدام نموذج 7B، حققت الطريقة دقة مماثلة للتعلم التعزيزي التقليدي بنصف ميزانية أخذ العينات تقريباً (على سبيل المثال، مطابقة Pass@16 للنموذج التقليدي باستخدام Pass@8).
• الاستدلال العلمي (SciQA): تحسنت الدقة عبر جميع أحجام النماذج (على سبيل المثال، +5.8pp لنموذج 8B)، مع انخفاض متزامن في الاختصارات المنطقية.
• الأمان والأمانة: في اختبار أمان يتضمن تلميحات مضللة محقونة، أنتجت الطريقة نماذج كانت أكثر شفافية، حيث أظهرت المحتوى المضلل في مسارات الاستدلال الخاصة بها بدلاً من إخفائه. وهذا يشير إلى أن التدخل لا يحسن الدقة فحسب، بل يحسن أيضاً أمانة (faithfulness) عملية الاستدلال.

الأهمية والادعاءات

تدعي الورقة أن الثقة المبكرة تعمل كمقياس قابل للتوسع ولا يتطلب توسيماً للكشف عن الاستدلال منخفض الجودة. ومن خلال الاستفادة من هذه الإشارة، يوفر تشكيل الثقة التدريجي المقترح بديلاً عملياً لنماذج مكافأة العمليات المكلفة.

تكمن الأهمية في ثلاثة مجالات:

1. الكفاءة: تحسن جودة الاستدلال والدقة دون الحاجة إلى تسميات بشرية خارجية أو مدققين مدربين.
2. الأمانة: تعالج مشكلة "عدم الأمانة" في CoT، مما يضمن أن مسارات الاستدلال المولدة تعكس سببياً عملية اتخاذ القرار للنموذج، وهو أمر بالغ الأهمية للمراقبة والسلامة.
3. القابلية للتوسع: الطريقة فعالة عبر مجموعة واسعة من أحجام النماذج (1.5B إلى 8B) وصعوبات المهام، حيث تتركز المكاسب في المشكلات الصعبة حيث تكون الحاجة إلى استدلال حقيقي في أعلى مستوياتها.

يخلص المؤلفون إلى أن تخفيف الثقة المبكرة هو خطوة حاسمة نحو تطوير نماذج لغوية كبيرة تستدل بشكل أكثر صدقاً وشفافية وموثوقية، لا سيما مع زيادة أحجام النماذج وصعوبة المهام.