💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

تقدم الورقة البحثية CARE-RFT، وهي طريقة جديدة للضبط الدقيق بالتعزيز تستخدم تباعد كيه إل العكسي المائل (skew reverse KL divergence) لحل المقايضة بين أداء الاستدلال وموثوقية النموذج، محققةً قدرات الاستدلال العالية للضبط الدقيق بالتعزيز غير المقيد مع الحفاظ على المعايرة والموثوقية للنموذج الأساسي.

المؤلفون الأصليون: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم طالباً ذكياً ومطلعاً جداً (النموذج الذكي) كيفية حل الألغاز المعقدة. تريد منه أن يصبح بارعاً في التفكير، قادراً على التفكير خطوة بخطوة وإيجاد حلول إبداعية. ومع ذلك، تريد منه أيضاً أن يظل صادقاً وألا يختلق حقائق عندما لا يكون متأكداً.

هذه الورقة البحثية، CARE-RFT، تعالج مشكلة محددة تنشأ عندما نحاول تدريب هؤلاء الطلاب باستخدام طريقة تسمى "الضبط الدقيق بالتعزيز" (Reinforcement Finetuning - RFT).

المشكلة: "الحالم الواثق بزيادة" مقابل "البيروقراطي الحذر"

وجد المؤلفون أن طرق التدريب الحالية تجبرك على الاختيار بين خيارين سيئين:

النهج غير المقيد (الحالم الواثق بزيادة):
إذا تركت الطالب يتعلم فقط عن طريق التجربة والخطأ دون قواعد صارمة، فسيصبح بارعاً جداً في حل الألغاز الصعبة. سيبدأ في التفكير خارج الصندوق! لكنه أيضاً سيبدأ في الهلوسة. سيصبح واثقاً جداً في إجاباته لدرجة أنه سيبدأ في اختلاق حقائق مزيفة أو الكذب بشأن أشياء لا يعرفها بكل ثقة. سيفقد "معايرته" (Calibration)، مما يعني أن ثقته لن تتطابق مع دقته الفعلية.

تشبيه: الأمر يشبه طالباً يحفظ نموذج الإجابة لاختبار رياضيات ولكنه لا يفهم الرياضيات نفسها. إذا تغير الاختبار قليلاً، فسيبدأ في التخمين بجنون وثقة، ويصل إلى الإجابة الصحيحة بمحض الصدفة لكنه يفشل في أن يكون موثوقاً.

نهج RKL المقيد (البيروقراطي الحذر):
لإيقاف الكذب، يقوم الباحثون عادةً بإضافة "لجام سلامة" يسمى الـ KL العكسي (Reverse KL). هذا يجبر الطالب على البقاء قريباً جداً من شخصيته الأصلية التي تدرب عليها مسبقاً. هذا يبقيه صادقاً وواقعياً.

العيب: اللجام ضيق جداً. إنه يعاقب الطالب على محاولة تجربة أي شيء جديد أو مختلف. ولأنه يخشى الابتعاد عن المسار "الآمن"، يتوقف عن تعلم كيفية حل الألغاز الصعبة والمعقدة. يظل صادقاً، لكنه يتوقف عن كونه ذكياً.

الحل: CARE-RFT (المدرب "المثبت بالثقة")

يقترح المؤلفون طريقة جديدة تسمى CARE-RFT. فكر في هذا كمدرب ذكي يعرف تماماً متى يرخي اللجام ومتى يشده.

بدلاً من قاعدة واحدة جامدة، يستخدم CARE-RFT أداة خاصة تسمى Skew Reverse KL. إليك كيف تعمل باستخدام استعارة بسيطة:

مفهة "المرساة": تخيل أن الطالب هو قارب، والنموذج الأصلي المدرب جيداً هو مرساة ثقيلة.
الـ RKL القياسي (الطريقة القديمة): المرساة هي سلسلة ضخمة غير قابلة للكسر. إذا حاول القارب الإبحار حتى قليلاً في مياه جديدة وغير مستكشفة (استكشاف مسارات تفكير جديدة)، فإن السلسلة تسحبه بقوة للخلف. يبقى القارب آمناً لكنه لا يستكشف أبداً.
الـ RFT غير المقيد (الطريقة الأخرى): يتم قطع المرساة. يمكن للقارب الذهاب إلى أي مكان، لكنه قد يصطدم بالصخور (الهلوسة) أو ينحرف نحو الهاوية (سوء المعايرة).
CARE-RFT (الطريقة الجديدة): المرساة هي حبل ربط ذكي وقابل للتعديل.
- عندما يكون الطالب غير متأكد: إذا انجرف القارب إلى مياه ضبابية وغير مؤكدة، فإن الحبل يشد بقوة، مما يبقي الطالب راسخاً في المعرفة الواقعية الآمنة للنموذج الأساسي. هذا يمنع الهلوسة.
- عندما يكون الطالب واثقاً ومجزياً: إذا جرب الطالب مساراً جديداً ونجح (حصل على مكافأة عالية)، فإن الحبل يرتخي. يسمح له بالانجراف بعيداً لاستكشاف وتعلم التفكير المعقد، ولكن فقط لأنه أثبت أنه على المسار الصحيح.

ماذا يحدث عند استخدام CARE-RFT؟

أجرى المؤلفون تجارب على نماذج ذكاء اصطناعي مختلفة (مثل Qwen2.5) ووجدوا أن CARE-RFT يحقق "أفضل ما في العالمين":

يحافظ على ذكاء "الحالم": أصبحت النماذج بارعة بقدر في حل مشاكل الرياضيات والتفكير الصعبة مثل النماذج غير المقيدة المعرضة للهلوسة.
يحافظ على أمانة "البيروقراطي": ظلت النماذج موثوقة ودقيقة واقعياً تماماً مثل النماذج الحذرة المقيدة باللجام. توقفت عن اختلاق الحقائق وتطابقت مستويات ثقتها مع أدائها الفعلي.

سر "الإنتروبيا" (Entropy)

نظر المؤلفون أيضاً في "الإنتروبيا" (مقياس عدم اليقين) للنماذج أثناء التدريب.

النماذج غير المقيدة أصبحت "هشة" — انهار عدم اليقين لديها إلى الصفر بسرعة كبيرة، مما جعلها واثقة بزيادة وعرضة للأخطاء.
نماذج RKL ظلت "غامضة" وغير متأكدة جداً لدرجة تمنعها من تعلم المهام الصعبة.
وجد CARE-RFT "منطقة غولديلوكس" (المنطقة المثالية). سمح للنماذج بأن تصبح واثقة بما يكفي لحل المشكلات الصعبة، ولكن ليس واثقة لدرجة تجعلها تتوقف عن التشكيك في نفسها.

الملخص

باختاً، CARE-RFT هو تقنية تدريب جديدة تعمل كشبكة أمان ذكية. إنها تسمح لنماذج اللغات الكبيرة باستكشاف استراتيجيات تفكير جديدة ومعقدة دون فقدان تماسكها مع الواقع. وهي تثبت أنه ليس عليك الاختيار بين أن تكون مفكراً بارعاً ومدققاً موثوقاً للحقائق؛ فمع النهج الصحيح "المثبت بالثقة"، يمكنك أن تكون كلاهما.

ملخص تقني: CARE-RFT

بيان المشكلة

برز الضبط الدقيق بالتعزيز (RFT) كنموذج محوري لإطلاق قدرات الاستدلال الناشئة في النماذج اللغوية الكبيرة (LLMs)، كما هو متمثل في نماذج مثل DeepSeek-R1-Zero. ومع ذلك، يحدد المؤلفون مقايضة حرجة بين أداء الاستدلال وموثوقية النموذج:

الضبط الدقيق بالتعزيز غير المقيد (Unconstrained RFT): بينما تحقق خوارزميات مثل تحسين السياسة النسبي للمجموعات (GRPO) بدون قيود أداءً استدلاليًا فائقًا، إلا أنها تضعف بشدة موثوقية النموذج. يؤدي إزالة القيود إلى "تعزيز عشوائي"، حيث يعزز النموذج سلاسل التفكير بأكملها (بما في ذلك الخطوات الوسيطة المعيبة منطقيًا) إذا كانت النتيجة النهائية صحيحة. يؤدي هذا إلى زيادة معدلات الهلوسة، وتدهور الواقعية في اختبارات الاسترجاع، وضعف المعايرة (ارتفاع خطأ المعايرة المتوقع، أو ECE).
الضبط الدقيق بالتعزيز المقيد بـ RKL: للتخفيف من الهلوسة، تفرض النهج القياسية عقوبة تباعد كولباك - ليبلر العكسي (RKL) لإبقاء السياسة المدربة ( $\pi_\theta$ ) قريبة من السياسة المرجعية ( $\pi_{ref}$ ). وبينما يحافظ هذا على المعايرة والواقعية، فإن عقوبة RKL هي عقوبة غير محدودة. فهي تفرض عقوبات لانهائية على الرموز (tokens) التي تعطي لها النموذج المرجعي احتمالية منخفضة، مما يؤدي فعليًا إلى كبح استكشاف مسارات استدلال جديدة وعالية المكافأة تبتعد عن النموذج الأساسي. وبناءً على ذلك، تكون مكاسب الاستدلال محدودة مقارنة بـ RFT غير المقيد.

التحدي الجوهري هو تصميم طريقة تنظيم تسمح بالاستكشاف الضروري للاستدلال مع منع الانحرافات غير المرتبطة التي تسبب الهلوسة وسوء المعايرة.

المنهجية: CARE-RFT

يقترح المؤلفون CARE-RFT (الضبط الدقيق بالتعزيز المنظم والمثبت بالثقة)، والذي يستبدل عقوبة RKL القياسية بتباعد كولباك - ليبلر العكسي المائل (SRKL).

الأساس النظري

يفرض تباعد RKL القياسي ( $D_{RKL}$ ) عقوبة على الانحرافات حيث تخصص $\pi_\theta$ احتمالية للرموز التي تراها $\pi_{ref}$ غير مرجحة. تنمو هذه العقوبة بشكل غير محدود كلما اقتربت $\pi_{ref}(o_t)$ من الصفر، مما يمنع النموذج من استكشاف استراتيجيات الاستدلال ذات الاحتمالية المنخفضة ولكنها قد تكون صحيحة.

يقدم CARE-RFT معامل ميل $\alpha \in (0, 1)$ لتعريف توزيع مختلط. يتم تعريف تباعد SRKL كالتالي:
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

الآليات الرئيسية

العقوبة المثبتة بالثقة (Confidence-Anchored Penalty): عقوبة SRKL هي عقوبة حساسة للثقة.
- الانحرافات التصاعدية (الاستكشاف): عندما يكون النموذج واثقًا ( $\pi_\theta$ مرتفعة) ويحصل باستمرار على مكافآت، تكون عقوبة زيادة الاحتمالية على رمز ما محدودة. يعمل المصطلح $\log(1/\alpha)$ كحد أقصى نهائي. وهذا يسمح للنموذج بتجميع الكتلة الاحتمالية لأنماط استدلال جديدة وعالية المكافأة دون أن يتم كبحه بواسطة الاحتمالية المنخفضة للنموذج المرجعي.
- الانحرافات التنازلية (الحفاظ): عندما يحاول النموذج تقليل الاحتمالية للرموز التي يفضلها النموذج المرجعي (أو عندما يكون النموذج غير متأكد)، تظل العقوبة غير محدودة (تتباعد نحو $-\infty$ مع اقتراب النسبة من الص0). يضمن هذا عدم انحراف النموذج عن الأولويات المعايرة جيدًا للنموذج الأساسي، مما يحافظ على التجذر الواقعي.
استقرار التدرج: معامل تدرج SRKL يكون محدودًا للتحركات التصاعدية، مما يخفف من "انفجار التدرج" وتباين المقدر الذي يظهر غالبًا مع RKL القياسي عندما يخصص النموذج المرجعي احتمالية قريبة من الصفر للرموز التي تم أخذ عينات منها.

الإعداد التجريبي

قيم المؤلفون CARE-RFT عبر أحجام نماذج متعددة (Qwen2.5-3B و 7B) وثلاث خوارماذج RFT متميزة:

GRPO: تحسين السياسة النسبي للمجموعات التأسيسي.
DAPO: نسخة عدوانية خالية من القيود.
GSPO: نهج تحسين حديث على مستوى التسلسل.

الاختبارات المرجعية:

الاستدلال: MATH و GSM8K (مقاسًا بـ Pass@4).
الموثوقية/الواقعية: TruthfulQA و SelfAware (مقاسًا بـ Pass@1).
المعايرة: خطأ المعايرة المتوقع (ECE) على TruthfulQA.

النتائج الرئيسية

تُظهر التجارب أن CARE-RFT ينجح في كسر مقايضة الدقة-المعايرة:

أداء الاستدلال: يضاهي CARE-RFT أداء الاستدلال لـ RFT غير المقيد. على سبيل المثال، باستخدام Qwen2.5-3B مع GRPO، حقق CARE-RFT درجة MATH بلغت 0.600، وهي مطابقة تقريبًا للنسخة غير المقيدة (0.610) وأعلى بكثير من GRPO المقيد بـ RKL (0.510).
الموثوقية والمعايرة: على عكس RFT غير المقيد، الذي عانى من انخفاض حاد في دقة TruthfulQA وارتفاع في ECE، استعاد CARE-RFT موثوقية النموذج الأساسي.
- TruthfulQA: سجل CARE-GRPO درجة 0.465، وهي قريبة من النموذج الأساسي (0.489) و RKL-GRPO (0.480)، بينما انخفض GRPO غير المقيد إلى 0.350.
- ECE: حافظ CARE-RFT على ECE منخفض (0.132)، وهو مشابه للطرق المقيدة بـ RKL (0.125) وأفضل بكثير من الطرق غير المقيدة (0.210).
ديناميكيات التدريب: كشف تحليل إنتروبيا الرموز أن RFT غير المقيد يؤدي إلى انهيار كارثي في الإنتروبيا (الإفراط في الثقة)، بينما يحافظ RKL على إنتروبيا عالية ولكنه يحد من حدة التوزيع. يحقق CARE-RFT تقليلًا متحكمًا فيه للإنتروبيا، مما يسمح للنموذج بزيادة حدة التوزيعات من أجل الاستدلال دون الانهيار في حالة الإفراط في الثقة.

الأهمية والادعاءات

يزعم البحث أن التنظيم الدقيق والمدرك للثقة هو المفتاح لبناء نماذج استدلال قادرة وموثوقة في آن واحد.

حل المقايضة: يحل CARE-RFT التوتر بين الحاجة إلى الاستكشاف (لإطلاق الاستدلال) والحاجة إلى القيد (لمنع الهلوسة) من خلال تقديم عقوبة من جانب واحد ومحدودة.
القدرة على التعميم: يتم تقديم الطريقة كطبقة تنظيم "جاهزة للاستخدام" (drop-in) متوافقة مع مختلف خوارزميات RFT (GRPO, DAPO, GSPO) وأحجام النماذج.
الرؤية الآلية: يوضح العمل أن فشل RFT غير المقيد ليس مجرد نقص في القيود، بل هو تحديدًا الطبيعة "العشوائية" للمكافآت على مستوى المخرجات. ومن خلال الانتقال إلى قيود على مستوى الرمز (token-level) ومدركة للثقة، يمكن للنموذج تعلم أنماط استدلال معقدة دون التضحية بالأولويات الواقعية للنموذج الأساسي.

يخلص المؤلفون إلى أن نهجهم يمكّن النماذج من تحقيق "لحظة الـ (aha)" الخاصة بالاستدلال الناشئ مع الحفاظ على الموثوقية المطلوبة للتطبيقات عالية المخاطر، دون الحاجة إلى العقوبات غير المحدودة التي تعيق التعلم في RFT التقليدي المقيد بـ RKL.