🤖 AI

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable

تقدم هذه الورقة إطار عمل CASPO، الذي يعزز موثوقية وكفاءة نماذج الاستدلال الكبيرة من خلال مواءمة الثقة على مستوى الرمز مع الصحة المنطقية عبر تحسين التفضيل المباشر، وتمكين التقليم الديناميكي لفروع الاستدلال غير المؤكدة عبر آلية الفكر المدرك للثقة (CaT).

المؤلفون الأصليون: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kejia Chen, Jiawen Zhang, Yihong Wu, Kewei Gao, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريس طالب عبقري ولكنه مغرور، لنسمه "روبوت الاستنتاج" (Reasoning Bot)، كيفية حل المسائل الرياضية المعقدة. هذا الطالب بارع في الوصول إلى الإجابة النهائية الصحيحة، لكنه غالبًا ما يسلك طريقًا خاطئًا، ثم يدرك ذلك، ويصحح مساره بشكل سحري دون أن يعترف بأنه كان مرتبكًا. أو والأسوأ من ذلك، أنه يسير بثقة في طريق مسدود، مقتنعًا بأنه على حق، ليصطدم بالإجابة الصحيحة بمحض الصدفة واللحظ.

المشكلة ليست فقط في كونه يصيب أو يخطئ في الإجابة؛ بل في أنه لا يعرف متى يكون غير متأكد. قد يكون واثقًا بنسبة 99% من خطوة هي في الواقع محض هراء، أو واثقًا بنسبة 10% فقط من خطوة منطقية تمامًا. هذا يجعله غير موثوق، خاصة في المواقف عالية الخطورة مثل الطب أو التمويل، حيث تحتاج إلى الثقة في كل خطوة من الرحلة، وليس فقط في الوجهة النهائية.

تقدم الورقة البحثية طريقة تدريب جديدة تسمى CASPO (تحسين التفضيل القائم على الوعي بالثقة) وطريقة تفكير جديدة تسمى CaT (التفكير الواعي بالثقة). إليك كيف تعمل هذه الطرق باستخدام تشبيهات بسيطة.

المشكلة: فخ "الثقة المزيفة"

نماذج الذكاء الاصطناعي الحالية تشبه الممثلين الذين يحفظون النصوص. إذا بدا السطر سلسًا وانسيابيًا، يقوله الممثل بثقة عالية، حتى لو لم يكن للسطر أي معنى منطقي.

الخلل: النموذج يخلط بين "الطلاقة في الكلام" وبين "كونه صحيحًا".
النتيجة: هو يولد سلاسل طويلة ومقنعة من الاستنتاج، لكنها في الواقع مليئة بالثغرات المنطقية.

الحل: CASPO (المدرب الصارم للصدق)

أراد المؤلفون تعليم النموذج أن يكون صادقًا بشأن عدم تأكده. لقد أنشأوا نظام تدريب يعمل كمدرب صارم لا يكتفي بتقييم درجة الاختبار النهائي فحسب، بل يراقب كل حركة يقوم بها الطالب.

كيف يعمل:

مقياس "الصدق": بدلاً من طلب خبير خارجي لفحص كل خطوة (وهو أمر بطيء ومكلف)، يستمع النظام إلى "صوت" النموذج الداخلي. إنه يقيس مدى "تردد" النموذج (باستخدام مفهوم يسمى الاعتلاج/الإنتروبيا).
- التشبيه: إذا كان النموذج يولد جملة وكان متأكدًا جدًا من الكلمة التالية، فإن "تردده" الداخلي يكون منخفضًا. أما إذا كان يخمن بين كلمات عديدة، فإن تردده يكون مرتفعًا.
لعبة التدريب: ينشئ النظام لعبة تقارن بين مسارين:
- المسار (أ): خطوة صحيحة حيث كان النموذج غير متأكد بشكل مفاجئ (تردد عالٍ).
- المسار (ب): خطوة خاطئة حيث كان النموذج واثقًا بشكل مفرط (تردد منخفض).
- الدرس المستفاد: يتم مكافأة النموذج لاختياره الخطوة الصحيحة، حتى لو كان غير متأكد، ومعاقبته لاختيار الخطوة الخاطئة عندما كان مفرط الثقة.
الهدف: بمرور الوقت، يتعلم النموذج ضبط نفسه (Calibration). يتعلم أن "الثقة العالية" يجب أن تحدث فقط عندما يكون المنطق سليمًا بالفعل، وأن "الثقة المنخفضة" يجب أن تحدث عندما يكون المنطق مهزوزًا.

النتيجة: CaT (الملاح الذكي)

بمجرد تدريب النموذج على أن يكون صادقًا بشأن ثقته، يقدم المؤلفون طريقة جديدة لاستخدامه أثناء حل المشكلات، تسمى CaT.

تخيل أنك تمارس رياضة التنزه عبر غابة كثيفة (عملية الاستنتاج) بحثًا عن كنز (الإجابة).

الطريقة القديمة (الاتساق الذاتي - Self-Consistency): ترسل 100 متنزه عبر مسارات عشوائية. تنتظر جميعًا حتى ينتهوا، ثم تختار الإجابة التي وجدها معظم الناس. هذه الطريقة بطيئة ومكلفة.
طريقة CaT: ترسل عددًا قليلًا من المتنزهين. وبينما يسيرون، يتحققون من بوصلتهم الداخلية (الثقة المضبوطة).
- إذا وصل أحد المتنزهين إلى مفترق طرق وبدأت بوصلته في الدوران بجنون (ثقة منخفضة)، تخبره طريقة CaT فورًا بالتوقف والعودة.
- إذا كان المتنزه يتحرك بسلاسة مع بوصلة ثابتة (ثقة عالية)، تسمح له طريقة CaT بالاستمرار في التقدم.

لماذا يعد هذا أمرًا مهمًا:

السرعة: لا يضيع الوقت في استكشاف الطرق المسدودة. إنه يقطع المسارات السيئة مبكرًا.
الكفاءة: يحقق نتائج أفضل من الطرق التي تحاول توليد آلاف الإجابات، لكنه يفعل ذلك دون استهلاك إضافي يذكر في القدرة الحوسبية.
الموثوقية: نظرًا لأنه تم تدريب النموذج على أن يكون واثقًا فقط عندما يكون محقًا، فإن المسارات التي يختارها من المرجح جدًا أن تكون سليمة منطقيًا.

الأدلة

اختبر الباحثون هذا على عشرة معايير مختلفة، بما في ذلك مسابقات رياضية صعبة (مثل AIME) وألغاز منطقية.

النتائج: حققت النماذج المدربة بواسطة CASPO درجات أفضل باستمرار من الطرق الرائدة الأخرى.
المفاجأة: حتى بدون استخدام أي "نماذج مكافأة" خارجية (والتي تشبه المصححين البشريين المكلفين)، تعلم النموذج الثقة في إشارات ثقته الداخلية.
القابلية للتوسع: عملت هذه الطريقة بشكل جيد على النماذج الصغيرة والضخمة والقوية جدًا (مثل Qwen3)، مما يثبت أنها أداة قوية للمستقبل.

باختصار

تجادل الورقة البحثية بأنه لجعل استنتاج الذكاء الاصطناعي موثوقًا، لا ينبغي لنا فقط تعليمه كيفية الحصول على الإجابة الصحيحة. بل يجب علينا تعليمه متى يعرف وماذا يعرف ومتى لا يعرف. من خلال تدريب النموذج على مواءمة ثقته الداخلية مع الحقيقة المنطقية، يمكننا إنشاء ذكاء اصطناعي لا يخمن طريقه نحو الإجابة الصحيحة فحسب، بل يسلك المسار ببوصلة صادقة وثابتة.

ملخص تقني: المحاذاة الواعية بالثقة تجعل نماذج الاستدلال اللغوية الكبيرة أكثر موثوقية

1. بيان المشكلة

أظهرت نماذج الاستدلال الكبيرة (LRMs) مثل OpenAI-o1 و Qwen-3 قدرات كبيرة في حل المسائل الرياضية والعلمية من خلال التوليد خطوة بخطوة. ومع ذلك، يوجد ثغرة أمنية حرجة: غالبًا ما تصل هذه النماذج إلى إجابات نهائية صحيحة عبر خطوات وسيطة معيبة منطقيًا. وهذا يخلق تباينًا بين دقة النتيجة النهائية وموثوقية الاستدلال.

السبب الجذري هو عدم المحاذاة بين الثقة الداخلية للنموذج (احتمالات مستوى الرمز - token-level probabilities) والصحة المنطقية. غالبًا ما تُظهر نماذج LRMs الحالية ثقة عالية في خطوات صالحة تركيبياً ولكنها غير صحيحة منطقياً (هلوسة)، بينما تُظهر ثقة منخفضة في اشتقاقات صارمة ولكن غير مألوفة. تعتمد استراتيجيات المحاذاة الحالية، مثل نماذج مكافأة العمليات (PRMs) أو أخذ العينات الضخم (مثل الاتساق الذاتي - Self-Consistency)، على مُحقِّقين خارجيين أو بحث مكلف حاسوبياً، مما يحد من القابلية للتوسع ويفشل في الاستفيد من عدم اليقين الجوهري للنموذج للتحقق الذاتي.

2. المنهجية: إطار عمل CASPO

يقترح المؤلفون CASPO (تحسين التفضيل خطوة بخطوة الواعي بالثقة)، وهو إطار عمل موحد يحاذي الثقة على مستوى الرمز مع الصحة المنطقية على مستوى الخطوة. يعمل الإطار في مرحلتين مترابطتين:

أ. التدريب: تحسين التفضيل خطوة بخوة الواعي بالثقة

بدلاً من التحسين من أجل صحة المسار النهائي فقط، يركز CASPO على معايرة عدم اليقين للنموذج على مستوى الخطوة.

مقياس عدم اليقين: يستخدم الإطار إنتروبيا شانون (Shannon entropy) لتوزيعات مستوى الرمز كمقياس مرجعي مستقل عن المرجع لقياس عدم اليقين الجوهري. تشير الإنتروبيا العالية إلى انخفاض الثقة.
بناء البيانات: يقوم نموذج قوي (مُقيّم) خارجي بالتحقق من صحة خطوات الاستدلال. يتم بناء أزواج التفضيل بناءً على التفاعل بين الصحة والثقة:
- صحيح ولكن غير مؤكد: إذا كانت الخطوة صحيحة ولكن ذات ثقة منخفضة، فإنه يتم التعامل معها كاستجابة مفضلة ( $y_w$ ) على منافس آخر ذي ثقة عالية.
- غير صحيح ولكن مؤكد: إذا كانت الخطوة غير صحيحة، يتم تفضيل الإجابة الصحيحة على توليد النموذج غير الصحيح.
- صحيح ومؤكد: يتم استبعاد هذه الخطوات لتجنب التعلم الزائد.
التحسين: يتم تدريب النموذج باستخدام تحسين التفضيل المباشر التكراري (Iterative DPO). يتم تحسين النموذج المستهدف $\pi_\theta$ لزيادة الاحتمالية النسبية للخطوات المفضلة على الخطوات غير المفضلة، باستخدام نموذج التكرار السابق كمرجع ( $\pi_{ref}$ ). هذا يعزز قدرة النموذج على التصحيح الذاتي لخلل معايرة الثقة دون الحاجة إلى نموذج مكافأة منفصل أثناء الاستدلال.

ب. الاستدلال: التفكير الواعي بالثقة (CaT)

أثناء الاستدلال، تُستخدم الثقة المعايرة للملاحة ديناميكياً في مساحة الاستدلال.

الآلية: يستكشف النموذج شجرة استدلال حيث تمثل كل عقدة مساراً جزئياً. يتم حساب درجة ثقة تراكمية $C(z_{1:t})$ عن طريق ضرب الثقة المعيرة لكل خطوة.
التقليم (Pruning): يتم توسيع المسارات فقط إذا تجاوزت ثقتها التراكمية عتبة $\tau$ . يتم تقليم الفروع ذات الثقة المنخفضة مبكراً.
الكفاءة: تعيد هذه الاستراتيجية تخصيص الميزانية الحسابية للمسارات الواعدة، مما يعمل كمرشح تصحيح ذاتي جوهري بتكلفة زمنية ضئيلة ( $O(V)$ ، حيث $V$ هو حجم المفردات)، متجنبة تعقيد $O(L^2d)$ لنماذج مكافأة العمليات الخارجية.

3. المساهمات الرئيسية

إطار عمل CASPO: نهج موحد يحاذي إنتروبيا مستوى الرمز الجوهرية مع الصحة المنطقية عبر DPO التكراري، مما يلغي الاعتماد على المقيمين الخارجيين أثناء الاستدلال.
استراتيجية CaT: استراتيجية فك ترميز تستفيد من الثقة المعايرة لتقليم فروع الاستدلال غير المؤكدة ديناميكياً، مما يحسن الكفاءة والموثوقية.
مجموعة بيانات خطوة بخطوة: إصدار مجموعة بيانات خطوة بخطوة مع تعليقات توضيحية للثقة لدعم التحليل الدقيق لموثوقية الاستدلال.
القابلية للتوسع: إثبات أن الطريقة تتوسع مع النماذج الأساسية الأقوى (مثل Qwen3-8B-Base) وتتفوق على أسس البحث في الأشجار دون استخدام بيانات نموذج المكافأة.

4. النتائج التجريبية

قيم المؤلفون CASPO عبر عشرة اختبارات معيارية (بما في ذلك MATH500، AIME'24، AIME'25، OlympiadBench، ومهام غير رياضية مثل توليد الكود وفهم القراءة) وعدة عائلات من النماذج (Qwen2.5، Llama-3.1).

مكاسب الأداء: في Qwen2.5-7B-Instruct، حسن CASPO متوسط الدقة من 44.4% إلى 50.6%. ومع استراتيجية استدلال CaT، وصلت الدقة إلى 56.1%.
التفوق على الأسس: تفوق CASPO باستمرار على أسس تحسين مستوى المسار (GRPO، Simple-RL-Zero، PURE-VR، DPO-VP) وطرق وقت الاستدلال (CoT، Self-Consistency).
القابلية للتوسع: في Qwen3-8B-Base، تجاوز CASPO أسس البحث في الأشجار مثل rStar-Math و Satori في AIME'24 و AIME'25، على الرغم من استخدامه لصفر من بيانات نموذج المكافأة (مقارنة بالملايين من العينات التي تتطلبها الأسس).
جودة المعايرة: بعد التدريب، انخفض خطأ المعايرة المتوقع (ECE) في MATH-500 بشكل كبير من 0.184 (الأساسي) إلى 0.081 (CASPO)، مما يشير إلى أن الثقة التنبؤية العالية ترتبط الآن ارتباطاً وثيقاً بالخطوات المنطقية الصحيحة.
الكفاءة: حقق CaT دقة أعلى من Self-Consistency مع زمن انتقال أقل بكثير (2.8 ثانية/استعلام مقابل 12.5 ثانية/استعلام في Qwen2.5-7B-Instruct).
التعميم: أظهرت الطريقة انتقالاً قوياً إلى المجالات غير الرياضية، بما في ذلك توليد الكود (HumanEval) وفهم القراءة (RACE)، مما يشير إلى أن محاذاة الثقة والصحة هي قدرة استدلال أساسية.

5. الأهمية والادعاءات

يزعم البحث أن CASPO يعزز بشكل أساسي صدقية عملية الاستدلال بدلاً من مجرد تضخيم درجات الاختبارات المعيارية. من خلال فصل الثقة عن الإشراف الخارجي واستخدام عدم اليقين الجوهري لمستوى الرمز، يُمكّن الإطار النماذج من:

تحديد وتصحيح التناقضات المنطقية ذاتياً.
تحقيق استدلال موثوق دون العبء الحسابي للمحكمين الخارجيين أو أخذ العينات الضخم.
توفير إطار عمل قابل للتوسع وشفاف لتحسين موثوقية الاستدلال.

يؤكد المؤلفون أن نهجهم يعالج "فجوة التدرج" في أبحاث الاستدلال الحالية، منتقلاً من مكافآت مستوى المسار إلى معايرة الثقة على مستوى الخطوة. ويشيرون إلى أنه بينما تعتمد الطريقة على مقيم خارجي لبناء البيانات الأولية، فإن إشارة التعلم الأساسية مشتقة من إنتروبيا النموذج نفسه، مما يضمن الاستقرار حتى لو أخطأ المقيم أحياناً في تسمية المسارات. يشير العمل إلى أن محاذاة الاحتمالية الداخلية مع الصحة الخارجية هي مسار قابل للتطبيق نحو مسارات استدلال سليمة يمكن التحقق منها في المجالات عالية المخاطر.