💬 NLP

Inference Time Optimization with Confidence Dynamics

تقدم هذه الورقة البحثية "كسب الثقة الديناميكي" (Confidence Dynamic Gain - CDG)، وهو أسلوب مبتكر للتحسين أثناء الاستنتاج يستفيد من أنماط مسار الثقة المتميزة بين مسارات الاستدلال الصحيحة والخاطئة لتحسين اختيار الإجابات والأداء بشكل كبير عبر نماذج لغوية كبيرة متعددة ومعايير اختبار رياضية.

المؤلفون الأصليون: Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب من طالب ذكي جداً، ولكنه مغرور أحياناً، أن يحل مسألة رياضية صعبة. تطلب منه محاولة حلها 500 مرة في ذهنه، مع كتابة كل خطوة من خطوات تفكيره في كل محاولة. ثم يتعين عليك اختيار أفضل إجابة واحدة من بين تلك المحاولات الـ 500.

تقليدياً، ستستخدم طريقة "تصويت الأغلبية". إذا قال 200 طالب إن الإجابة هي "42" وقال 199 طالب إنها "43"، فستختار "42"، بافتراض أن الجمهور عادة ما يكون على حق. ولكن ماذا لو كان الـ 199 طالباً الذين قالوا "43" أكثر ثقة بأنفسهم بحلول الوقت الذي انتهوا فيه، بينما بدأ الـ 200 طالب الذين قالوا "42" واثقين من أنفسهم ثم ارتبكوا وفقدوا الثقة أثناء سيرهم؟

تقدم هذه الورقة البحثية طريقة جديدة لاختيار الفائز تسمى "كسب الثقة الديناميكي" (Confidence Dynamic Gain - CDG). وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: بطاقة الدرجات "الساكنة"

الأساليب الحالية تنظر إلى ثقة الطالب كأنها لقطة واحدة ثابتة. قد تسأل: "ما هو متوسط مدى تأكدك؟" أو "ما مدى تأكدك في النهاية تماماً؟".

العيب: هذا يتجاهل "الرحلة". قد يبدأ الطالب واثقاً جداً، ثم يدرك في منتصف الطريق أنه ارتكب خطأً، وينتهي به المطاف غير واثق. وقد يبدأ طالب آخر غير متأكد، ثم يعمل على المنطق ليصل في النهاية إلى حالة من الثقة العالية. الطرق التقليدية غالباً ما تغفل عن هذا الفرق.

2. الاكتشاف: "منحنى الثقة"

لاحظ الباحثون 500 مسار تفكير مختلف لنفس المسألة عبر عدة نماذج ذكاء اصطناعي مختلفة. ولاحظوا نمطاً مفاجئاً:

المسار الصحيح: عندما يصيب الذكاء الاصطناعي في الإجابة، فإن ثقته عادة ما تنمو مع انتقاله من الخطوة الأولى إلى الأخيرة. يبدأ بـ "ربما" وينتهي بـ "بالتأكيد".
المسار الخاطئ: عندما يخطئ الذكاء الاصطناعي في الإجابة، فإن ثقته غالباً ما تتقلص أو تظل ثابتة. قد يبدأ واثقاً، لكنه مع استمرار التفكير، يصبح "مرتاباً" أو مشوشاً، رغم أنه لا يزال يعطي إجابة خاطئة.

التشبيه: فكر في الأمر كمتسلق جبل.

المتسلق الصحيح: يبدأ من القاعدة (ثقة منخفضة)، يجد المسار الصحيح، ومع ارتفاعه، تصبح الرؤية أوضح، ويصبح أكثر تأكداً من أنه على المسار الصحيح.
المتسلق الخاطئ: يبدأ من القاعدة، يأخذ منعطفاً خاطئاً، ومع استمراره في الصعود، يصبح المسار ضبابياً ومربكاً. يدرك أنه تائه، لكنه يستمر في المشي على أي حال، لينتهي به الأمر عند قمة خاطئة بثقة منخفضة.

3. الحل: درجة "الكسب الديناميكي"

تقترح الورقة نظام تصويت جديد لا يكتفي بعدّ الأصوات فحسب؛ بل ينظر إلى التغير في الثقة.

كيف يعمل: لكل إجابة، يحسب النظام "كسب الثقة الديناميكي". وهو ببساطة: (الثقة في النهاية) ناقص (الثقة في البداية).
القاعدة: إذا ارتفعت ثقة إجابة ما بشكل ملحوظ خلال عملية التفكير، فإنها تحصل على درجة إضافية (بونص). أما إذا انخفضت الثقة، فيتم خصم نقاط منها.

4. النتيجة: فائز أفضل

عندما اختبر الباحثون هذه الطريقة في مسابقات الرياضيات الصعبة (مثل AIME و HMMT)، اختارت هذه الطريقة الجديدة الإجابة الصحيحة في كثير من الأحيان أكثر من "تصويت الأغلبية" أو طرق التحقق من الثقة الأخرى.

لقد نجحت في تصفية "الهلوسات" (الإجابات التي تبدو واثقة ولكنها خاطئة) لأن تلك الإجابات الخاطئة غالباً ما أظهرت انخفاضاً في الثقة مع زيادة تعقيد الاستنتاج.
كما عززت الإجابات الصحيحة لأنها أظهرت صعوداً مستمراً في اليقين.

لماذا يحدث هذا؟ (النظرية)

يشير المؤلفون إلى أن هذا يحدث بسبب كيفية تدريب هذه النماذج.

"تأثير المجموعة": عندما يتم تدريب النموذج، فإنه يتعلم أن هناك إجابة واحدة فقط صحيحة (الحقيقة المطلقة). لذا، فإن جميع مسارات التفكير "الصحيحة" تتجه في النهاية نحو تلك الإجابة الوحيدة، مما يجعل النموذج واثقاً جداً في النهاية.
"المسارات الخاطئة الفوضوية": هناك طرق لا حصر لها للوصول إلى إجابة خاطئة. وبما أن المسارات الخاطبة لا تؤدي جميعها إلى نفس النقطة الخاطئة، فإن النموذج لا يتلقى أبداً إشارة قوية وموحدة ليكون واثقاً في النهاية، فيبقى مشتتاً أو يفقد الثقة.

الملخص

باختصار، تعلمنا هذه الورقة أن كيفية تغير ثقة الذكاء الاصطناعي بمرور الوقت هي إشارة أفضل للحقيقة من مجرد مدى ثقته في النها. من خلال مكافأة الإجابات التي "تنمو" لتصل إلى يقينها، ومعاقبة تلك التي "تفقد طريقها"، يمكننا الحصول على نتائج أفضل بكثير من الذكاء الاصطناعي دون الحاجة إلى إعادة تدريب النماذج.

ملخص تقني: تحسين وقت الاستدلال عبر ديناميكيات الثقة

بيان المشكلة

بينما عززت تقنيات تحسين وقت الاستدلال، مثل أخذ العينات من أفضل (N) من (Best-of-N) وأخذ العينات المتكرر، قدرات الاستدلال لدى النماذج اللغوية الكبيرة (LLMs)، إلا أن الاستراتيجيات الحالية غالبًا ما تغفل الدور الحاسم لديناميكيات عدم اليقين في النموذج. تعتمد الأساليب المتطورة حاليًا، مثل التصويت بالأغلبية (Majority Voting) أو التصويت الموزون بالثقة (مثل DeepConf)، على مقاييس ثقة ثابتة تجمع المعلومات عبر مسار استدلال كامل (مثل متوسط الارتياب أو احتمالية التسلسل). تعامل هذه الطرق جميع المسارات بالتساوي أو تزنها بناءً على درجة إجمالية واحدة، مما قد يحجب الإشارات القيمة المتعلقة بكيفية تطور يقين النموذج أثناء عملية الاستدلال. تفترض الورقة أن مسار الثقة من البداية إلى النهاية في سلسلة الاستدلال يحتوي على معلومات تمييزية لا تُستغل حاليًا في اختيار الإجابة.

المنهجية: كسب ديناميكيات الثقة (CDG)

تقدم الورقة كسب ديناميكيات الثقة (Confidence Dynamic Gain - CDG)، وهي آلية تصويت مبتكرة تدمج صراحةً تطور الثقة على طول مسار الاستدلال.

1. الملاحظة التجريبية

من خلال تجارب مكثفة على أربع بنيات مفتوحة المصدر متنوعة (DeepSeek-R1، gpt-oss، Gemma-3، Qwen-QwQ) عبر اختبارات رياضية (AIME، HMMT، BRUMO)، حدد المؤلفون نمطًا فريدًا:

المسارات الصحيحة: تظهر كسب ثقة إيجابيًا منتظمًا، حيث تزداد ثقة النموذج مع تقدم سلسلة الاستدلال من الرموز الأولية إلى الاستنتاج النهائي.
المسارات الخاطئة: تظهر كسب ثقة مخفتًا أو سالبًا، مما يظهر انخفاضًا أو ركودًا في الثقة مع تقدم عملية الاستدلال.

2. مقياس الثقة وتقسيم المسار

لقياس ذلك، يعرّف المؤلفون الثقة على مستوى الرمز ( $C_t$ ) باستخدام تقريب تباعد كولباك - ليبلر (KL divergence) المبتور بناءً على احتمالات أعلى $K$ من الرموز. ولمقارنة المسارات ذات الأطوال المختلفة، يستخدمون نهج التقسيم الموزع حسب الموقع:

يتم تقسيم كل مسار إلى $N$ من الحاويات متساوية الحجم (الافتراضي $N=10$ ).
تمثل حاوية "الرأس" (Head) أول $P\%$ من الرموز، وتمثل حاوية "الذيل" (Tail) آخر $P\%$ من الرموز.
يُحسب كسب ديناميكيات الثقة ( $\Delta C_\ell$ ) كفرق بين متوسط ثقة حاوية الذيل وحاوية الرأس:
$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$
تشير قيمة $\Delta C_\ell$ الموجبة إلى زيادة في الثقة؛ بينما تشير القيمة السالبة إلى انخفاضها.

3. خوارزمية تصويت CDG

تجمع درجة اختيار الإجابة النهائية ( $s_\ell$ ) لمسار $\ell$ بين متوسط ثقة المسار ( $\bar{C}_\ell$ ) وبين الكسب الديناميكي:
$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$
هنا، $\beta$ هو معلم فائق (hyperparameter) يتحكم في تأثير الإشارة الديناميكية.

تجمع الدرجة النهائية للإجابة المرشحة $a$ هذه درجات المسارات، مع دمج عامل تخميد للعدد لمنع تصويت الأغلبية من طغيان إشارة الثقة:
$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$
حيث $|T_a|$ هو عدد المسارات للإجابة $a$ ، و $\alpha \in [0, 1]$ يخمد هيمنة العدد، و $\mu_a$ هو متوسط درجات المسارات التي تنتج الإجابة $a$ .

4. التبرير النظري

تقدم الورقة تحليلًا نظريًا يربط هذه الظاهرة بـ تحسين السياسة النسبية للمجموعات (Group Relative Policy Optimization - GRPO)، وهو خوارزمية تدريب شائعة لنماذج الاستدلال.

الافتراض: تميل المسارات الصحيحة للتقارب نحو حقيقة أرضية واحدة (تردد عالٍ عند الذيل)، بينما تتباعد المسارات الخاطئة إلى أنماط فشل متنوعة (تردد منخفض عند الذيل).
الآلية: تخصص GRPO مزايا إيجابية للمسارات الصحيحة ومزايا سلبية للمسارات الخاطئة. يؤدي هذا إلى نسبة تركيز أعلى من "الذيل إلى الرأس" للمسارات الصحيحة، مما يدفع إلى ارتفاع حاد في الثقة (اللوجيت - logits) نحو نهاية التسلسل. أما المسارات الخاطئة، لافتقارها لهذا التقارب، فلا تظهر نفس طفرة الثقة.

المساهمات الرئيسية

الاكتشاف التجريبي: تحديد نمط منتظم حيث تظهر مسارات الاستدلال الصحيحة كسب ثقة أعلى (من الرأس إلى الذيل) مقارنة بالمسارات الخاطئة عبر بنيات متنوعة من النماذج اللغوية الكبيرة.
الطريقة المبتكرة (CDG): اقتراح طريقة تصويت لا تتطلب تدريبًا تستفيد من ديناميكيات الثقة كإشارة تمييزية، مما يعمم طرق التصويت بالأغلبية وطرق الثقة الثابتة.
الرؤية النظرية: تحليل نظري يربط تدرجات الثقة الملحوظة بديناميكيات التدريب لـ GRPO والمكافآت القابلة للتحقق، مما يفسر سبب تطوير المسارات الصحيحة طبيعيًا لـ "طفرة ثقة" عند الذيل.
التحقق التجريبي: إثبات التحسن المستمر في الأداء على الاختبارات الرياضية التنافسية مقارنة بالأساليب المرجعية (baselines).

النتائج التجريبية

قيم المؤلفون طريقة CDG على أربعة نماذج (DeepSeek-R1-8B, gpt-oss-20B, Gemma-3-27B, Qwen-QwQ-32B) عبر AIME 2024/2025، HMMT 2025، و BRUMO 2025.

الأداء: حققت CDG أعلى متوسط دقة عبر جميع النماذج ومجموعات البيانات.
- حققت تحسنًا بنسبة 5.4% عن التصويت بالأغلبية في المتوسط.
- حققت تحسنًا بنسبة 4.8% عن DeepConf-Mean.
- تفوقت على DeepConf-Tail (الذي يستخدم فقط ثقة الذيل) بنسبة 1.7%، مما يثبت أن الجانب الديناميكي (الفرق بين الرأس والذيل) أمر بالغ الأهمية، وليس مجرد ثقة الذيل نفسها.
دراسات الاستئصال (Ablation Studies):
- تخميد العدد ( $\alpha$ ): أدى إزالة تخميد العدد ( $\alpha=1$ ) إلى تدهور الأداء بشكل كبير، مما يؤكد الحاجة لموازنة أعداد المسارات مع إشارات الثقة.
- الوزن الديناميكي ( $\beta$ ): بلغ الأداء ذروته عند ضبط $\beta$ ضمن نطاق محدد بالنسبة لانفصال ثقة النموذج، مما يؤكد أن الإشارة الديناميكية توفر معلومات تكميلية للثقة الثابتة.
- طول المسار: حافظت CDG على ميزاتها بغض النظر عن طول المسار، مما يشير إلى أن الإشارة قوية تجاه تغيرات طول التسلسل.
- الآثار التنسيقية: لم يؤدِ استبعاد رموز \boxed{} (التي غالبًا ما تكون رموز تنسيق عالية الثقة في النهاية) إلى تغيير النتائج، مما يثبت أن الإشارة تنبع من ديناميكيات الاستدلال وليس من آثار التنسيق.

الأهمية والادعاءات

تدعي الورقة أن CDG توفر إشارة تمييزية قوية ولا تتطلب تدريبًا لتحسين اختيار الإجابة في استدلال النماذج اللغية الكبيرة. ومن خلال استغلال ديناميكيات الثقة الطبيعية للنموذج أثناء الاستدلال، تقدم CDG طريقة منهجية لاختيار الإجابات الصحيحة على الإجابات المهلوسة دون الحاجة لإعادة تدريب النموذج أو استخدام نماذج مكافأة إضافية.

يشير المؤلفون إلى أنه بينما تعد الطريقة فعالة للغاية لتوسيع نطاق Best-of-N في الاستدلال الرياضي، إلا أنها ترث التكاليف الحسابية لتوليد مسارات متعددة. كما يقرون بوجود قيود تتعلق بالحاجة إلى ضبط المعلم الفائق $\beta$ الخاص بكل نموذج، والحاجة للوصول إلى احتمالات الرموز (log-probabilities)، والتي قد لا تتوفر في جميع واجهات برمجة التطبيقات (APIs) مغلقة المصدر. يشير العمل إلى أن هذه الرؤى حول ديناميكيات الثقة قد تعمم على طرق تحسين السياسة ذات المكافآت القابلة للتحقق الأخرى.