💬 NLP

Early Stopping for Large Reasoning Models via Confidence Dynamics

تقدم هذه الورقة CoDE-Stop، وهي طريقة للإيقاف المبكر لا تتطلب تدريباً، تستفيد من ديناميكيات ثقة الإجابة الوسيطة لإنهاء عملية الاستنتاج بكفاءة، مما يقلل استهلاك الرموز (tokens) بشكل كبير مع الحفاظ على الدقة أو تحسينها من خلال التمييز بين مسارات الإجابة الصحيحة المثمرة ومسارات الإفراط في التفكير غير المثمرة.

المؤلفون الأصليون: Parsa Hosseini, Sumit Nawathe, Mahdi Salmani, Meisam Razaviyayn, Soheil Feizi

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Parsa Hosseini, Sumit Nawathe, Mahdi Salmani, Meisam Razaviyayn, Soheil Feizi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ولكنه متحمس للغاية يدعى AI. عندما تسأله مسألة رياضية صعبة، فإنه لا يكتفي بإعطائك الإجابة فحسب، بل يبدأ في كتابة مقال ضخم مكون من 20 صفحة في عقله، محاولاً تجربة كل الزوايا الممكنة، ومراجعة نفسه، وتدوين كل فكرة تخطر بباله.

أحياناً، يكون هذا "التفكير" مذهلاً؛ حيث يجد الإجابة الصحيية في أول ثلاث فقرات، ثم يستمر في الكتابة لـ 17 صفحة أخرى فقط ليتأكد.
وفي أحيان أخرى، يعلق في حلقة مفرغة، ويكتب كلاماً غير مفهوم، ولا يحل المسألة أبداً، لكنه يستمر في ذلك حتى ينفد الورق (أو ذاكرة الكمبيوتر).

هذه هي مشكلة نماذج الاستدلال الضخمة (Large Reasoning Models): فهي بارعة في التفكير، لكنها غالباً ما تفرط في التفكير. فهي تهدر قدراً هائلاً من الوقت والطاقة (التكلفة الحسابية) في مسائل كان بإمكانها حلها بسرعة، أو تهدر طاقة أكبر في مسائل لا تستطيع حلها على الإطلاق.

الحل: "CoDE-Stop" (ديناميكيات الثقة للإيقاف المبكر)

ابتكر مؤلفو هذه الورقة البحثية، بارسا هوسيني وفريقه، طريقة ذكية لإخبار الذكاء الاصطناعي متى يتوقف عن الكلام ويعطي الإجابة فحسب. وقد أطلقوا على طريقتهم اسم CoDE-Stop.

إليك كيف تعمل، باستخدام تشبيه بسيط:

1. "مقياس الثقة"

تخيل أن لدى الذكاء الاصطناعي مقياس ثقة على لوحة القيادة الخاصة به. في كل مرة ينهي فيها فقرة من التفكير، يرتفع المقياس أو ينخفض بناءً على مدى شعوره باليقين تجاه إجابته الحالية.

المسار الجيد (الاستدلال الصحيح): عندما يكون الذكاء الاصطناعي على المسار الصحيح، يرتفع مقياس الثقة لديه بسرعة كبيرة. يدرك قائلاً: "مهلاً، لقد فهمت الأمر! أنا متأكد بنسبة 99%!". ولكن في الأيام الخوالي، كان الذكاء الاصطناعي يستمر في الكتابة على أي حال، مما يهدر الوقت.
المسار السيئ (الاستدلال الخاطئ): عندما يكون الذكاء الاصطناعي تائهاً، يكون مقياس الثقة لديه متذبذباً. يرتفع وينخفض مثل الأفعوانية (Rollercoaster). قد يشعر بالثقة للحظة، ثم يشك في نفسه، ثم يشعر بالثقة مجدداً، لكنه لا يستقر أبداً. إنه يستمر في الدوران حول نفسه.

2. قاعدتا CoDE-Stop

أدرك الباحثون أن النظر إلى المقياس مرة واحدة ليس كافياً، بل يجب النظر إلى نمط المقياس بمرور الوقت. لذا، أعطوا الذكاء الاصطناعي قاعدتين بسيطتين لتحديد متى يتوقف:

القاعدة رقم 1: إشارة "لقد انتهيت". إذا وصل مقياس الثقة إلى رقم مرتفع (مث الله 90%) واستقر هناك، يجب على الذكاء الاصطساط التوقف فوراً وكتابة الإجابة النهائية. لا داعة للاستمرار في الكتابة.
القاعدة رقم 2: إشارة "الدوران في حلقات مفرغة". هذا هو الجزء الذكي. إذا كان الذكاء الاصطناعي يفكر لفترة من الوقت، لكن مقياس الثقة لديه يقفز بجنون (صعوداً، هبوطاً، صعوداً، هبوطاً) دون أن يستقر أبداً، يقول النظام: "توقف! أنت عالق في حلقة مفرغة. أنت لا تحقق تقدماً". هذا يجبر الذكاء الاصطناعي على التوقف وتقديم أفضل تخمين لديه، مما يوفر على الكمبيوتر ساعات من العمل في طريق مسدود.

لماذا يعد هذا أمراً مهماً؟

فكر في الأمر مثل نظام ملاحة GPS.

الطريقة القديمة: يستمر نظام الـ GPS في إعادة حساب المسار حتى بعد وصولك بالفعل إلى وجهتك، أو يستمر في محاولة إيجاد طريق عبر طريق مغلق لمدة 20 دقيقة، مما يستنزف بطاريتك.
طريقة CoDE-Stop: يلاحظ نظام الـ GPS أنك وصلت ويقول: "لقد وصلت!" (القاعدة رقم 1). أو يلاحظ أنك تقود في دوائر لمدة 5 دقائق ويقول: "حسناً، هذا المسار معطل؛ لنختر اتجاهاً جديداً أو نتوقف عن المحاولة" (القاعدة رقم 2).

النتائج

اختبر الفريق هذه الطريقة على عدة نماذج ذكاء اصطناعي ذكية واختبارات صعبة في الرياضيات والعلوم.

التوفير: وجدوا أن CoDE-Stop قلل من كمية "التفكير" (العمل الحسابي) بنسبة 25% إلى 50%. هذا يشبه توفير نصف خزان وقود في رحلة برية.
الدقة: لم يصبح الذكاء الاصطناعي أقل ذكاءً؛ فقد ظل يحصل على الإجابات الصحيحة بنفس القدر كما في السابق، لكنه وصل إليها بشكل أسرع وأقل تكلفة.
لا حاجة للتدريب: الجزء الأفضل؟ لست بحاجة لإعادة تعليم الذكاء الاصطناعي كيفية القيام بذلك. الأمر يشبه إضافة قاعدة جديدة إلى لعبة تلعبها بالفعل. أنت فقط تخبر الذكاء الاصطناعي: "مهلاً، إذا كنت تشعر بثقة فائقة، توقف. وإذا كنت تشعر بالارتباك والتردد لفترة طويلة، توقف".

باختصاف شديد

CoDE-Stop هي أداة بسيطة ومجانية تعلم نماذج الذكاء الاصطناعي فائقة الذكاء متى يكون قد فكرت بما يكفي. إنها تمنعهم من الإفراط في التفكير في الإجابات الجيدة، وتمنعهم من إضاعة الوقت في الإجابات السيئة، مما يجعلهم أسرع، وأرخص، وأكثر كفاءة دون فقدان ذكائهم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الإيقاف المبكر لنماذج الاستدلال الضخمة عبر ديناميكيات الثقة" (CoDE-Stop).

1. بيان المشكلة

تستخدم نماذج الاستدلال الضخمة (LRMs) توليد "سلسلة من الأفكار" (CoT) طويلة لحل المشكلات المعقدة. ومع ذلك، ينطوي هذا النهج على تكاليف حوسبة باهظة ويمكن أن يؤدي إلى تدهور الأداء بسبب "الإفراط في التفكير" (overthinking).

التحدي الجوهري: تحديد اللحظة المثلى لإنهاء الاستدلال وإخراج الإجابة النهائية.
قصور الطرق الحالية:
- طرق وقت التدريب: تتطلب تدريباً إضافياً أو ضغطاً للنموذج، مما يحد من قابليتها للتطبيق في وقت الاستنتاج.
- طرق وقت الاستنتاج الحالية: تعتمد على تنبؤات الإجابة الوسيطة أو عتبات الثقة الثابتة. وبينما هي فعالة للإيقاف عند العثور على إجابة، إلا أنها غالباً ما تفشل في اكتشاف الاستدلال غير المنتج (مثل الحلقات المفرغة، أو التقدم غير المستقر) حيث يستمر النموذج في توليد الرموز (tokens) رغم عدم حدوث أي تحسن، مما يؤدي إلى عمليات توليد طويلة بلا داعٍ.

2. الملاحظات الرئيسية

قام المؤلفون بتحليل ديناميكيات الثقة للإجابات الوسيطة أثناء الاستدلال وحددوا سلوكين متميزين:

المسارات الصحيحة: تصل عادةً إلى ثقة عالية في مرحلة مبكرة من عملية التوليد. وبمجرد أن يصبح النموذج واثقاً، غالباً ما تكون خطوات الاستدلال اللاحقة زائدة عن الحاجة.
المسارات الخاطئة: تميل لأن تكون أطول بكثير (غالباً ضعف عدد الرموز مقارنة بالمسارات الصحيحة) وتظهر ديناميكيات ثقة غير مستقرة. فبدلاً من التقارب، تتقلب الثقة أو تفشل في التحسن باستمرار، حتى مع زيادة طول عملية التوليد.
الإشارة الزمنية: توفر خطوات الاستدلال في المراحل المبكرة الإشارات الأكثر موثوقية للتمييز بين المسارات الصحيحة والخاطئة. وتعتبر الثقة في المراحل المتأخرة غير موثوقة غالباً لأن النماذج تميل إلى أن تصبح واثقة بشكل متزايد حتى في المسارات الخاطئة.

3. المنهجية: CoDE-Stop

يقترح المؤلفون CoDE-Stop (الإيقاف المبكر عبر ديناميكيات الثقة)، وهو طريقة تعمل في وقت الاستنتاج دون الحاجة لتدريب، وتستفيد من التطور الزمني للثقة لاتخاذ قرار التوقف. وهي تجمع بين إشارتين متكاملتين:

أ. عتبة الثقة المتصاعدة ( $r_k$ )

لتحديد متى وصل النموذج إلى إجابة موثوقة، يستخدم CoDE-Stop عتبة ديناميكية تزداد بمرور الوقت:
$r_k = \min\left(r_{max}, r_{min} + \frac{r_{max} - r_{min}}{\text{steps}} \cdot k\right)$

يضمن ذلك السماح للنموذج بالاستكشاف في البداية (عتبة منخفضة)، ولكنه يتطلب ثقة أعلى للتوقف مع تقدم عملية الاستدلال.

ب. درجة التدهور ( $D_k$ )

لاكتشاف الاستدلال غير المنتج (عدم الاستقرار)، يحسب CoDE-Stop "درجة تدهور" تراكمية في كل خطوة $k$ :
$D_k = \sum_{i=1}^{k} w_i v_i$

مؤشر عدم الاستقرار ( $v_i$ ): إشارة ثنائية تشير إلى ما إذا كانت الثقة منخفضة وتفشل في التحسن بالنسبة للخطوة السابقة. تحديداً، $v_i = 1$ إذا كان $2c_i - c_{i-1} < \delta$ (حيث $c_i$ هي الثقة في الخطوة $i$ و $\delta$ هي العتبة). وهذا يلتقط كلاً من انخفاض الثقة والهبوط المفاجئ.
دالة الوزن ( $w_i$ ): تمنح أهمية أكبر للخطوات المبكرة، بناءً على الملاحظة بأن الإشارات المبكرة هي الأكثر إعلامية. تُعرف الدالة بـ $w_i = \log(\frac{T_k}{T_i}) + 1$ ، حيث تمثل $T$ مواضع الرموز.

شرط التوقف

ينتهي التوليد عند الخطوة $k$ إذا تحقق أي من الشرطين:

$c_k \geq r_k$ (الوصول إلى ثقة عالية)، أو
$D_k \geq \tau$ (اكتشاف عدم استقرار تراكمي).

4. الإعداد التجريبي

النماذج: تم التقييم على نماذج استدلال مفتوحة المصدر متنوعة: Qwen3-4B/14B، وDeepSeek-R1-Distill-Llama-8B، وLlama-3.1-Nemotron-Nano-8B-v1.
الاختبارات المرجعية: تمت المقارنة مع AIME 2024/2025، وMATH500، وGSM8K، وGPQA-Diamond.
النماذج المرجعية (Baselines): تمت المقارنة مع أحدث طرق الإيقاف المبكر في وقت الاستنتاج (DEER، Think or Not، EAT، RCPD، Answer Convergence) بالإضافة إلى نموذج "Vanilla" كامل الطول.
المقاييس: الدقة، متوسط طول الاستدلال (الرموز)، معدل الضغط، وإجمالي حوسبة الرموز (بما في ذلك التكاليف الإضافية).

5. النتائج الرئيسية

المفاضلة بين الدقة والحوسبة: يحقق CoDE-Stop باستمرار جبهة باريتو (Pareto frontier) متفوقة مقارلة بجميع النماذج المرجعية. فهو يقلل إجمالي استخدام الرموز بنسبة 25-50% مقارنة بالاستدال القياسي كامل الطول مع الحفاظ على دقة مماثلة للنماذج المرجعية القوية.
التعامل مع الاستدلال غير المنتج: على عكس طرق مثل DEER (التي تعتمد على عتبات ثابتة)، ينجح CoDE-Stop في إنهاء المسارات الخاطئة الطويلة وغير المنتجة عبر اكتشاف عدم الاستقرار من خلال درجة التدهور.
المتانة: تؤدي الطريقة أداءً جيداً عبر استراتيجيات التوجيه (Prompting) المختلفة (Vanilla، Budget Forcing، Chain-of-Draft، NoThinking) وهي متينة تجاه اختيار محددات خطوات الاستدلال (مثل "Wait" مقابل "Alternatively").
دراسات الاستئصال (Ablation Studies):
- استخدام طول المسار وحده كإشارة للتوقف ليس كافياً؛ إذ تعتبر ديناميكيات الثقة (درجة التدهور) أمراً حاسماً.
- منح الخطوات المبكرة وزناً أكبر ( $w_i$ ) يتفوق بشكل كبير على التوزين الموحد أو العكسي.
- تظهر الطريقة منحنى مفاضلة سلس يتم التحكم فيه عبر العتبة $\tau$ ، مما يجعلها سهلة الضبط لميزانيات حوسبة محددة.

6. الأهمية والمساهمات

كفاءة بدون تدريب: يقدم CoDE-Stop حلاً بسيطاً وجاهزاً للاستخدام (plug-and-play) لا يتطلب أي تدريب إضافي للنموذج أو تنبؤات مساعدة، مما يجعله قابلاً للنشر الفوري.
رؤية جديدة في الاستدلال: تقدم الورقة تحليلاً جوهرياً لديناميكيات الثقة، كاشفة أن عدم الاستقرار في المراحل المبكرة هو مؤشر أقوى للفشل من مستويات الثقة في المراحل المتأخرة.
الأثر العملي: من خلال تقليل استخدام الرموز بنسبة تصل إلى 50% دون التضحية بالدقة، يقلل CoDE-Stop بشكل كبير من تكلفة الاستنتاج وزمن الوصول لنماذج الاستدلال الضخمة، مما يعالج عقبة حرجة أمام نشرها القابل للتوسع.
الاتجاه المستقبلي: يشير العمل إلى أن الاستدلالات البسيطة المستمدة من مخرجات النموذج (الثقة) قوية، ولكن قد توجد إشارات أغنى في تنشيطات (activations) النموذج، مما يشير إلى أبحاث مستقبلية في استخراج إشارات الحالة الداخلية للإيقاف المبكر.