🤖 AI

Reasoning Can Be Restored by Correcting a Few Decision Tokens

تُثبت هذه الورقة أن قدرات الاستنتاج في النماذج اللغوية الكبيرة يمكن استعادتها بكفاءة من خلال تحديد والتدخل في مجموعة متفرقة من رموز التخطيط المبكرة وعالية عدم اليقين حيث تختلف النماذج الأساسية مع نماذج الاستنتاج الأقوى، وذلك باستخدام استراتيجية تفويض خفيفة الوزن أثناء وقت الاستنتاج تعزز الأداء بشكل كبير.

المؤلفون الأصليون: Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "يمكن استعادة القدرة على التفكير من خلال تصحيح عدد قليل من رموز القرار"، باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: مشكلة "نظام الـ GPS مقابل السائق"

تخيل أن لديك سائقين يحاولان الوصول إلى نفس الوجهة (حل مسألة رياضية صعبة).

السائق (أ) (النموذج الأساسي): هذا السائق سريع، كفء، ويعرف الشوارع المحلية جيداً. ومع ذلك، عندما يواجه طريقاً معقداً وغير مألوف، فإنه يميل لارتكاب بعض الأخطاء الحرجة في البداية — مثل الانعطاف يساراً بدلاً من اليمين عند أول تقاطع. وبمجرد اتخاذ هذا المنعطف الخاطئ، يستمر في القيادة بثقة في المسار الخاطئ، مبتعداً أكثر فأكثر عن وجهته.
السائق (ب) (نموذج التفكير/الاستنتاج): هذا السائق خبير، بطيء ومنهجي. هو يدقق في كل منعطف، ويخطط للمسار بأكمله بعناية، ونادراً ما يضل الطريق. لكنه بطيء ومكلف جداً لتوظيفه في كل رحلة.

المشكلة: نريد من السائق (أ) أن يكون بجودة السائق (ب)، لكننا لا نريد دفع التكلفة العالية لاستخدام السائق (ب) طوال الرحلة.

الاكتشاف: وجد الباحثون أن السائق (أ) لا يفشل طوال الوقت بالفعل. فهو يقود بشكل مثالي في 90% من الرحلة. هو يفشل فقط في عدد ضئيل جداً من اللحظات المحددة — عادةً في البداية تماماً — حيث يصبح الطريق صعباً. هذه هي "رموز القرار" (Decision Tokens).

النتيجة الجوهرية: الأمر كله يتعلق بالمنعطفات الأولى

حللت الورقة ملايين الخطوات التي اختلف فيها السائقان. ووجدوا ثلاثة أشياء مفاجئة:

الأخطاء نادرة: حوالي 8% فقط من الكلمات (الرموز/Tokens) التي أنتجها السائق السريع كانت هي المواضع التي حدث فيها الخلاف. الـ 92% الأخرى كانت سليمة.
الأخطاء تحدث مبكراً: الأخطاء الحرجة تحدث دائماً تقريباً في بداية الإجابة. الأمر يشبه السائق الذي يتخذ المنعطف الخاطئ عند أول تقاطع، وتكون بقية الرحلة مجرد قيادة واثقة في الاتجاه الخاطئ.
الأخطاء هي لحظات "تخطيط": تحدث الأخطاء عندما يقرر السائق ماذا سيفعل تالياً (التخطيط)، وليس أثناء القيام بالعمليات الحسابية (التنفيذ). إنها لحظة "هل أذهب يساراً أم يميناً؟" وليست لحظة "1 + 1 = 2".

الحل: تدخل "الفحص العشوائي"

بدلاً من توظيف الخبير البطيء للرحلة بأكملها، اقترح الباحثون حيلة ذكية تسمى "تدخل الرموز الموجه بالخلاف" (Disagreement-Guided Token Intervention).

إليك كيف يعمل ذلك:

يبدأ السائق السريع (النموذذ الأساسي) بالقيادة.
نظام "فحص عشوائي" ذكي يراقب الطريق. يقارن الخطوة التالية للسائق السريع بما كان سيفعله الخبير البطيء (نموذج التفكير).
المُحفّز: إذا اختلف السائقان بشدة على الخطوة التالية (وجود "طفرة" في الخلاف)، يضغط النظام على المكابح لجزء من الثانية.
الاستحواذ: يتدخل الخبير البطيء، ويقول الكلمة أو العبارة الواحدة الصحيحة المطلوبة لتصحيح الاتجاه، ثم يعيد المقود فوراً إلى السائق السريع.
النتيجة: يواصل السائق السريع بقية الرحلة في المسار الصحيح، ويقوم بكل العمل الروتيني بنفسه.

التشبيه: المحرر والكاتب

فكر في النموذج الأساسي ككاتب سريع ونشيط يمكنه كتابة قصة كاملة في ثوانٍ. لكن أحياناً، قد يخطئ في الحبكة في الفقرة الأولى.
وفكر في نموذج التفكير كمحرر دقيق وبطيء يعرف القصة المثالية.

بدلاً من طلب إعادة كتابة القصة بأكملها من المحرر (وهو أمر يستغرق وقتاً طويلاً)، وجد الباحثون أنه إذا تركت المحرر يصلح فقط الجمل القليلة الأولى حيث تصبح الحبكة مربكة، يمكن للكاتب بعد ذلك إنهاء بقية القصة بشكل مثالي بمفرده.

من خلال إصلاح 8% فقط من الكلمات (نقاط القرار الحرجة)، كان السائق السريع يؤدي بشكل أفضل من نسخة من نفسه تم تدريبها لتكون "خبيراً في التفكير".

لماذا هذا مهم؟

تثبت هذه الورقة أن "التفكير" ليس قدرة سحرية تتطلب عقلاً ضخماً في كل خطوة. بدلاً من ذلك، التفكير هو في الغالب اتخاذ الخيارات الصحيحة القليلة في البداية. بمجرد ضبط المسار بشكل صحيح، يمكن للنموذج التعامل مع الباقي بسهولة.

من خلال التدخل فقط في لحظات عدم اليقين العالية (حيث يكون النموذج مرتبكاً)، يمكننا استعادة قدرة النموذج على التفكير بلمسة بسيطة من المساعدة، مما يجعله أسرع وأرخص بكثير من استخدام نموذج تفكير ضخم لكل شيء.

باختصار: لست بحاجة لإصلاح السيارة بأكملها لتجعلها تعمل؛ تحتاج فقط لإصلاح عجلة القيادة في بداية الرحلة.

ملخص تقني: يمكن استعادة القدرة على الاستنتاج عبر تصحيح عدد قليل من رموز اتخاذ القرار

بيان المشكلة

تتفوق نماذج الاستنتاج الكبيرة (LRMs) باستمرار على نظيراتها من النماذج اللغوية الكبيرة الأساسية (LLMs) في اختبارات الاستنتاج الصعبة، وهي فجوة تُعزى غالبًا إلى التوسع في وقت الاختبار (test-time scaling) والتعلم المعزز القائم على التدريب اللاحق (مثل RLVR). ومع ذلك، لا تزال الآليات المحددة التي تقود هذه الفجوة في الأداء غير مفهومة جيدًا. ومن غير الواضح أين تفشل النماذج الأساسية أثناء توليد الرموز (tokens) واحدًا تلو الآخر، وما إذا كانت قدرات الاستنتاج كامنة داخل النماذج الأساسية، وكيفية سد فجوة الأداء بكفاءة دون التكلفة الحسابية لتشغيل نموذج استنتاج كامل لكل رمز.

المنهجية

يقترح المؤلفون إطار عمل لتحليل وسد الفجوة بين النموذج الأساسي ونموذج الاستنتاج من خلال الاختلاف التوزيعي على مستوى الرمز.

1. قياس الاختلاف

تستخدم الدراسة التباينات القائمة على الاحتمالية (likelihood-based divergences)، وبشكل أساسي الاعتلاج المتقاطع (Cross-Entropy - CE) وتباعد كولباك - ليبلر العكسي (Reverse KL divergence)، لقياس الاختلاف بين النموذج الأساسي ( $M_b$ ) ونموذج الاستنتاج الأقوى ( $M_r$ ) عند كل خطوة توليد $t$ . يتم تعريف درجة الاختلاف $s_t$ كالتالي:
$s_t = D_{CE}(p_b(\cdot | x_t), p_r(\cdot | x_t)) = -\sum_{y \in V} p_b(y | x_t) \log p_r(y | x_t)$
حيث تمثل $p_b$ و $p_r$ توزيعات احتمالية الرمز التالي.

2. التدخل في الرموز الموجه بالاختلاف

بناءً على تحليل أنماط الاختلاف، يقدم المؤلفون مخطط تفويض متفرق (sparse) أثناء الاستدلال يسمى التدخل في الرموز الموجه بالاختلاف.

الآلية: يعتمد النظام افتراضيًا على النموذج الأساسي عالي الكفاءة ( $M_b$ ). ومع ذلك، عندما تتجاوز درجة الاختلاف $s_t$ عتبة عالمية مُعايرة $\tau$ وشرط ذروة نسبية محلية ( $s_t > \lambda \cdot \bar{s}_{t,W}$ )، يحدث "استحواذ لرمز واحد" (one-token takeover).
الاستحواذ: في هذه المواضع ذات الاختلاف العالي، يقوم نموذج الاستنتاج ( $M_r$ ) بتوليد الرمز التالي. وفور ذلك، تعود السيطرة إلى النموذج الأساسي.
المعايرة: يتم معايرة العتبات على مجموعة بيانات محجوزة لاختبار النموذج بهدف استهداف "نسبة ذروة" $r$ محددة (على سبيل المثال، أعلى 3% أو 5% من درجات الاختلاف)، مما يضمن بقاء ميزانية التدخل صغيرة.

النتيات الرئيسية والمساهمات

1. تفرق وتركيز فجوات الاستنتاج

تثبت الورقة أن الفجوة في الأداء بين النماذج الأساسية ونماذج الاستنتاج هي فجوة متفرقة للغاية.

توزيع ذو ذيل ثقيل (Heavy-Tailed Distribution): جزء ضئيل من الرموز (على سبيل المثال، ~8% في Qwen3-0.6B) يستحوذ على الغالبية العظمى من كتلة الاختلاف التوزيعي. معامل جيني لكتلة الاختلاف مرتفع للغاية ( $\approx 0.936$ )، مما يشير إلى أن معظم الرموز تجمع كتلة اختلاف ضئيلة.
التركيز المبكر: تظهر طفرات الاختلاف العالي بشكل مقدم، حيث تحدث بشكل غير متناسب في وقت مبكر من مسار التوليد (المنوال عند $u \approx 0.05$ ). وهذا يتناقض مع الحدس بأن مكاسب الاستنتاج تنبع أساسًا من المسارات الطويلة في مراحل لاحقة من العملية.

2. الارتباط باليقين والتخطيط

طفرات الاختلاف ليست عشوائية؛ بل تمتلك خصائص هيكلية محددة:

الارتباط باليقين: تتداخل طفرات الاختلاف بقوة مع عدم اليقين الجوهري للنموذج الأساسي (اعتلاج شانون/Shannon entropy).
ً* إثراء التخطيط: هذه الرموز الحرجة غنية بـ قرارات متعلقة بالتخطيط (مثل اختيار الاستراتيجية، ربط المتغيرات، والتفكيك). في Qwen3-0.6B، تشكل رموز التخطيط حوالي 1.9% فقط من التدفق العالمي ولكنها تظهر في حوالي 14% من طفرات الاختلاف (إثراء بمقدار 7.46 ضعفًا).

3. القدرة التنبؤية

يعمل تجميع درجات الاختلاف عبر أفضل $K$ من الرموز كمؤشر قوي للفشل في الاستنتاج. وتتفوق الدرجة القائمة على الاختلاف على اعتلاج النموذج الأساسي في التنبؤ بالإجابات غير الصحيحة النهائية (على سبيل المثال، AUROC يبلغ 0.851 مقابل 0.817 في GSM8K).

4. استعادة الأداء عبر التدخل المتفرق

يحقق مخطط التدخل المقترح استعادة غير متناسبة للأداء:

الكفاءة: يسمح التدخل بميزانية صغيرة من الرموز (على سبيل المثال، $\bar{\rho} \approx 0.13$ ، أو 13% من الرموز) لنموذج أساسي بحجم 0.6B باستعادة 157% من فجوة Pass@8 مقارنة بنسخة "التفكير" (Thinking) من نفس الحجم (0.6B)، مما يجعله يتفوق عليها فعليًا.
المقارنة مع الخطوط المرجعية: يؤدي استبدال الرموز العشوائي أو استبدال أول $\rho$ من الرموز فقط (المبكرة فقط) إلى مكاسب أقل بكثير، مما يؤكد أن اختيار رموز محددة ذات اختلاف عالٍ هو العامل الحاسم، وليس مجرد حجم التدخل.
التعميم: تنتقل هذه الظاهرة عبر عائلات النماذج (Qwen3 و LLaMA) والمجالات (الرياضيات والأسئلة العلمية)، وإن كان مقدار الاستعادة يختلف.

الأهمية والادعاءات

تجادل الورقة بضرورة تبني رؤية التحكم المتفرق للاستنتاج. وتفترض أن النماذج الأساسية تمتلك آليات استنتاج كامنة غالبًا ما تكون غير متوافقة في نقاط تخطيط محددة وعالية عدم اليقين. إن "وضع الاستنتاج" لنماذج LRM ليس بالضرورة بنية مختلفة جوهريًا، بل هو استقرار لهذه القرارات المبكرة الحرجة.

يدعي المؤلفون ما يلي:

الاستنتاج متفرق: عدد قليل من التزامات التخطيط المبكرة يوجه مسار الاستنتاج بأكمله.
التصحيح كافٍ: من خلال تصحيح رموز قرارات التخطيط عالية الاختلاف هذه بشكل انتقائي، يمكن للنموذج الأساسي استعادة قدرات الاستنتاج لنموذج أقوى بكثير دون الحاجة لتدريب لاحق كامل أو استنتاج مستمر باستخدام LRM.
الرؤية الميكانيكية: يعمل التدخل كآلية "توقف وتحقق" خفيفة الوزن، مما يحل حالات الغموض في ربط المتغيرات أو اختيار الاستراتيجية قبل إعادة التحكم للتنفيذ إلى النموذج الأساسي.

تشير الدراسة إلى أن "فجوة الاستنتاج" ليست نقصًا في القدرة لدى النموذج الأساسي، بل هي فشل في الالتزام بالمسار الصحيح عند نقاط التفرع الحرجة، وهو ما يمكن علاجه من خلال تدخل مستهدف وموجه بالاختلاف.