💬 NLP

Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning

تقترح هذه الورقة إطار عمل "الجزاء التكيفي المتدرج" (SWAP)، وهو إطار تعلم تعزيزي دقيق يخصص جزاءات الطول ديناميكيًا لخطوات الاستدلال منخفضة الأهمية بناءً على مساهمتها في الإجابة الصحيحة، مما يحقق تقليلاً بنسبة 64.3% في طول الاستدلال وتحسناً بنسبة 5.7% في الدقة دون التضحية بالأداء.

المؤلفون الأصليون: Xintong Li, Sha Li, Rongmei Lin, Hongye Jin, Linwei Li, Hejie Cui, Sarah Zhang, Chia-Yuan Chang, Kewei Cheng, Besnik Fetahu, Priyanka Nigam, Jingbo Shang, Bing Yin

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xintong Li, Sha Li, Rongmei Lin, Hongye Jin, Linwei Li, Hejie Cui, Sarah Zhang, Chia-Yuan Chang, Kewei Cheng, Besnik Fetahu, Priyanka Nigam, Jingbo Shang, Bing Yin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مستشاراً عبقرياً، لكنه كثير الكلام بشكل مفرط، لحل مسألة رياضية معقدة لك.

المشكلة: المستشار الذي لا يتوقف عن الكلام
مستشارك ذكي للغاية. إذا سألته: "كيف أحل هذه المعادلة؟" سيبدأ بالتفكير بصوت عالٍ. ولكن هناك مشكلة؛ فهو يميل إلى الإفراط في التفكير. قد يقضي 10 دقائق في شرح تاريخ الأرقام، ثم 5 دقائق في مراجعة عمله ثلاث مرات، وأخيراً دقيقتين لكتابة الإجابة.

وعلى الرغم من أن الإجابة صحيحة، إلا أن هذا "التفكير بصوت عالٍ" (الذي يسمى سلسلة التفكير - Chain-of-Thought) يكون:

مكلفاً: يستغرق تشغيل الكمبيوتر الذي يولد كل تلك الكلمات الكثير من المال والوقت.
محفوفاً بالمخاطر: كلما زاد كلامه، زادت احتمالية أن يقول شيئاً خاطئاً بالخطأ أو يصاب بالارتباك (الهلوسة).
غير فعال: معظم تلك الكلمات هي مجرد "حشو" أو تكرار. الجمل القليلة التي تدفع الحل للأمام هي فقط ما يهم.

كانت المحاولات السابقة لإصلاح هذا الأمر تشبه استخدام مطرقة ثلمة (غير حادة). فقد أخبروا المستشار: "يمكنك التحدث لمدة 5 دقائق فقط إجمالاً". وكانت النتيجة أن المستشار أصيب بالذعر، وقام بقطع أفضل أفكاره لمجرد البقاء تحت الحد الزمني، مما أدى لتقديمه إجابة خاطئة.

الحل: SWAP (المحرر الذكي)
يقدم البحث طريقة جديدة تسمى SWAP (الجزاء المتكيف خطوة بخطوة - Step-wise Adaptive Penalization). فكر في SWAP ليس كمراقب يفرض حداً زمنياً، بل كـ محرر فائق الذكاء يستمع للمستشار في الوقت الفعلي.

إليك كيف يعمل SWP، باستخدام تشبيه بسيط:

1. "مقياس التقدم" (قياس القيمة)

تخيل المستشار وهو يتسلق جبلاً للوصول إلى القمة (الإجابة الصحيحة).

خطوات عالية القيمة: بعض الخطوات هي صعودات حادة تقربك 100 قدم من القمة. هذه هي لحظات "وجدتها!" (Aha! moments).
خطوات منخفضة القيمة: الخطوات الأخرى هي مجرد المشي في دوائر، أو تفقد رباط الحذاء، أو التحديق في سحابة. هذه الخطوات لا تقربك من القمة.

يمتلك SWAP مقياساً خاصاً يقيس بالضبط مقدار التقدم الذي تحرزه كل جملة نحو الإجابة. إذا لم تكن الجملة تساهم في دفع المسار للأمام، يظل المقياس ثابتاً.

2. "الضريبة الذكية" (إعادة توزيع العقوبة)

إذا تحدث المستشار كثيراً، يحتاج SWAP لفرض "عقوبة" (غرامة) لجعله يتوقف.

الطريقة القدة (المطرقة الثلمة): يتم تقسيم الغرامة بالتساوي على كل جملة. وهذا يعاقب لحظات "وجدتها!" تماماً كما يعاقب "تفقد رباط الحذاء". فيصاب المستشار بالخوف ويتوقف عن الكلام مبكراً جداً، مما يجعله يفقد الحل.
طريقة SWAP (الضريبة الذكية): ينظر SWAP إلى "مقياس التقدم".
- إذا كانت الجملة عبارة عن "تفقد لرباط الحذاء" (قيمة منخفضة)، فإن SWAP يفرض عليها غرامة ثقيلة.
- إذا كانت الجملة عبارة عن "صعود حاد" (قيمة عالية)، فإن SWAP يمنحها إعفاءً أو غرامة ضئيلة جداً.

النتيجة؟ يتعلم المستشار التوقف عن الكلام عن رباط الحذاء والسحب، لكنه يستمر في الكلام عن مسار الجبل. يصل إلى القمة بشكل أسرع، بكلمات أقل، ومع الحصول على الإجابة الصحيحة.

3. "شبكة الأمان" (النتيجة مقابل العملية)

يستخدم SWAP نوعين من التغذية الراجعة لتدريب النموذج:

مكافأة النتيجة: "هل حصلت على الإجابة الصحيحة؟" (الدرجة النهائية).
مكافأة العملية: "هل اتخذت المسار الأكثر كفاءة للوصول إلى هناك؟" (جودة الواجب المنزلي).

يقوم SWAP بدمج هذين النوعين. فهو لا يطبق "الضريبة الذكية" إلا إذا كانت الإجابة النهائية صحيحة. وهذا يضمن عدم تصبح النماذج كسولة وتكتفي بتخمين الإجابة لتوفير الوقت؛ بل يجب أن تكون صحيحة بكفاءة.

النتائج

عندما اختبر الباحثون هذا على المسائل الرياضية:

إجابات أقصر: قللت النماذج وقت تفكيرها بنسبة 64% في المتوسط. تخيل تحول مونولوج مدته 10 دقائق إلى شرح موجز مدته 3 دقائق.
دقة أفضل: للمفاجأة، حصلت النماذج على إجابات صحيحة لأسئلة أكثر (بزيادة قدرها 5.7%). فمن خلال قطع "الحشو"، تجنبت النماذج الوقوع في الارتباك بسبب ثرثرتها الخاصة.

باختاًختصار

يعلم SWAP نماذج الذكاء الاصطناعي أن تكون موجزة دون أن تكون مهملة. الأمر يشبه تدريب كلب على التوقف عن النباح على كل ورقة شجر (خطوات زائدة) ولكن الاستمرار في النباح عندما يرى سنجاباً (تفكير جوهري). والنتي_جة هي ذكاء اصطناعي أكثر ذكاءً، وأسرع، وأقل تكلفة، يدخل مباشرة في صلب الموضوع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الجزاء التدريجي من أجل استدلال سلسة الأفكام (Chain-of-Thought) كفء في الطول".

1. بيان المشكلة

تعاني نماذج الاستدلال الكبيرة (LRMs) غالبًا من ظاهرة "الإفراط في التفكير" (overthinking)، حيث تولد سلاسل أفكار (CoT) طويلة بشكل مفرط، مما يزيد من تكاليف الاستدلال وزمن الاستجابة دون تحسين الدقة.

قصور الطرق الحالية: تعتمد منهجيات التعلم المعزز (RL) الحالية عادةً على جزاءات على مستوى المسار (على سبيل المثال، ميزانيات إجمالية لعدد الرموز/Tokens)، وهي استراتيجيات خشنة تتعامل مع جميع خطوات الاستدلال على أنها متساوية القيمة، مما يؤدي إلى ضغط غير تمييزي. وهذا ينطوي على مخاطرة بإزالة المنعطفات المنطقية الجوهرية مع الحفاظ على خطوات التحقق الزائدة أو منخفضة القيمة.
التحدي الجوهري: مسارات الاستدلال غير متجانسة؛ فبعض الخطوات توفر مكاسب معلوماتية حاسمة، بينما تكون خطوات أخرى زائدة عن الحاجة. تفتقر الطرق الحالية إلى آلية للتمييز بين هذه الخطوات أثناء عملية التحسين، ونادرًا ما يتم التعامل مع طول الاستدلال كهدف تحسين صريح على مستوى الخطوة.

2. المنهجية: الجزاء التكيفي على مستوى الخطوة (SWAP)

يقترح المؤلفون إطار عمل SWAP، وهو إطار تعلم معزز دقيق يقوم بتخصيص جزاءات تقليل الطول بناءً على المساهمة الجوهرية لكل خطوة استدلال. يعمل هذا الإطار ضمن خوارزمية تحسين السياسة النسبي للمجموعات (GRPO) ويتكون من ثلاثة مكونات أساسية:

أ. تقسيم الخطوات وتقدير الأهمية

بدلاً من الاعتماد على حدود الجمل الهيكلية، يقوم SWAP بتقسيم الاستجابات إلى خطوات بناءً على ميزانية رموز (token budget) ثابتة.

مقياس الأهمية الجوهرية: يتم قياس أهمية الخطوة من خلال تحسن احتمالية السجل (log-probability improvement) للإجابة الصحيحة بعد توليد تلك الخطوة.
- لتكن $\ell_k$ هي متوسط سجل الاحتمالية لكل رمز للإجابة الصحيحة بالنظر إلى أول $k$ من الخطوات.
- يُعرف مكافأة التقدم ( $\Delta_k$ ) على أنه الربح الزيادي الرتيب: $\Delta_k = \max(0, \ell_k - \max_{j<k} \ell_j)$ .
- الخطوات التي لا تزيد من مستوى الثقة تحصل على مكافأة صفرية، بينما تحصل الخطوات ذات الربح العالي على مكافآت إيجابية.

ب. إعادة توزيع جزاء الطول الموزون بالخطوات

عندما تتجاوز الاستجابة طولاً مستهدفاً تكيفياً (بناءً على وسيط طول الاستجابات الصحيحة في مجموعة ما)، يتم حساب كتلة جزاء عالمية ( $P$ ).

آلية إعادة التوزيع: بدلاً من تطبيق هذا الجزاء بشكل موحد، يقوم SWAP بإعادة توزيعه عبر الخطوات بناءً على أهميتها.
- الخطوات ذات المكاسب المعلوماتية المنخفضة تُخصص لها أوزان جزاء أعلى ( $w_k \propto \exp(-g_k/\tau)$ ).
- الخطوات ذات المكاسب المعلوماتية العالية تُحمى من الجزاء الشديد.
مكافأة الخطوة: تجمع مكافأة الخطوة النهائية بين إشارة التقدم والجزاء المعاد توزيعه: $r_k = \Delta_k - P \cdot w_k$ .

ج. الميزة الموحدة للنتيجة والعملية

لضمان الاستقرار والصحة، يدمج SWAP إشارات مستوى الخطوة مع مكافآت النتيجة على مستوى المسار باستخدام مقدر ميزة موحد:

ميزة النتيجة ( $A_{out}$ ): مكافأة GRPO القياسية بناءً على ما إذا كانت الإجابة النهائية صحيحة أم لا.
ميزة العملية ( $A_{proc}$ ): إشارة تنتشر عكسياً حيث يحصل كل رمز على رصيد يتناسب مع مكافآت الخطوات المستقبلية التراكمية.
الميزة الموحدة: $A_{i,t} = \beta A_{out} + \theta \cdot \mathbb{I}[r_{out} > 0] \cdot A_{proc}$ $A_{i, t} = β A_{o u t} + θ \cdot I [r_{o u t} > 0] \cdot A_{p r oc}$ .
- من المهم ملاحظة أن إشارة العملية مقيدة بالصحة (gated by correctness)، مما يعني أن إشارات كفاءة الخطوة تؤثر فقط على التحسين إذا كان المسار صحيحاً في النهاية. هذا يمنع النموذج من التعلم ليكون كفؤاً على حساب الصحة.

3. المساهمات الرئيسية

التحسين على مستوى الخطوة: يعد SWAP أول إطار عمل يعامل طول الاستدلال كهدف تحسين صريح على مستوى الخطوة ضمن التعلم المعزز، متجاوزاً الجزاءات الخشنة على مستوى المسار.
تقدير الأهمية الجوهرية: يشتق أهمية الخطوة مباشرة من سلوك النموذج أثناء التدريب (الربح في سجل الاحتمالية) دون الحاجة إلى نماذج مكافأة خارجية أو مكافآت وسيطة تعتمد على التحقق.
إعادة توزيع الجزاء التكيفي: تسمح آلية إعادة توزيع الجزاء ديناميكياً للخطوات ذات المنفعة المنخفضة، مما يتيح التقليم الانتقائي للزيادات مع الحفاظ على المنعطفات المنطقية الحرجة.
صياغة الميزة الموحدة: يضمن الجمع بين ميزات النتيجة والعملية أن مكاسب الكفاءة لا تخل بالسلامة المنطقية لعملية الاستدلال.

4. النتائج التجريبية

قيم المؤلفون SWAP على نماذج DeepSeek-Distill-Qwen-1.5B و 7B عبر خمسة اختبارات معيارية للاستدلال الرياضي (MATH-500, AMC23, AIME24, AIME25, OlympiadBench).

مكاسب الأداء:
- نموذج 1.5B: قلل SWAP متوسط طول الاستدلال بنسبة 64.3% مع تحسين الدقة بنسبة 5.7% مقارنة بالنموذج الأساسي.
- نموذج 7B: قلل SWAV استخدام الرموز (tokens) بنسبة تزيد عن 50% مع مطابقة أو تجاوز دقة أقوى النماذج المرجعية في أصعب مجموعات البيانات (AIME24, AIME25, OlympiadBench).
المقارنة مع النماذج المرجعية:
- تفوق على الطرق التي تعمل على مستوى المسار (مثل ThinkPrune و LC-R1) والتي غالباً ما تؤدي إلى تراجع الدقة عند تقليل الطول.
- تفوق على طرق التفكير التكيفي (مثل AdaptThink) وطرق الميزانية الصارمة (مثل L1-Exact) في المقايضة بين الدقة والكفاءة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة الجزاء على مستوى الخطوة إلى مسارات طويلة.
- استخدام مكافآت الخطوة فقط دون ربطها بالنتيجة أدى إلى تدهور الأداء.
- كان توزيع الجزاء الموحد أقل كفاءة من إعادة التوزيع التكيفي لـ SWAP.
- تم العثور على وزن مثالي لميزة الخطوة ( $\theta$ ) بين 0.2 و 0.4؛ حيث أدت القيم الأعلى إلى تدهور الدقة في المسائل الصعبة.

5. الأهمية

تحول في النموذج: تثبت الورقة أن "الإفراط في التفكير" هو ظاهرة على مستوى الخطوة في الأساس وليس مجرد وظيفة للطول الإجمالي. يتطلب الاستدلال الكفء التمييز بين الخطوات الجوهرية والزائدة.
كفاءة التكلفة: من خلال تقليل استخدام الرموز بشكل كبير دون التضحية بالدقة (بل وتحسينها غالباً)، يقدم SWAV حلاً عملياً لخفض تكاليف الاستدلال وزمن الاستج