🤖 AI

Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning

تقدم الورقة البحثية ReCo، وهو إطار عمل منسق بالمكافأة يعمل على تحسين نماذج الاستدلال الكبيرة عبر الضبط الديناميكي لضغط ذاكرة التخزين المؤقت (KV-cache)، وكبح عمليات التأمل الزائدة، وتمكين التوقف المبكر بناءً على مكافآت العمليات، مما يقلل بشكل كبير من تكاليف الاستدلال وزمن الاستجابة مع الحفاظ على الدقة.

المؤلفون الأصليون: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

نُشر 2026-08-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qiyuan Zhu, Dezhi Li, Pengyu Cheng, Tianle Chen, Jiacheng Wang, Ruijie Shen, Hao Gu, Sida Lin, Zirui Liu, Jiacheng Liu, Sirui Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتًا فائق الذكاء يحل الألغاز الصعبة من خلال التحدث مع نفسه. هو لا يكتفي بالتخمين فحسب؛ بل يكتب قصة طويلة ومفصلة لعملية تفكيره، خطوة بخطوة، قبل أن يعطيك الإجابة النهائية. هكذا تعمل "نماذج الاستدلال الكبيرة" الحديثة. إنهم يشبهون المحققين البارعين الذين يرفضون حل قضية ما حتى يدونوا كل دليل، وكل طريق مسدود، وكل لحظة "وجدتها!". المشكلة هي أن هذا المحقق يصبح ثرثارًا أكثر من اللازم. فأحيانًا، لسؤال بسيط مثل "ما هو 2+2؟"، يكتب مقالاً بطول رواية عن تاريخ الرياضيات قبل أن يجيب بـ "4". هذا "الإفراط في التفكير" يستهلك كمية هائلة من ذاكرة الكمبيوتر والوقت، مما يجعل الروبوت بطيئًا ومكلفًا في التشغيل.

ولإصلاح ذلك، حاول العلماء جعل ذاكرة الروبوت أكثر كفاءة. فكر في ذاكرة الروبوت كأنها سبورة يكتب عليها أفكاره. ومع استمرار الروبوت في التفكير لفترة أطول، تمتلئ السبورة. هناك حيلة شائعة وهي مسح الملاحظات القديمة "الأقل أهمية" لإفساح المجال لملاحظات جديدة. وهذا ما يسمى "ضغط ذاكرة الـ KV-cache". ومع ذلك، لاحظ الباحثون وراء هذه الورقة البحثية وجود خلل في كيفية إجراء عملية المسح هذه. فقد وجدوا أنه إذا تم مسح الملاحظات الخاطئة، فإن الروبوت يصاب بالارتباك ويبدأ في التحدث أكثر ليحاول فهم الأمور، مما يلغي كل الوقت الذي وفرته عبر مسح الملاحظات في المقام الأول. الأمر يشبه محاولة توفير الوقت عبر تخطي بعض الخطوات في وصفة طعام، لتدرك في النهاية أنك نسيت مكونًا رئيسيًا وعليك الآن البدء في إعداد الطبخة من جديد.

تقدم هذه الورقة نظامًا جديدًا يسمى ReCo (الضغط المنسق بالمكافأة) لحل هذه المشكلة الفوضوية. بدلاً من مجرد مسح الملاحظات القديمة عشوائيًا أو استخدام قاعدة ثابتة للجميع، يعمل ReCo كمدرب حكيم يقف بجانب الروبوت. فبعد كل خطوة يتخذها الروبوت، يسأل المدرب: "ما مدى ثقتك بأنك على المسار الصحيح؟". إذا كان الروبوت يبلي بلاءً حسنًا وهو على مسار صلب (خطوة "عالية المكافأة")، يقول المدرب: "أنت تبلي بلاءً جيدًا جدًا، لست بحاجة للاحتفاظ بكل ملاحظة قديمة. دعنا نمسح بعضها لتوفير المساحة". ولكن إذا كان الروبوت يعاني أو يستكشف أفكارًا جديدة (خطوة "منخفضة المكافآت")، يقول المدرب: "تمهل، أنت بحاجة إلى كل ملاحظاتك الآن؛ لا تحذف أي شيء".

الجزء الذكي هو أن "درجة الثقة" هذه تقوم بوظيفتين في آن واحد. أولاً، هي تقرر مقدار الذاكرة التي سيتم الاحتفاظ بها أو حذفها. ثانيًا، هي تخبر الروبوت بالتوقف عن الإفراط في التفكير. إذا كان الروبوت واثقًا وعلى المسار الصحيح، يدفع المدرب الروبوت بلطف للتوقف عن الثرثرة وإعطاء الإجابة فقط. أما إذا كان لا يزال مرتبكًا، فيسمح له المدرب بالاستمرار في التفكير والاستكشاف. ومن خلال تنسيق هذين الإجراءين — تنظيف الذاكرة ومراقبة مقدار حديث الروبوت — يمنع النظام الروبوت من الارتباك وكتابة قصص أطول للتعويض عن النقص.

النتائج مثيرة للإعجاب. فعندما اختبر الباحثون ReCo على ثلاثة نماذج استدلال مختلفة عبر ستة أنواع مختلفة من الألغاز (من المسائل الرياضية إلى الأسئلة العلمية)، أصبح الروبوت أسرع بكثير واستخدم كلمات أقل بكثير. وتحديدًا، قلل النظام عدد الكلمات التي يولدها الروبوت بنسبة تتراوح بين 37% إلى 65% وجعل العملية بأكملبة أسرع بمقدار 2.08 إلى 2.35 مرة من الطريقة القياسية غير المحسنة. والأهم من ذلك، فعل كل هذا دون أن يجعل الروبوت أغبى بشكل ملحوظ؛ حيث ظلت الدقة كما هي تقريبًا مثل النسخة البطيئة والثرثارة. تشير الورقة البحثية إلى أن مجرد محاولة تقليص الذاكرة ليست كافية بمفردها؛ بل يجب عليك إدارة عملية تفكير الروبوت في الوقت نفسه للحصول على مكاسب حقيقية في السرعة.

ملخص تقني: ReCo (التنسيق المكافئ للمكافأة لعمليات الاستنتاج الفعالة)

بيان المشكلة

تحقق نماذج الاستنتاج الكبيرة (LRMs)، مثل OpenAI-o1 وDeepSeek-R1، أداءً عالياً في المهام المعقدة من خلال سلاسل التفكير (CoT) الطويلة. ومع ذلك، يؤدي هذا النموذج بشكل متكرر إلى "الإفراط في التفكير"، حيث تولد النماذج سلاسل استنتاج طويلة للغاية حتى للمدخلات البسيطة، مما يؤدي إلى تضخم تكالات الاستدلال، وارتفاع زمن الاستجابة (latency)، وزيادة كبيرة في استهلاك الذاكرة بسبب تراكم مخازن المفتاح-القيمة (KV caches).

بينما يعد ضغط مخزن KV حلاً قياسياً لتقليل تكلفة الذاية والاهتمام (attention)، تعاني الأساليب الحالية الموجهة للاستنتاج من قصورين حرجين:

سياسات الضغط الموحدة: تطبق الأساليب الحالية استراتيجية ضغط موحدة عبر مسار الاستنتاج بأكمله، متجاهلة أن حالات الاستنتاج المختلفة تختلف في قدرتها على تحمل فقدان السياق.
التحكم المنفصل في التوليد: تركز هذه الأساليب فقط على ما يتم حذفه من المخزن، وتفشل في مراعاة حقيقة أن الضغط يمكن أن يؤدي إلى زيادة طول عملية التوليد. لاحظت الورقة البحثية أن ضغط المخزن غالباً ما يتسبب في توليد المزيد من الرموز (tokens) للتعويض عن السياق المفقود، مما يلغي جزئياً أو كلياً مكاسب الكفاءة (وهي ظاهرة تُسمى "تضخم الطول").

المنهجية: إطار عمل ReCo

يقترح المؤلفون ReCo (الضغط المنسق بالمكافأة)، وهو إطار عمل خطوي ينسق بين ضغط مخزن KV والتحكم في التوليد تحت إشارة واحدة: مكافأة العملية (process reward) خفيفة الوزن.

1. الإشارة الجوهرية: تقدير مكافأة العملية

بعد كل خطوة استنتاج مكتملة $c_i$ ، يقوم مُقدِّر خفيف الوزن بـ 30 مليون معلمة (مستخلص من Skywork-o1-Open-PRM-7B) بتعيين مكافأة عددية $v_i \in [0, 1]$ . تعكس هذه المكافأة احتمالية أن يكون مسار الاستنتاج الحالي يسير في المسار الصحيح وواعداً. هذه الإشارة الوحيدة تقود ثلاثة مكونات منسقة:

2. ضغط مخزن KV المتكيف مع المكافأة

على عكس الضغط الثابت أو الموحد، يقوم ReCo بتعديل نسبة الاحتفاظ $\lambda_i$ ديناميكياً بناءً على مكافأة الخطوة $v_i$ :

خطوات المكافأة العالية: عندما يكون النموذج على مسار موثوق (مكافأة $v_i$ عالية)، يقوم الإطار بضغط مخزن KV المتراكم بقوة، حيث يتحمل وضع الاستنتاج فقداناً أكبر للسياق.
خطوات المكافأة المنخفضة: عندما يكون النموذج في حالة استكشاف أو عدم يقين (مكافأة $v_i$ منخفضة)، يحتفظ الإطار بمزيد من السياق لمنع كسر سلسلة الاستنتاج.
الآلية: تُحسب نسبة الاحتفاظ كالتالي: $\lambda_i = \lambda - \delta \frac{v_i - \bar{v}}{v_{max} - v_{min}}$ ، حيث $\lambda$ هي النسبة الأساسية و $\delta$ تحد من التعديل. ضمن الميزانية المخصصة، يتم اختيار الرموز بناءً على درجات الاهتمام (attention scores) من الرموز الأخيرة.

3. التحكم في التأمل بنطاقات المكافأة

لمنع "تضخم الطول" الناتج عن الضغط، يقوم ReCo بكبح رموز التأمل الذاتي الزائدة (مثل "انتظر"، "همم"، "بدلاً من ذلك") أثناء فك التشفير:

نفس المكافأة $v_i$ $v_{i}$ تحدد عقوبة اللوجيت (logit penalty) $\beta_i$ $β_{i}$ المطبقة على رموز التأمل:
- مكافأة منخفضة ( $v_i \le \tau_\ell$ ): لا توجد عقوبة (لتشجيع الاستكشاف).
- مكافأة متوسطة ( $\tau_\ell < v_i < \tau_h$ ): نصف عقوبة.
- مكافأة عالية ( $v_i \ge \tau_h$ ): عقوبة كاملة (لثني النموذج بقوة عن إعادة فتح الفروع، وتوجيهه نحو الخاتمة).

4. التوقف المبكر القائم على الثقة

ينفذ ReCo آلية توقف مبكر يتم تفعيلها عندما يُعتبر الاستنتاج موثوقاً:

إذا ظلت المكافأة في النطاق العالي لخطوتين متتاليتين، يتم إدراج "مطالبة إغلاق" (closing prompt) لاستخراج إجابة مؤقتة.
يتم قياس ثقة النموذج في هذه الإجابة عبر الارتياب (Perplexity - PPL). إذا كان $PPL(a) \le \tau_p$ ، يتم إنهاء سلسلة الاستنتاج؛ وإلا يستمر الاستنتاج. هذا يمنع التوقف المبكر على إجابات تبدو سلسة ولكنها غير صحيحة.

المساهمات الرئيسية

الربط بين الضغط والتوليد: تجادل الورقة بأن ضغط مخزن KV وحده غير كافٍ لنماذج الاستنتاج لأنه قد يأتي بنتائج عكسية عبر إطالة عملية الاستنتاج. يعد ReCo الأول الذي يحكم بشكل مشترك ضغط مخزن KV وطول التوليد تحت إشارة مكافأة موحدة.
المكافأة كإشارة لتحمل الضغط: يثبت المؤلفون أن مكافآت العملية تتبع بدقة مدى تحمل حالة الاستنتاج لفقدان السياق. فالخطوات ذات المكافأة العالية تكون قوية تجاه الضغط الشديد، بينما تتطلب الخطوات ذات المكافأة المنخفضة سياقاً كاملاً. وهذا يتناقض مع السياسات الموحدة الحالية.
إطار عمل خطوي موحد: يدمج ReCo ضغط مخزن KV، والتحكم في التأمل، والتوقف المبكر في إطار عمل واحد يقلل عدد الرموز وزمن الاستجابة مع الحفاظ على الدقة عبر نماذج ومعايير متعددة.

النتائج التجريبية

تم تقييم الإطار على ثلاثة نماذج استنتاج (DeepSeek-R1-Distill-Llama-8B، وDeepSeek-R1-Distill-Qwen-7B، وQwen3-8B) عبر ستة معايير (GSM8K، MATH-500، AMC2023، AIME24، AIME25، وGPQA).

تقليل الرموز: قلل ReCo عدد الرموز المولدة بنسبة 37%–65% مقارنة بـ Full CoT. في المقابل، غالباً ما أدت الأساليب التي تعتمد على المخزن فقط (مثل SnapKV وR-KV) إلى زيادة عدد الرموز بسبب تضخم الطول.
**تسريع زمن الاستج: حقق ReCo تقليلاً في زمن الاستجداری النهائي (end-to-end latency) بنسبة 2.08×–2.35× مقارنة بـ Full CoT.
الحفاظ على الدقة: حافظ ReCo على دقة هي الأقرب إلى خط الأساس Full CoT بين جميع طرق الضغط. على سبيل المثال، في نموذج Llama-8B، حقق ReCo متوسط دقة قدره 60.2% مقارنة بـ 62.8% لـ Full CoT، بينما انخفضت الأساليب التي تعتمد على KV فقط بشكل كبير (مثلاً SnapKV وصل إلى 37.5%).
كفاءة الذاكرة: قلل ReCo من ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU) بنسبة 37.7% (17.92 جيجابايت مقابل 28.78 جيجابايت في AIME25)، متفوقاً على كل من الأساليب التي تعتمد على KV فقط والأساليب التي تعتمد على الطول فقط.

الأهمية والادعاءات

تدعي الورقة أن ضغط مخزن KV يجب أن يكون مقترناً بالتحكم في التوليد ليكون فعالاً في نماذج الاستنتاج. ويؤكد المؤلفون أن ضغط المخزن دون التحكم في طول الاستنتاج اللاحق يمكن أن يؤدي إلى تآكل مكاسب الكفاءة عبر تحفيز سلاسل استنتاج أطول.

باستخدام مكافأة عملية واحدة لتنسيق كلا الجانبين، يحقق ReCo توازناً حيث يتم صرف الحوسبة فقط عندما يكون الاستنتاج مثمراً، ويتم حجبها عندما يستقر النموذج. ويؤكد المؤلفون أن طريقتهم لا تتطلب إعادة تدريب لنموذج الاستنتاج ولا هندسة مطالبات (prompt engineering) لكل مهمة، بل تعتمد بدلاً من ذلك على مُقدِّر مكافأة خفيف الوزن للتكيف ديناميكياً مع احتياجات مسار الاستنتاج.