💬 NLP

Training Large Reasoning Models Efficiently via Progressive Thought Encoding

تقدم هذه الورقة البحثية "الترميز الفكري التصاعدي" (Progressive Thought Encoding)، وهي طريقة لضبط النماذج بدقة وكفاءة في المعلمات، تُمكّن نماذج الاستدلال الضخمة من تحقيق دقة أعلى بكثير في اختبارات الرياضيات المعقدة مع التغلب على اختناقات الذاكرة عبر ترميز الاستدلال الوسيط في ناقلات ثابتة الحجم، مما يلغي الحاجة إلى الانتشار العكسي لكامل الذاكرة المؤقتة أثناء التعلم التعزيزي.

المؤلفون الأصليون: Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeliang Zhang, Xiaodong Liu, Hao Cheng, Hao Sun, Chenliang Xu, Jianfeng Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية صعبة للغاية، مثل لغز معقد. لديك مساعد عبقري (الذكاء الاصطناعي) يمكنه التفكير في الخطوات، لكن هذا المساعد لديه قيد غريب للغاية: ذاكرته العاملة ضئيلة جداً.

يمكنه فقط الاحتفاظ بنحو 10 صفحات من الملاحظات أمام عينيه في المرة الواحدة. إذا تطلب الحل 100 صفحة من التفكير، فإن اللحظة التي يكتب فيها الصفحة 11، ستسقط الصفحة 1 من على المكتب وتضيع للأبد.

المشكلة: معضلة "الملاحظات المتساقطة"

في عالم الذكاء الاصطناعي، تُسمى هذه "الملاحظات" الرموز (Tokens)، و"المكتب" هو ذاكرة الـ KV Cache (مخزن الذاكرة المؤقتة).

الطريقة القديمة (الذاكرة الكاملة): لكي يتمكن الذكاء الاصطناعي من حل المسائل الصعبة، كان يُعطى مكتباً ضخماً يمكنه استيعاب الـ 100 صفحة كاملة. لكن هذا المكتب ضخم وثقيل جداً لدرجة أن استئجاره يكلف ثروة (وحدات معالجة رسومية GPU باهظة الثمن) ويستغرق وقتاً طويلاً لتنظيمه.
طريقة "النافذة المنزلقة" (المكتب الرخيص): لتوفير المال، حاول الباحثون إعطاء الذكاء الاصطناعي مكتباً صغيراً وثابتاً الحجم. ومع دخول ملاحظات جديدة، تُدفع الملاحظات القديمة خارج الحافة.
- العيب: إذا كان الذكلاً الاصطناعي يحل مسألة تعتمد فيها الإجابة في الصفحة 90 على دليل موجود في الصفحة 5، وسقطت الصفحة 5 من على المكتب، فسيصاب الذكاء الاصطناعي بالارتباك ويفشل. الأمر يشبه محاولة إنهاء قصة بينما نسيت بدايتها.

الحل: "ترميز الأفكار التدريجي" (Progressive Thought Encoding)

ابتكر مؤلفو هذه الورقة حيلة ذكية تسمى "ترميز الأفكرة التدريجي".

بدلاً من ترك الملاحظات القديمة تسقط من على المكتب وتختفي في سلة المهملات، فهم يعلمون الذكاء الاصطناعي مهارة جديدة: التلخيص أثناء العمل.

إليك كيف يعمل ذلك، باستخدام تشبيه إبداعي:

تشبيه "الصحفي المتنقل"

تخيل أن الذكاء الاصطناعي هو صحفي يكتب تقريراً استقصائياً طويلاً.

القيد: يقول له المحرر: "يمكنك فقط الاحتفاظ بآخر 10 صفحات من دفتر ملاحظاتك على مكتبك. أما الباقي فيجب إخلاؤه".
الطريقة القديمة: يقوم الصحفي ببساطة برمي الصفحات القديمة. وعندما يحتاج للرجوع إلى حقيقة من الصفحة 3، لا يستطيع العثور عليها. فتنهار القصة.
الطريقة الجديدة (ترميز الأفكار التدريجي):
- في كل مرة توشك فيها صفحة على السقوط من على المكتب، لا يقوم الصحفي بمجرد رميها.
- بدلاً من ذلك، يكتب بسرعة ملخصاً من جملة واحدة لأهم الأدلة في تلك الصفحة داخل "دفتر يوميات متنقل" خاص (وهذا هو "التمثيل المتجهي" أو "محول LoRA").
- بعد ذلك، يرمي الصفحة الكاملة، لكنه يحتفظ بالدفتر.
- وبينما يستمر في الكتابة، يستمر في إضافة ملخصات جديدة إلى الدفتر.
- عندما يحتاج لتذكر شيء من البداية، فإنه لا يبحث في الصفحات المفقودة؛ بل يقرأ الدفتر.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟

1. إنه يشبه "حقيبة الظهر السحرية"
يتعلم الذكاء الاصطناعي ضغط تاريخ تفكيره بالكامل في "حقيبة ظهر" صغيرة وخفيفة الوزن (أوزان النموذج). ورغم أن المكتب (الذاكرة المؤقتة/Cache) صغير، إلا أن حقيبة الظهر تحتوي على جوهر كل ما فكر فيه الذكاء الاصطناعي حتى الآن.

2. تدريب أرخص وأسرع
لأن الذكاء الاصطناعي لا يحتاج إلى مكتب ضخم لحمل كل أفكاره، يمكنه التدرب على أجهزة كمبيوتر أرخص بكثير. تُظهر الورقة أن هذه الطريقة تقلل من استخدام الذاكرة بنسبة تقارب 50%. إنه يشبه الانتقال من استئجار مستودع إلى استخدام حقيبة ظهر.

3. تفكير أذكى
من المثير للدهشة أن هذه الطريقة لم توفر المال فحسب، بل جعلت الذكاء الاصطناعي أذكى أيضاً.

عندما يُجبر الذكاء الاصطناعي على تلخيص أفكاره، فإنه يتعلم التركيز على ما هو مهم بالفعل.
في الاختبارات على المسابقات الرياضية الصعبة (مثل AIME)، تفوقت هذه الطريقة على طرق "المكتب الكبير" التقليدية بفارق كبير (أفضل بنسبة تصل إلى 23% في بعض الاختبارات).

الخلاية

تحل هذه الورقة عقبة رئيسية في الذكماء الاصطناعي: كيف نجعل الذكاء الاصطناعي فائق الذكاء قادراً على التفكير لفترة طويلة دون الحاجة إلى كمبيوتر باهظ الثمن للغاية؟

من خلال تعليم الذكاء الاصطناعي "تلخيص أفكاره الماضية" قبل نسيانها، ابتكر الباحثون نظاماً يتميز بـ:

الكفاءة: يستخدم نصف الذاكرة فقط.
القابلية للتوسع: يمكنه العمل على أجهزة أكثر تواضعاً وسهولة في الوصول إليها.
الدقة: يحل بالفعل مسائل أصعب من ذي قبل لأنه لا يفقد "خيط" تفكيره المنطقي.

إنه الفرق بين طالب ينسى تعليمات النصف الأول من الامتحان لأن دفتره صغير جداً، وطالب يكتب ملخصاً مثالياً لكل صفحة قرأها، مما يسمح له بالتفوق في الاختبار حتى مع امتلاكه دفتراً صغيراً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدريب نماذج الاستدلال الضخمة بكفاءة عبر الترميز التدريجي للأفكار" (Progressive Thought Encoding).

١. بيان المشكلة

تتفوق نماذج الاستدلال الضخمة (LRMs) في المهام المعقدة مثل الرياضيات والبرمجة من خلال توليد سلاسل طويلة من التفكير (CoT). ومع ذلك، يواجه تدريب هذه النماذج عبر التعلم التعزيزي (RL) عقبة حرجة في الكفاءة:

تكاليف الذاكرة والحوسبة: يتطلب التعلم التعزيزي عمليات توليد (rollouts) طويلة للحصول على مكافآت قائمة على النتائج. ويستحوذ فك التشفير التلقائي (Autoregressive decoding) أثناء هذه العمليات على معظم الذاكرة (مخزن KV cache) وقوة الحوسبة.
المقايضة: للتخفيف من استخدام الذاكرة، تستخدم النهج القياسية نوافذ التمرير (sliding-window caches) أو تقليم الرموز (token pruning). ومع ذلك، فإن التخلص من رموز الاستدلال المتوسطة يؤدي إلى تعطيل فهم السياق طويل المدى، مما يؤدي إلى تدهور كبير في جودة الاستدلال وفعالية التدريب.
السؤال الجوهري: هل يمكن تدريب نماذج الاستدلال الضخمة بكفاءة تحت قيود ميزانية الذاكرة (أحجام ثابتة للمخزن المؤقت) دون التضحية بدقة الاستدلال؟

٢. المنهجية: الترميز التدريجي للأفكار (Progressive Thought Encoding)

يقترح المؤلفون الترميز التدريجي للأفكار، وهو أسلوب للضبط الدقيق الفعال للمعلمات (PEFT) يسمح للنماذج بـ "تذكر" الرموز التي تم استبعادها عن طريق ترميزها في أوزان النموذج بدلاً من التخلص منها.

المكونات الرئيسية:

التحسين المقيد بالمخزن المؤقت (Cache-Constrained Optimization): تصيغ الطريقة عملية تدريب التعلم التعزيزي تحت سياسة $D$ تقوم بتقليم مخزن KV مؤقت عبر الإنترنت. الهدف هو جعل السياسة ذات المخزن المؤقت الجزئي ( $\pi^D_\theta$ ) تقترب من السياسة ذات المخزن الكامل ( $\pi_\theta$ ).
التعلم من الرموز المستبعدة: بدلاً من مجرد إسقاط الرموز عند امتلاء المخزن، يتعلم النموذج منها قبل استبعادها.
- متجه الاستعلام العالمي ( $q_g$ ): متجه قابل للتعلم يقوم بتجميع المعلومات من جميع السياقات المستبعدة التي تمت مواجهتها حتى الآن.
- حالة السياق ( $S_e$ ): تمثيل كامن مضغوط للرموز المستبعدة، يتم حسابه باستخدام إسقاطات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value) العالمية.
- تكييف LoRA: تُستخدم المعلومات من $S_e$ لتحديث أوزان التكيف منخفضة الرتبة (LoRA) ( $\Delta W$ ). هذا يعمل فعلياً على "تقطير" تاريخ الاستدلال للرموز المستبعدة في معلمات النموذج.
التحديث التكراري: مع امتلاء المخزن واستبعاد رموز جديدة، يتم تحديث حالة السياق $S_e$ وتطبيعها، ومن ثم إعادة حساب أوزان LoRA. يسمح هذا للنموذج بالحفاظ على بصمة ذاكرة ثابتة مع الاحتفاظ بـ "ملخص" لمسار الاستدلال بأكمله.
استراتيجية التدريب:
- رموز الأسئلة (Question Tokens): يتم الاحتفاظ بها بشكل دائم في المخزن (تعمل كـ "رموز مرساة" لتثبيت المطالبة/Prompt).
- رموز التفكير (Thinking Tokens): تخضع لاستراتيجية استبعاد نافذة التمرير.
- الهدف: يتم تدريب النموذج باستخدام تحسين السياسة الجماعية (GRPO) مع هدف مدرك للمخزن المؤقت، مما يقلل من تباعد KL بين السياسة المقيدة بالمخزن والسياسة المرجعية ذات المخزن الكامل.

٣. المساهمات الرئيسية

صياغة المشكلة: تحديد وصياغة عدم كفاءة تدريب التعلم التعزيزي لنماذج الاستدلال الضخمة تحت عمليات التوليد الطويلة كمسألة تحسين مقيدة بالمخزن المؤقت.
خوارزمية مبتكرة: تقديم الترميز التدريجي للأفكار، وهي تقنية تتعلم من الرموز المستبعدة لتحديث محولات LoRA خفيفة الوزن، مما يحافظ على قدرة الاستدناء للسياق الطويل دون زيادة حجم المخزن المؤقت.
الكفاءة والقابلية للتوسع: أثبتت هذه الطريقة إمكانية تدريب التعلم التعزيزي القابل للتوسع من خلال تقليل ذروة استخدام الذاكرة بشكل كبير مع الحفاظ على دقة الاستدناء أو تحسينها.
التقييم الشامل: التحقق من صحة النهج عبر ثلاثة نماذج (Qwen2.5-3B/7B, DeepSeek-R1-Distill-Llama-8B) وستة اختبارات معيارية رياضية صعبة.

٤. النتائج التجريبية

تم تقييم الطريقة على Math500، وOlympiad-Bench، وMinerva Math، وAMC، وAIME2024، وAIME2025.

مكاسب الدقة:
- حققت تحسناً متوسطاً قدره +19.3% مقارنة بالضبط الدقيق القائم على LoRA، و**+29.9%** مقارنة بنماذج الاستدلال الضخمة غير المضبوطة.
- في الاختبارات الصعبة AIME2024/2025، حققت الطريقة تحسناً في الدقة المطلقة يصل إلى +23.4% فوق النماذج المرجعية تحت قيود صارمة للمخزن المؤقت.
- تحديداً، في نموذج DeepSeek-R1-Distill-Llama-8B، رفعت متوسط الدقة إلى 45.6% (بزيادة قدرها +10.7 عن LoRA).
كفاءة الذاكرة والحوسبة:
- ذروة ذاكرة وحدة معالجة الرسومات (GPU): انخفضت بنسبة تقارب 50% مقارنة بتدريب LoRA ذي المخزن الكامل (على سبيل المثال، انخفضت من ~89% إلى ~60% لنموذج 8B).
- عمليات الفاصلة العائمة (FLOPs): قللت من حسابات الانتباه بنسبة تقارب النصف (على سبيل المثال، 3.6 TFLOPs مقابل 5.7 TFLOPs لنموذج Qwen2.5-7B).
المتانة:
- على عكس النماذج المرجعية ذات النافذة المنزلقة (LoRAc) التي تتدهور بسرعة مع تقلص حجم المخزن، يحافظ الترميز التدريجي للأفكار على دقة عالية حتى مع نوافذ مخزن مؤقت صغيرة جداً (مثل 768 رمزاً).
- التوسع: تتوسع الطريقة بشكل إيجابي مع أطوال التوليد الأطول (تصل إلى 64 ألف رمز)، بينما تصل الطرق الأخرى إلى مرحلة الثبات.

٥. الأهمية

يعالج هذا العمل عائقاً جوهرياً في نشر نماذج الاستدلال الضخمة: الصراع بين الحاجة إلى استدلال طويل السياق والقيود المادية للذاكرة.

الأثر العملي: يجعل تدريب التعلم التعزيزي لنماذج الاستدلال الضخمة ممكناً على الأجهزة الاستهلاكية أو الأجهزة المؤسسية المحدودة من خلال خفض متطلبات الذاكرة بشكل جذري.
الرؤية النظرية: يثبت أن معلومات الاستدلال لا تحتاج بالضرورة إلى تخزينها في مخزن KV لتكون فعالة؛ بل يمكن ضغطها وتخزينها في أوزان النموذج (عبر LoRA) أثناء عملية التدريب.
الاتجاه المستقبلي: يفتح هذا البحث آفاقاً جديدة لاستراتيجيات الاستبعاد التكيفية وتحسين الاستدناء في وقت التشغيل، مما يشير إلى أن "التفكير" يمكن ترميزه في المعلمات وليس فقط تخزينه في الذاكرة.

باختصار، يحول الترميز التدريجي للأفكار مشكلة الاستدناء المقيد بالذاكرة من كونها عائقاً إلى مهمة تحسين يمكن إدارتها، مما يتيح تدريباً أكثر كفاءة وقابلية للتوسع ودقة أعلى لنماذج الاستدلال من الجيل القادم.