🤖 machine learning

Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression

تقدم هذه الورقة البحثية Extra-CoT، وهو إطار عمل مبتكر يحقق ضغطاً فائقاً لسلسلة الأفكار (Chain-of-Thought) مع حد أدنى من فقدان الدقة عبر الجمع بين ضاغطٍ يحافظ على المعنى الدلالي، والضبط الدقيق الخاضع للإشراف بنسب مختلطة، واستراتيجية تحسين النسبة الهرمية والمقيدة (CHRPO) لتمكين الاستدلال عالي الدقة والفعالية في النماذج اللغوية الكبيرة.

المؤلفون الأصليون: Yuntian Tang, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Wenxi Li, Wei Li, Jie Hu, Xinghao Chen Rongrong Ji, Shaohui Lin

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuntian Tang, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Wenxi Li, Wei Li, Jie Hu, Xinghao Chen Rongrong Ji, Shaohui Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ومتحمساً للغاية (وهو الذكاء الاصطناعي) يحاول حل مسألة رياضية. عندما تسأله سؤالاً بسيطاً مثل "ما هو 2+2؟"، فإنه لا يكتفي بقول "4". بدلاً من ذلك، يكتب مقالاً من 50 صفحة يشرح فيها تاريخ الأرقام، ومفهوم الجمع، ولما لماذا الرقم 2 مميز، قبل أن يضع في النهاية دائرة حول الإجابة "4".

هذا ما يسمى بـ سلسلة الأفك‏ (Chain-of-Thought - CoT). وهي تساعد الذكاء الاصطناعي على الوصول إلى الإجابة الصحيحة، لكنها بطيئة للغاية ومكلفة لأن الذكاء الاصطناعي "يفرط في التفكير" وينتج الكثير جداً من الكلمات (الرموز/Tokens).

تقدم هذه الورقة البحثية نظاماً جديداً يسمى Extra-CoT لحل هذه المشكلة. فكر في الأمر كبرنامج تدريبي من ثلاث خطوات لتعليم هذا الطالب المتحمس جداً كيف يكون موجزاً دون أن يفقد ذكاءه.

المشكلة في "المحررين" الحاليين

قبل هذه الورقة، حاول الباحثون استخدام "محررين" لتقليص مقالات الطالب الطويلة. كان هؤلاء المحررون يقومون فقط بقص الكلمات بشكل عشوائي أو بناءً على قواعد بسيطة.

التشبيه: تخيل محرراً يقص جملة تقول: "الجذر التربيعي لـ 109 هو تقريباً 10.44". إذا قام بقصها إلى النصف، فقد يتبقى لك "الجذر التربيعي لـ 10..." وهو ما لا يعطي أي معنى.
النتيجة: عندما حاولت هذه المحررات تقليص المقال إلى حجم ضئيل جداً (مثل 20% من الأصل)، أصبحت إجابات الطالب غير منطقية. انهار المنطق لأن "الخطوات الحرجة" قد تم تقطيعها.

حل Extra-CoT: معسكر تدريبي من ثلاث خطوات

يقترح المؤلفون طريقة جديدة تعامل الطالب والمحرر بشكل مختلف.

الخطوة 1: المحرر "الخبير بالرياضيات" (الضاغط)

أولاً، قاموا بتدريب محرر خاص يفهم الصيغ الرياضية بشكل أفضل من أي شخص آخر.

كيف يعمل: بدلاً من مجرد النظر إلى الكلمات، يتعامل هذا المحرر مع الصيغة الرياضية الكاملة (مثل $x^2 + 12x = 73$ ) ككتلة واحدة غير قابلة للتجزئة. فهو يعلم أنه إذا قمت بقص صيغة رياضية إلى نصفين، فإن الصيغة بأكملها ستتعطل.
التشبيه: تخيل أميناً للمكتبة يعرف أن فصلاً معيلاً في كتاب هو "الدليل" لحل لغز ما. إذا احتاج إلى تقليص حجم المكتبة، فلن يمزق صفحات من هذا الفصل؛ بل سيحتفظ بالفصل كاملاً ويقص الأوصاف المملة المحيطة به.
الهدف: يؤدي هذا إلى إنشاء "معيار ذهبي" لإجابات مختصرة لا تزال مثالية من الناحية المنطقية.

الخطوة 2: الفصل الدراسي "متعدد الأنماط" (SFT)

بعد ذلك، يعلمون طالب الذكاء الاصطنا الرئيسي اتباع تعليمات هذا المحرر الجديد.

كيف يعمل: يعرضون للطالب أمثلة حيث يقول المحرر: "احتفظ بـ 80% من النص"، ثم "احتفظ بـ 60%"، ثم "احتفظ بـ 20%".
التشبيه: يشبه الأمر مدرباً يدرب رياضياً على الجري لمسافات مختلفة. يتعلم الرياضي أنه عندما يصرخ المدرب "انطلاق سريع قصير!"، فإنه لا يتوقف عن الجري فحسب، بل يجري بكفاءة لتلك المسافة المحددة. هذا يعلم الذكاء الاصطناعي أن يكون مطيعاً لمختلف "ميزانيات" الكلمات.

الخطوة 3: المدرب "المخاطر" (CHRPO)

أخيراً، يستخدمون نظام مكافأة خاص (التعلم المعزز) لدفع الطالب ليكون أكثر كفاءة.

المشكلة: الطالب يخشى أن يكون قصيراً جداً لأنه قد يخطئ في الإجابة.
الحل: يمنح المدرب (CHRPO) مكافأة ضخمة إذا أجاب الطالب بشكل صحيح واستخدم كلمات قليلة جداً. ولكن، إذا حاول أن يكون قصيراً جداً وأخطأ، فإن العقوبة تكون هائلة.
التشبيه: تخيل برنامج مسابقات تحصل فيه على جائزة لحل لغز في 10 ثوانٍ. إذا حللت اللغز في 5 ثوانٍ، ستحصل على جائزة مضاعفة. ولكن إذا تسرعت وأخطأت، فستخسر كل شيء. هذا يشجع الذكاء الاصطناعي على إيجاد "النقطة المثالية" ليكون فائق السرعة ومع ذلك دقيقاً.

النتائج

اختبرت الورقة هذا النظام على مسائل رياضية صعبة (مثل تلك الموجودة في مسابقات المدارس الثانوية).

الفوز: استطاع النظام الجديد (Extra-CoT) تقليل عدد الكلمات التي يولدها الذكاء الاصطناعي بنسبة 73% (لتصل إلى 27% فقط من الطول الأصلي) بينما في الواقع حصل على إجابات صحيحة في أسئلة أكثر من ذي قبل.
المقارنة: الطرق القديمة (مثل "TokenSkip") انهارت عندما طُلب منها أن تكون بهذا القصر. فإما أنها رفضت اتباع الأوامر أو أعطت إجابات خاطئة. أما Extra-CoT فقد ظل هادئاً ودقيقاً حتى عند الحدود القصوى.
السرعة: نظرًا لأن الذكاء الاصطناعي يكتب كلمات أقل بكثير، فإنه يحل المسائل بسرعة أكبر بـ 3 مرات في الوقت الفعلي.

الملخص

باخت_صار، Extra-CoT هو نظام يعلم الذكاء الاصطناعي التوقف عن "الإفراط في التفكير". فهو يستخدم محرراً ذكياً يحترم الصيغ الرياضية، ويدرب الذكاء الاصطناعي على اتباع حدود صارمة للكلمات، ويكافئه ليكون سريعاً ودقيقاً في آن واحد. والنتيال هو ذكاء اصطناعي يمكنه حل ألغاز منطقية معقدة باستخدام جزء ضئيل من قدرة الحوسبة والوقت الذي كان يحتاجه سابقاً.

ملخص تقني: Extra-CoT

بيان المشكلة

أظهرت نماذج الاستدلال اللغوية الكبيرة (LRMs) قدرات مذهلة في الاستدلال المنطقي المعقد من خلال توليد سلسلة من التفكير (CoT) خطوة بخوة. ومع ذلك، تأتي هذه الكفاءة بتكلفة حوسبية باهظة، مما يؤدي غالباً إلى "الإفراط في التفكير" حيث تولد النماذج مسارات استدلال زائدة عن الحاجة حتى بالنسبة للاستفسارات البسيطة. وبينما يمكن لطرق ضغط سلسلة التفكير (CoT) الحالية (مثل TokenSkip وCTS) ضغط الرموز (tokens) بفعالية عند نسب ضغط متوسطة (50-60%)، إلا أنها تعاني من "كارثة دقة" (fidelity catastrophe) عند النسب القصوى (مثلاً 20-30%). عند هذه المستويات، تفشل أدوات الضغط العامة في الحفاظ على خطوات الاستدلال المتفرقة والحرجة والنزاهة الرياضية، مما يؤدي إلى فقدان كارثي في الدقة المنطقية وتدهور كبير في الأداء. التحدي الجوهري يكمن في تحقيق استدلال عالي الدقة تحت ميزانيات رمزية منخفضة للغاية دون التضحية بدقة الإجابة.

المنهجية: إطار عمل Extra-CoT

يقترح المؤلفون Extra-CoT، وهو إطار عمل مبتكر ثلاثي المراحل مصمم لدفع حدود كفاءة سلسلة التفكير (CoT) مع الحفاظ على دقة عالية في الاستدلال. يدمج خط الإنتاج ضاغطاً دلالياً، وضبطاً دقيقاً تحت الإشراف بنسب مختلطة (SFT)، وخوارزمية تعلم تعزيزي (RL) متخصصة.

1. ضاغط مدرك للسؤال ومحافظ على الدلالة

لتوليد بيانات إشراف موثوقة للضغط الشديد، قام المؤلفون بتدريب ضاغط مخصص على بيانات سلسلة التفكير الرياضية.

البنية: يعتمد النموذج على Longformer-large-4096، ويستخدم الانتباه العالمي (global attention) لجميع الرموز في السؤال المدخل، مما يجعل الضاغط "مدركاً للسؤال". وهذا يسمح لكل رمز استدلال بالانتباه مباشرة إلى سياق المشكلة.
استراتيجية التوسيم (Annotation): تخضع بيانات التدريب لعملية توسيم فريدة قائمة على الفهرسة ومدركة للصيغ. يتم دمج التعبيرات الرياضية وكيانات LaTeX في وحدات ذرية لمنع التجزئة. يتم توجيه نموذج معلم (GPT-4o) لإرجاع مجموعة الفهارس التي يجب الحفاظ عليها فقط، مما يضمن المتانة ضد اختلافات العرض (rendering).
الهدف: يتم تدريب الضاغط باستخدام "فقد التركيز الموزون بالفئات" (class-weighted Focal Loss) للتنبؤ بما إذا كان يجب الاحتفاظ بكل رمز أو حذفه، مع إعطاء الأولوية للحفاظ على النزاهة الرياضية.

2. الضبط الدقيق تحت الإشراف بنسب مختلطة (SFT)

يتم إجراء ضبط دقيق لنموذج لغوي كبير (LLM) للاستدلال على بيانات مضغوطة عالية الدقة لتعلم القدرة على التحكم القوية.

مفردات التحكم: يتم تعزيز أداة الترميز (tokenizer) برموز تحكم خاصة (مثل <COMP 20>, <COMP 40>, ..., <COMP POLICY>).
مجموعات البيانات ذات المرحلتين:
- مجموعة النسبة الثابتة: تدرب النموذج على الالتزام الصارم بأوامر ضغط محددة (مثل <COMP 40>)، مما يؤدي إلى تأسيس قدرة تحكم قوية عبر طيف من الميزانيات.
- مجموعة الإحماء للسياسة (Policy Warm-up): تدرب النموذج على التنبؤ برمز النسبة بشكل مستقل عند إعطائه محفز <COMP POLICY>، مما يؤدي إلى إنشاء آلية قابلة للتدريب لمرحلة التعلم التعزيزي اللاحقة.
الهدف: توفر هذه المرحلة تهيئة مستقرة للتعلم التعزيزي، حيث تعلم النموذج اتباع طيف من ميزانيات الضغط بدلاً من مج-رد هدف واحد.

3. تحسين سياسة النسبة الهرمية والمقيدة (CHRPO)

لتحفيز اختيار الميزانيات الأقل صراحةً مع الحفاظ على الدقة، قدم المؤلفون خوارزمية CHRPO، وهي خوارزمية تعلم تعزيزي هرمية.

اختيار ميزانية المعلم: لكل استعلام، يتم تحديد "ميزانية المعلم" ( $r^*$ ) باعتبارها أصغر نسبة لا يزال نموذج SFT ينتج عندها إجابة صحيحة، مما يضمن أن هدف التعلم التعزيزي قابل للتحقيق.
هيكل المكافأة الهرمي:
- المكافأة الرئيسية ( $R_{main}$ ): تُطبق على التسلسل بأكما، وتدمج أربعة مكونات: الدقة، وضع تحسين النسبة (مكافأة التقصير الناجح، ومعاقبة الفشل)، معايرة الميزانية (لضمان مطابقة النسبة المحققة للنسبة المختارة)، ونزاهة المنطق (معاقبة فقدان كتل الاستدلال).
- مكافأة رأس التحكم ( $R_{ctrl}$ ): تُطبق حصرياً على الرمز الأول (رمز اختيار النسبة). يوفر هذا إشارة تدرج فورية لتشكيل عملية اتخاذ القرار في السياسة، مما يعالج مشكلة "تخصيص الائتمان" (credit assignment) حيث تكون إشارة الدقة النهائية بعيدة جداً عن اختيار النسبة الأولي.
تشكيل حساس للمخاطر: تستخدم وظائف المكافأة عقوبات غير متماثلة لضمان أن السياسة تقوم بالتقصير فقط عندما تكون صحيحة ("التقصير الآمن") وتفضل زيادة الميزانية بدلاً من الفشل في الحالات الصعبة ("التعافي السريع عند الفشل").

المساهمات الرئيسية

إطار عمل Extra-CoT: خط إنتاج مبتكر ثلاثي المراحل (ضاغط $\leftarrow$ SFT بنسب مختلطة $\leftarrow$ CHRPO) يحقق استدلالاً عالي الدقة عند ميزانيات رمزية منخفضة للغاية، مما يعالج بفعالية تحديات الحفاظ على الدلالة والالتزام بالتحكم.
الضاغط المحافظ على الدلالة: بنية مدركة للسؤال مع توسيم مدرك للصيغ تولد بيانات إشراف عالية الدقة، مما يحافظ على النزاهة الرياضية ويمنع تجزئة مكونات الاستدلال الرمزي.
خط إنتاج موحد (SFT-RL): استراتيجية تدريب تستخدم SFT بنسب مختلطة لتأسيس تحكم قوي، يتبعها CHRPO بمكافآت هرمية لتحفيز الدقة صراحةً تحت نسب ضغط شديدة.

النتائج التجريبية

تم تقييم إطار العمل على ثلاثة معايير للاستدلال الرياضي: GSM8K و MATH-500 و AMC2023، باستخدام العمود الفقري Qwen3-1.7B بشكل أساسي.

الأداء عند النسب القصوى: في MATH-500، حقق Extra-CoT تقليلاً في الرموز بنسبة 73% (0.27 ActRatio) مع تحسن في الدقة بنسبة 0.6% عن النموذج الأساسي، متفوقاً بشكل كبير على الطرق الرائدة مثل TokenSkip. عند نسبة مستهدفة 0.2، حافظ Extra-CoT على أداء قوي (47.8% دقة في MATH-500)، بينما عانى TokenSkip من هبوط كارثي إلى 23.4%.
الالتزام بالتحكم: على عكس النماذج المرجعية التي تظهر "انهيار التحكم" (حيث تبتعد النسب المحققة بشكل كبير عن الأهداف)، أظهر Extra-CoT التزاماً دقيقاً بأوامر الضغط عبر جميع النسب.
الكفاءة: في اختبارات زمن انتقال الاستدلال النهائي، قلل Extra-CoT زمن الانتقال بمقدار 3.24 ضعفاً في GSM8K و 2.35 ضعفاً في MATH-500 مقارنة بالنموذج الأساسي. في المقابل، أظهر TokenSkip مكاسب هامشية أو حتى زيادة في زمن الانتقال في بعض المعايير.
التعميم: أظهرت الطريقة متانة عبر نماذج مختلفة (Qwen2.5-7B, Llama3.2-3B) وإعدادات السياق الطويل (Pangu-Embedded-7B-V1.1 مع سياق 16K)، مما يؤكد أن التحسينات نابعة من جودة الإشراف المضغوط وليس من بنيات نماذج محددة.

الأهمية والادعاءات

يزعم البحث أن Extra-CoT يثبت أن الضغط الشديد عالي الدقة هو مسار قابل للتطبيق نحو الاستدلال الفعال. ومن خلال معالجة "كارثة الدقة" عبر الإشراف المحافظ على الدلالة وتحسين المكافأة الهرمية، يُمكّن إطار العمل نماذج الاستدلال اللغوية الكبيرة من العمل بفعالية تحت ميزانيات رمزية منخفضة للغاية دون الانهيار في الأداء الذي تشهده الطرق الحالية. يسلط العمل الضوء على أن الحفاظ على النزاهة المنطقية لسلاسل الاستدلال أمر بالغ الأهمية للحفاظ على قدرات حل المشكلات، حتى عندما يتم تقليل عدد الرموز بشكل جذري. وقد وفر المؤلفون كود المصدر الخاص بهم لتسهيل المزيد من الأبحاث في هذا الاتجاه.