💬 NLP

Think Silently, Think Fast: Dynamic Latent Compression of LLM Reasoning Chains

تقدم هذه الورقة إطار عمل "الاستدلال الكامن المضغوط" (CoLaR)، وهو إطار يستخدم الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي لضغط سلاسل استدلال النماذج اللغوية الكبيرة ديناميكيًا في الفضاء الكامن، مما يقلل بشكل كبير من التكاليف الحسابية ووقت الاستنتاج مع الحفاظ على الدقة أو حتى تحسينها في المهام الرياضية المعقدة.

المؤلفون الأصليون: Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

نُشر 2026-02-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenhui Tan, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Ruihua Song, Jian Luan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل مسألة رياضية، مثل معرفة تكلفة 5 ملاعق إذا كان سعر 7 ملاعق هو 21 دولاراً.

الطريقة القديمة (المشي "كلمة بكلمة")
حالياً، تقوم معظم نماذج الذكاء الاصطناعي بحل هذه المسائل عبر التحدث مع نفسها بصوت عالٍ، كلمة بكلمة. قد تقول: "حسناً، 21 مقسومة على 7 تساوي 3. إذن سعر الملعقة الواحدة هو 3 دولارات. ثم 3 مضروبة في 5 تساوي 15. الإجابة هي 15."
هذا ما يسمى بـ "سلسلة الأفكار" (Chain of Thought). وهي تعمل بشكل جيد، لكنها بطيئة ومكلفة. الأمر يشبه الذهاب إلى المتجر لشراء الحليب، ولكن بدلاً من مجرد المشي، يتعين عليك التوقف لوصف كل خطوة من رحلتك أمام كاميرا قبل أن تتمكن من اتخاذ الخطوة التالية. إذا كان عليك القيام بذلك لمليون شخص في وقت واحد، فسيحدث ازدحام في الخادم (Server)، وسوف يستغرق الأمر وقتاً طويلاً جداً.

الطريقة الجديدة: CoLaR (المفكر "المنتقل آنياً")
تقدم الورقة البحثية طريقة جديدة تسمى CoLaR (الاستدلال الكامن المضغوط - Compressed Latent Reasoning). فكر في CoLaR ليس كشخص يمشي، بل كشخص ينتقل آنياً (Teleporter).

بدلاً من قول كل كلمة، يقوم CoLaR بتجميع عدة كلمات معاً في "حزمة فكرية" واحدة غير مرئية (متغير كامن).

الضغط: تخيل أن لديك جملة طويلة: "21 مقسومة على 7 تساوي 3". يقوم CoLaR بضغط تلك الجملة بأكملها في نقطة واحدة صغيرة وكثيفة من المعلومات. هو لا يفقد المعنى، بل يجعله أكثر إحكاماً فقط.
مفتاح السرعة: الجزء الأروع هو أنه يمكنك إخبار CoLaR بمدى سرعة تفكيره.
- إذا قلت له: "فكر خطوة بخطوة"، فإنه يأخذ وقته ويقوم بتعبئة بضع كلمات في كل نقطة.
- إذا قلت له: "فكر بسرعة 5 أضعاف!"، فإنه يضع خمس كلمات في نقطة واحدة. إنه يتخطى الحشو وينتقل مباشرة إلى الجوهر المنطقي.

كيف يتعلم (صالة التدريب الرياضية)
تشرح الورقة البحثية أن تعليم الذكاء الاصطناعي القيام بذلك أمر صعب. فإذا أخبرته فقط بأن "يكون سريعاً"، فقد يصبح كسولاً ويعطي إجابة خاطئة. لذا، استخدم الباحثون عملية تدريب مكونة من خطوتين:

الواجب المنزلي (الضبط الدقيق الخاضع للإشراف): عرضوا على الذكاء الاصطناعي آلاف المسائل الرياضية. أحياناً طلبوا منه التفكير ببطء، وأحياناً بسرعة. وعلموه خدعة خاصة: "عندما ترى مجموعة من الكلمات، توقع المجموعة التالية من الكلمات كوحدة واحدة". هذا يشبه تعليم طالب تلخيص فقرة في جملة واحدة قبل الانتقال إلى الفقرة التالية.
اللعبة (التعلم التعزيزي): هنا يصبح الذكاء الاصطناعي أكثر ذكاءً حقاً. ترك الباحثون الذكاء الاصطناعي يحاول حل المسائل بطرق مختلفة.
- إذا سلك مساراً طويلاً ومتعرجاً ووصل إلى الإجابة الصحيحة، حصل على مكافأة صغيرة.
- إذا وجد طريقاً مختصراً وذكياً للوصول إلى الإجابة الصحيحة، حصل على مكافأة كبيرة.
- إذا أخطأ في الإجابة، تعرض لعقوبة.
- بمرور الوقت، تعلم الذكاء الاصطناعي "التفكير بصمت" داخل هذه الحزم المضغوطة، واكتشاف أقصر وأكثر المسارات كفاءة للوصول إلى الحل دون إضاعة الطاقة في كلمات غير ضرورية.

النتائج
تدعي الورقة البحثية أن طريقة "الانتقال الآني" هذه تمثل فوزاً كبيراً:

إنه أكثر ذكاءً: مقارنة بالطرق الأخرى التي تحاول ضغط الأفكار، فإن CoLaR أكثر دقة بنسبة 14%.
إنه أسرع: لقد قلل من طول سلسلة الاستدلال (عدد "الخطوات" التي يتخذها الذكاء الاصطناعي) بأكثر من 50% مقارنة بالطريقة القياسية (كلمة بكلمة)، مع عدم وجود أي فقدان تقريباً في الدقة.
إنه مرن: في المسائل الرياضية الصعبة جداً، ساعد استخدام إعداد "مفتاح السرعة" الخاص الذكاء الاصطناعي على حلها بشكل أفضل بنسبة 5% مع جعل سلسلة الاستدلال أقصر بنسبة 83%.

باختختصار
CoLaR يشبه الترقية من دليل سياحي بطيء وكثير الكلام يشرح كل طوبة في الجدار، إلى خبير صامت وفعال يمكنه نقلك آنياً إلى الوجهة، حاملاً معه كل المعرفة اللازمة في حقيبة ظهر واحدة مدمجة. إنه يسمح للذكاء الاصطناعي بـ "التفكير بصمت" وبسرعة أكبر بكثير، مما يوفر طاقة الكمبيوتر بينما يجعله في الواقع أفضل في حل المشكلات.

ملخص تقني: الاستدلال الكامن المضغوط (CoLaR)

بيان المشكلة

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً في الاستدلال الرياضي من خلال تحفيز "سلسلة الأفكور" (Chain-of-Thought - CoT)، والتي تولد سلاسل استدلال صريحة على مستوى الرموز (tokens). ومع ذلك، فإن هذه التسلسلات الطويلة مكلفة حاسوبياً وغير فعالة، مما يخلق أحمالاً كبيرة على الخوادم ويعيق القابلية للتوسع، لا سيما في ظل ظروف التزامن العالي. وبينما تحاول طرق الكفاءة الحالية تخطي الرموز الزائدة أو استخدام تدوينات مدمجة، إلا أنها تظل مقيدة بالتمثيلات المتفرقة القائمة على الرموز. علاوة على ذلك، فإن مناهج الاستدلال القائمة على الفضاء الكامن الحديثة (مثل Coconut وCODI) غالباً ما تعتمد على سلاسل استدلال ثابتة الطول وتوليد كامن حتمي، مما يحد من قدرتها على التكيف والاستكشاف.

المنهجية: الاستدلال الكامن المضغوط (CoLaR)

CoLaR هو إطار عمل مبتكر مصمم لضغط عمليات الاستدلال ديناميكياً في فضاء كامن كثيف مع الحفاظ على القدرة على استكشاف مسارات استدلال متنوعة. تعمل هذه الطريقة من خلال نهج تدريب يتكون من مرحلتين:

1. الضبط الدقيق الخاضع للإشراف (SFT) مع أهداف مساعدة

يتجاوز CoLaR التنبؤ القياسي بالرمز التالي عبر إدخال هدف مساعد وهو التنبؤ بالتمثيل الكامن المضغوط التالي.

الضغط الديناميكي: أثناء التدريب، يتم أخذ عامل ضغط $c$ عشوائياً من نطاق محدد مسبقاً $[1, c_{max}]$ . يتم دمج تمثيلات (embeddings) عدد $c$ من رموز الاستدلال المتتالية في تمثيل كامن واحد مضغوط باستخدام وحدة "ضغط التمثيل" (Embedding Compress). تقوم هذه الوحدة بضرب مجموع التمثيلات في $1/\sqrt{c}$ للحفاظ على خصائص التوزيع الأصلي، وتجنب التشويه الناتج عن عملية متوسط التجميع (mean pooling) البسيطة.
بنية الرأس المزدوج (Dual-Head Architecture): يستخدم النموذج رأسين:
- الرأس الكامن (Latent Head): رأس احتمالي (MLP ثنائي الرأس) يتنبأ بالمتوسط ( $\mu$ ) والانحراف المعياري ( $\sigma$ ) لتوزيع التمثيل المضغوط التالي. وهذا يتيح التنبؤ الذاتي (auto-regressive) بمتغيرات كامنة كثيفة بدلاً من القيم الحتمية.
- رأس اللغة (Language Head): يتنبأ بالإجابة النهائية، ومن المهم أنه يوفر إشرافاً كثيفاً عبر التنبؤ برموز الاستدلال الأصلية المقابلة للتمثيلات المضغوطة. هذا يقرب المهمة من تصنيف متعدد الملصقات (multi-label classification) لضمان تعلم النموذج لمعاني المجموعات المضغوطة.
دالة الخسارة (Loss Function): تجمع خسارة التدريب بين خسارة نمذجة اللغة (للتنبؤ بالرموز) وخسارة كامنة. تستخدم الخسارة الكامنة صيغة "soft-MSE" التي تجمع بين متوسط مربع الخطأ (MSE) مع حد تنظيم الإنتروبيا (entropy regularization). هذا يشجع النموذج على الحفاظ على قدرة الاستكشاف (التمثيلات الكامنة المتنوعة) أثناء ملاءمة البيانات، مما يعالج مشكلات نقص الملاءمة (under-fitting) الملاحظة مع خسارة NLL التقليدية في مجموعات البيانات الأبسط.

2. التعلم التعزيزي (RL) للاستكشاف والاستغلال

للانتقال إلى ما وراء محاكاة معلم "سلسلة الأفكور" وإطلاق إمكانات الاستدلال الكامن، يستخدم CoLaR تحسين السياسة النسبي للمجموعة (Group Relative Policy Optimization - GRPO).

أخذ العينات الاحتمالي: نظرًا لأن الرأس الكامن يخرج توزيعاً احتمالياً، يمكن للنموذج أخذ عينات من سلاسل استدلال كامنة متنوعة لنفس المدخل.
آلية المكافأة: لكل سؤال، يتم توليد مجموعة من المخرجات (سلاسل كامنة + إجابات). تُخصص المكافآت بناءً على صحة الإجابة (1 للإجابة الصحيحة، و0 للخاطئة).
استراتيجية التوازن: تحسب دالة GRPO المكافآت المعيارية للمجموعة. ومن الأهمية بمكان أن المكافأة تُقسم على عدد الرموز/التمثيلات الكامنة في السلسلة. هذا التصميم يشجع النموذج بطبيعته على استغلال (exploit) مسارات الاستدلال الأقصر والصحيحة (حيث تكون المكافأة لكل رمز أعلى)، بينما لا يزال يستكشف (explore) مسارات متنوعة لإيج অনেক الحلول الصحيحة.

المساهمات الرئيسية

الاستدلال الكامن ذو السرعة الديناميكية: يقدم CoLaR إطار عمل يتنبأ ذاتياً بالمتغيرات الكامنة التي تلخص دلالات رموز متعددة. يسمح هذا بالتعديل الديناميكي لسرعة الاستدلال عند وقت الاستنتاج ببساطة عبر طلب عامل الضغط المطلوب.
الرأس الكامن الاحتمالي والتكامل مع التعلم التعزيزي: على عكس الطرق الكامنة الحتمية السابقة، يستخدم CoLA R رأساً كامناً احتمالياً. وبالاقتران مع التعلم التعزيزي، يتيح ذلك للنموذج استكشاف مسارات استدلال متنوعة واستغلال الحلول الأكثر إيجازاً، مما يحسن الكفاءة بشكل كبير دون التضحية بالدقة.
أهداف تدريب مبتكرة: إن إدخال مهمة التنبؤ بالتمثيل المضغوط التالي ودالة خسارة soft-MSE الكامنة يسمح للنموذج بتعلم التمثيلات الكثيفة بفعالية وموازنة المقايضات بين الاستكشاف والاستغلال.

النتائج التجريبية

أُجريت تقييمات واسعة النطاق على أربع مجموعات بيانات للرياضيات المدرسية (GSM8k, GSM8k-hard, SVAMP, MultiArith) ومجموعة بيانات MATH الأكثر صعوبة.

الأداء مقابل النماذج الكامنة المرجعية: في مجموعات بيانات الرياضيات المدرسية، حقق CoLaR دقة أعلى بنسبة 14.1% من النماذج الكامنة المتطورة (مثل Coconut) عند نسب ضغط مماثلة.
الكفاءة مقابل سلسلة الأفكور الصريحة (Explicit CoT): مقارنة بـ CoT الصريح، قلل CoLaR طول سلسلة الاستدلال بنسبة 53.3% مع انخفاض في الأداء بنسبة 4.8% فقط.
تحسينات التعلم التعزيزي (RL) في المهام الصعبة: في مجموعة بيانات MATH، أدى تطبيق RL على CoLaR إلى زيادة في الدقة بنسبة 5.36% مقارنة بالنسخة غير المزودة بـ RL، مع تقليل طول سلسلة الاستدلال بنسبة 82.8%.
التوسع (Scaling): أكدت التجارب التي توسعت من 1 مليار إلى 8 مليارات معلم أن مكاسب الكفاءة والدقة في CoLaR تستمر مع زيادة سعة النموذج. لقد تفوق نموذج CoLaR-8B-RL على معلمه (CoT) في اختبار GPQA (37.5% مقابل 35.7%) مع تقصير سلسلة الاستدلال بنسبة 69%.
التعميم: أظهر النموذج قدرة قوية على التعميم لعوامل الضغط غير المرئية ومجموعات البيانات خارج النطاق (مثل MultiArith, GPQA).

الأهمية

يرى المؤلفون أن CoLaR يعالج الاختناق الحرج للتكلفة الحسابية في استدلال النماذج اللغوية الكبيرة من خلال الانتقال من المعالجة المتفرقة على مستوى الرموز إلى الاستدلال في الفضاء الكامن الكثيف. تكمن أهميته في:

التكيف الديناميكي: توفر القدرة على تعديل سرعة الاستدلال (عامل الضغط) عند وقت الاستنتاج مقايضة مرنة بين زمن الاستجابة والدقة، وهي مناسبة لقيود التطبيقات الواقعية المتغيرة.
الكفاءة دون تضحية: من خلال الاستفادة من الاستدلال الكامن الاحتمالي والتعلم التعزيزي، يحقق CoLaR تقليلاً كبيراً في طول سلسلة الاستدلال (يصل إلى 82.8%) مع الحفاظ على الدقة أو حتى تحسينها في المهام المعقدة، مما يتحدى فكرة أن الكفاءة يجب أن تأتي على حساب الأداء.
الاستكشاف والاستغلال في الفضاء الكامن: يوضح العمل أن إدخال العشوائية والتعلم التعزيزي في عمليات الاستدلال الكامن يسمح للنماذج باكتشاف مسارات استدلال أكثر كفاءة قد تغفل عنها المناهج الحتمية ثابتة الطول.

يقر المؤلفون بوجود قيود، بما في ذلك اقتراب الأداء من الـ CoT الصريح (بدلاً من تجاوزه باستمرار) في بعض الاختبارات المرجعية، والتحديات في التعميم لعوامل الضغط غير الصحيحة (non-integer) بسبب قيود التجزئة (tokenization) المنفصلة. ومع ذلك، فإن هذا الإطار يؤسس لاتجاه واعد للاستدلال في النماذج اللغوية الكبيرة يتسم بالكفاءة والقابلية للتوسع والتكيف.