💻 computer science

Fuel Gauge: Estimating Chain-of-Thought Length Ahead of Time in Large Multimodal Models

تقدم هذه الورقة Fuel Gauge، وهي طريقة مبتكرة تتنبأ بطول تسلسل التفكير (Chain-of-Thought) في النماذج اللغوية الكبيرة متعددة الوسائط مسبقاً عبر استخراج معامل "وقود" خفي، مما يتيح تخصيصاً أكثر كفاءة للذاكرة وتحسيناً لأداء الاستدلال عبر مختلف المعايك المرجعية.

المؤلفون الأصليون: Yuedong Yang, Xiwen Wei, Mustafa Munir, Radu Marculescu

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuedong Yang, Xiwen Wei, Mustafa Munir, Radu Marculescu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود سيارة على طريق طويل ومتعرج، لكن ليس لديك أدنى فكرة عن مدى بعد وجهتك. لا تعرف ما إذا كانت الرحلة تبعد 5 أميال أو 500 ميل.

ولأنك لا تعرف المسافة، تضطر للتوقف عند كل محطة وقود لتشتري فقط ما يكفي من الوقود لبضعة أميال قادمة. هذا أمر غير فعال؛ فأنت تضيع الوقت في التوقف، كما أن خزان الوقود الخاص بك سيصبح فوضوياً بعبوات نصف ممتلئة في كل مكان (وهذا ما يسمى بـ تجزئة الذاكرة - memory fragmentation في أجهزة الكمبيوتر). وأيضاً، في بعض الأحيان تتوقف مبكراً جداً وينفد منك الوقود (فيستسلم الذكاء الاصطناعي)، وفي أحيان أخرى تستمر في القيادة لأميال بعد وصولك بالفعل (فيقوم الذكاء الاصطناعي بـ "الإفراط في التفكير" وإضاعة الوقت).

يقدم هذا البحث أداة جديدة تسمى "مقياس الوقود" (Fuel Gauge) والتي تحل هذه المشكلة للنماذج المتقدمة من الذكاء الاصطناعي.

المشكلة: "الصندوق الأسود" لتفكير الذكاء الاصطناعي

نماذج الذكاء الاصطناعي الحديثة (التي تسمى النماذج اللغوية متعددة الوسائط الكبيرة) بارعة في حل المشكلات الصعبة. وهي تفعل ذلك باستخدام "سلسلة من الأفكار" (Chain of Thought - CoT) — وهي ببساطة تتحدث مع نفسها، حيث تقوم بتفكيك المشكلة إلى خطوات صغيرة قبل إعطاء الإجابة.

المشكلة: لا يعرف الذكاء الاصطناعي مسبقاً عدد الخطوات التي سيحتاجها. قد يحتاج إلى 10 خطوات لمسألة رياضية بسيطة، أو 10,000 خطوة لتحليل فيديو معقد.
النتيجة: ولأن الكمبيوتر لا يعرف الطول (المدة)، فإنه يضطر لطلب قطع صغيرة من الذاكرة باستمرار أثناء تفكير الذكاء الاصطناعي. هذا يشبه محاولة بناء جدار عبر طلب طوبة واحدة في كل مرة؛ وفي النهاية، ستجد كومة من الطوب مبعثرة في كل مكان، ولكن لا يوجد مساحة كافية لبناء جدار كبير، حتى لو كان لديك العدد الإجمالي الكافي من الطوب.

الحل: "مقياس الوقود" (Fuel Gauge)

أدرك الباحثون أن نماذج الذكاء الاصطناعي لديها إشارة داخلية خفية، تشبه شعور العقل البشري بـ "التعب" أو "امتلاء الطاقة" أثناء التفكير.

التشبيه: تخيل أن للذكاء الاصطناعي خزان وقود يبدأ ممتلئاً (100%) عندما يبدأ التفكير. ومع حل المشكلة، ينخفض مستوى الوقود. وعندما يصل الوقود إلى 0%، يعرف الذكاء الاصطناعي أنه انتهى ويعطي الإجابة.
الاكتشاف: وجد الباحثون أن "مستوى الوقود" هذا ليس عشوائياً، بل ينخفض في خط مستقيم يمكن التنبؤ به. إذا نظرت إلى نشاط دماغ الذكاء الاصطناعي بعد بضع خطوات فقط، يمكنك رؤية سرعة احتراق الوقود والتنبؤ بدقة متى سيصل إلى الصفر.

لقد بنوا مساعداً صغيراً وسريعاً للغاية من الذكاء الاصطناعي (مقياس الوقود) يراقب تفكير النموذج الرئيسي. يقوم المساعد بقياس مستوى الوقود ويرسم خطاً للتنبؤ: "آه، بهذا المعدل، سينتهي الذكاء الاصطناعي خلال 514 خطوة بالضبط".

لماذا هذا مهم: قوتان خارقتان

بمجرد أن يعرف الكمبيوتر طول الرحلة، يمكنه القيام بشيئين مذهلين:

1. استراتيجية "الطلب المسبق" (التخصيص التنبئي للذاكرة)

بدلاً من طلب طوبة واحدة في كل مرة، يمكن للكمبيوتر الآن أن يقول: "أعلم أن هذا الجدار يحتاج إلى 500 طوبة. لنأخذ شاحنة كبيرة محملة بـ 500 طوبة الآن ونبني الجدار بالكامل دفعة واحدة".

النتيجة: يتوقف الكمبيوتر عن إضاعة الوقت في التوقف والبدء المتكرر. إنه يستخدم الذاكرة بكفاءة أكبر بكثير، مما يمنع الانهيارات ويسرع العملية. في اختباراتهم، قلل هذا من عدد مرات التوقف للذاكرة بمقدار 13 مرة!

2. "مقبض التحكم في الحجم" (تعديل طول سلسلة الأفكار)

أحياناً يفكر الذكاء الاصطناعي قليلاً جداً (فيخمن بشكل خاطئ) أو يفكر كثيراً جداً (فيضيع الوقت).

الحل: بما أن "مقياس الوقود" يتحكم في "الوقود"، يمكننا تدوير مقبض للتحكم فيه:
- رفعه للأعلى: لإجبار الذكاء الاصطناعي على الاستمرار في التفكير لفترة أطول إذا كانت المشكلة صعبة.
- خفضه للأسفل: لإخبار الذكاء الاصطناعي بالتوقف في وقت أبكر إذا كانت المشكلة سهلة.
النتيجة: يمكننا ضبط ذكاء الذكاء الاصطناعي بدقة أثناء العمل، مما يجعله أكثر ذكاءً أو أسرع حسب حاجتنا، تماماً مثل تعديل مستوى الصوت في الراديو.

الخلاصة

إن "مقياس الوقود" يشبه البلورة السحرية لتفكير الذكاء الاصطناعي. فهو ينظر إلى الثواني الأولى من عملية تفكير الذكاء الاصطناعي ويتنبأ بدقة بمدة استمرار المحادثة بأكملها. وهذا يسمح لأجهزة الكمبيوتر بالتوقف عن إهدار الموارد، والعمل بشكل أسرع، ويسمح لنا بالتحكم بدقة في مدى عمق تفكير الذكاء الاصطناعي في المشكلة.

إنه يحول عملية التفكير غير المتوقعة والفوضوية للذكاء الاصطناعي إلى رحلة سلسة، فعالة، وقابلة للتحكم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Fuel Gauge: تقدير طول سلسلة التفكير (Chain-of-Thought) مسبقاً في النماذج اللغوية الكبيرة متعددة الوسائط (LMMs)."

1. بيان المشكلة

حققت نماذج الاستدلال اللغوية متعددة الوسائط (LMMs) أداءً متطوراً من خلال استخدام "سلسلة التفكير" (Chain-of-Thought - CoT)، حيث تقوم النماذج بتفكيك المشكلات إلى خطوات وسيطة. ومع ذلك، يؤدي هذا النهج إلى عدم كفاءة حرجة:

عدم الكفاءة الحسابية (تجزئة الذاكرة): نظراً للطبيعة ذاتية الانحدار (auto-regressive) للنماذج اللغوية متعددة الوسائط، فإن الطول النهائي لسلسلة التفكير (CoT) غير معروف مسبقاً. لذا، تضطر أطر الخدمة إلى تخصيص كتل ذاكرة متصلة وصغيرة بشكل متكرر لـ "ذاكرة المفتاح والقيمة" (KV cache) مع نمو سلسلة التفكير. يؤدي هذا إلى تجزئة شديدة في الذاكرة، مما يتسبب في فشل التخصيص حتى عند وجود ذاكرة إجمالية كافية.
جودة استدلال غير مثالية: بدون معرفة صعوبة المهمة مسبقاً، غالباً ما تعاني النماذج من الإفراط في التفكير (هدر الموارد في خطوات غير ضرورية) أو نقص التفكير (التوقف قبل الأوان)، مما يؤدي إلى انخفاض الدقة.

تفتقر الأنظمة الحالية إلى آلية للتنبؤ بطول سلسلة التفكير قبل اكتمال عملية التوليد، مما يمنع الإدارة الاستباقية للموارد أو التدخل الديناميكي.

2. المنهجية: Fuel Gauge (مقياس الوقود)

يقترح المؤلفون Fuel Gauge، وهو أول إطار عمل لتقدير طول سلسلة التفكير (CoT) في الوقت الفعلي. تعتمد الطريقة على فرضيتين جوهريتين مستوحات من الإدراك البشري والملاحظات التجريبية:

الفرضيات الجوهرية

القابلية للتنبؤ (الفرضية الأولى): يتبع طول سلسلة التفكير عملية برنولي (Bernoulli process) وهو قابل للتنبؤ بناءً على نص المدخلات فقط. تُظهر البيانات التجريبية وجود علاقة عكسية بين صعوبة المهمة (المقاسة بالدقة) وطول سلسلة التفكير؛ فالمهمات الأصعب تتطلب سلاسل تفكير أطول، لكن هذه العلاقة ثابتة عبر النماذج المختلفة.
إشارة "الوقود" الداخلية (الفرضية الثانية): تمتلك النماذج اللغوية الكبيرة متعددة الوسائط إشارة خفية داخلية تشبه "الوقود" البيولوجي (مثل مستويات ATP/الأدينوزين في الدماغ). تبدأ هذه الإشارة بقيمة عالية (1.0) عند بدء الاستدلال، وتتناقص خطياً لتصل إلى الصفر (0.0) مع انتهاء عملية الاستدلال.

البنية والخوارزمية

يعمل Fuel Gauge عبر مرحلتين باستخدام شبكة عصبية خفيفة الوزن (تضم 82 ألف معلمة فقط):

المرحلة 1: تقدير مستوى الوقود
- المدخلات: آخر 8 حالات خفية ( $h_{i-7:i}$ ) من طبقة محددة في المحول (Transformer).
- مستخرج الإشارة ( $f_{sig}$ ): عملية تلافيف عميقة أحادية البعد (1D depth-wise convolution) تليها تلافيف نقطية (point-wise convolution) لاستخراج متجه إشارة خفية $S_i$ .
- مقدر الوقود ( $f_{fuel}$ ): شبكة MLP مكونة من طبقتين تقوم برسم خريطة لـ $S_i$ إلى قيمة عددية لمستوى الوقود $r_i \in [0, 1]$ .
- التدريب: يتم تدريب الشبكة للتنبؤ بمؤشر الرمز الطبيعي ( $1 - i/N$ ) باستخدام دالة خسارة Smooth L1، حيث $N$ هو طول سلسلة التفكير الحقيقي.
المرحلة 2: التنبؤ بطول سلسلة التفكير (CoT)
- يقوم النظام بجمع قراءات مستوى الوقود ( $r_0, r_1, \dots, r_i$ ) بمرور الوقت.
- يقوم بملاءمة نموذج خطي ( $r_i \approx k \cdot i + 1$ ) لهذه النقاط.
- يتم حساب طول سلسلة التفكير المتوقع ( $\tilde{N}$ ) عن طريق استقراء الخط إلى نقطة التقاطع مع الصفر: $\tilde{N} = -1/k$ .

3. المساهمات الرئيسية

التوصيف الرياضي: تثبت الورقة أن طول سلسلة التفكير يمكن نمذجته كعملية برنولي قابلة للتنبؤ تعتمد على صعوبة المهمة، مما يتحدى فكرة أن طول سلسلة التفكير عشوائي تماماً.
أول متنبئ لطول سلسلة التفكير: يقدم Fuel Gauge، وهي طريقة لاستخراج إشارة "مستوى الوقود" الخفية من الحالات الخفية للنماذج اللغوية الكبيرة متعددة الوسائط للتنبؤ بالطول المتبقي لسلسلة التفكير قبل انتهاء التوليد.
التطبيقات النهائية:
- التخصيص التنبئي لذاكرة (KV Cache): يستخدم التنبؤ لتخصيص الذاكرة في كتل متصلة كبيرة مسبقاً، مما يقلل بشكل كبير من التجزئة.
- تعديل طول سلسلة التفكير (CoT Modulation): يستخدم إشارة الوقود لتوجيه التوليد عبر التوجيه القائم على التدرج (gradient-based steering) (على غرار توجيه المصنف/classifier guidance)، مما يسمح للمستخدمين بفرض سلاسل تفكير أقصر أو أطول لتحسين السرعة أو الدقة.
التحقق الواسع: تم التحقق من صحة النموذج عبر الوسائط النصية فقط، والنص-الصورة، والفيديو-النص على معايير متنوعة (GPQA-Diamond, MathVision, LongVideoBench).

4. النتائج التجريبية

قيم المؤلفون Fuel Gauge على نماذج مثل Qwen3 (4B/8B)، وQwen3VL، وIntern-S1.

دقة التنبؤ:
- في معيار GPQA-Diamond، حقق Fuel Gauge متوسط خطأ مطلق نسبي (rMAE) قدره 0.2732 (لقياس Qwen3-8B)، وهو أقل من نصف الخطأ الذي حققه أفضل خط أساس ("Direct" prediction).
- تفوق بشكل كبير على خطوط الأساس الثابتة (المتوسط/الوسيط) والخطوط الأساسية القائمة على الاحتمالات (احتمالية رمز نهاية السلسلة)، والتي فشلت في التعميم عبر الوسائط المختلفة.
كفاءة الذاكرة (التخصيص التنبئي لـ KV Cache):
- من خلال التنبؤ بحجم الذاكرة المطلوب، قلل Fuel Gauge من وتيرة تخصيص الذاكرة بمقدار 13.37 ضعفاً في معيار MathVision-m (لقياس Qwen3VL-2B) مقارنة بمخصص HuggingFace (HF) القياسي.
- نجح هذا في تخفيف تجزئة الذاكرة، مما سمح بنجاح الاستدلال في مهام كانت ستفشل بسبب التجزئة.
تعديل سلسلة التفكير (CoT Modulation):
- أظهرت الطريقة علاقة خطية بين عامل التعديل ( $\eta$ )، وطول سلسلة التفكير، ودقة النموذج.
- يمكن للمستخدمين التحكم بموثوقية في جعل النموذج "يفكر أقل" (سلسلة تفكير أقصر) أو "يفكر أكثر" (سلسلة تفكير أطول)، مما يؤثر مباشرة على الدقة بطريقة يمكن التنبؤ بها.
القدرة على التعميم: النموذج، الذي تم تدريبه على 200 عينة فقط من MMLU/MMMU، نجح في التعميم على المهام خارج النطاق (مثل استدلال الفيديو) والوسائط المختلفة دون إعادة تدريب.
العبء الحسابي: العبء الحسابي ضئيل للغاية. تعالج الشبكة التي تضم 82 ألف معلمة الرموز بسرعة 792.7 رمزاً/ثانية (حجم الدفعة 1) على وحدة معالجة رسومات A6000، مقارنة بـ 22.4 رمزاً/ثانية للنموذج (4B)، مما يضيف تأخراً طفيفاً جداً.

5. الأهمية

تحسين النظام: يحل Fuel Gauge مشكلة بنية تحتية حرجة في خدمة النماذج اللغوية الكبيرة (تجزئة الذاكرة) من خلال تمكين التخصيص الاستباقي للموارد، وهو أمر ضروري لنشر نماذج الاستدلال ذات السياق الطويل في بيئات الإنتاج.
القابلية للتحكم: يوفر أول آلية موثوقة لـ توسيع عمق الاستدلال عند وقت الاختبار (test-time scaling) باستخدام توجيه المصنف، مما يسمح بالموازنة الديناميكية بين تكلفة الاستدلال والدقة بناءً على احتياجات المستخدم.
الرؤية النظرية: تقدم هذه الورقة منظوراً جديداً للمكونات الداخلية للنماذج اللغوية الكبيرة، حيث تشير إلى أن عمليات الاستدلال تمتلك حالة "طاقة" داخلية يمكن فك تشفيرها وترتبط بإكمال المهمة، مما يسد الفجوة بين تشبيهات الإدراك البيولوجي وآليات التعلم العميق.

باخت-صار، يحول Fuel Gauge الطبيعة غير المتوقعة لسلسلة التفكير (CoT) إلى مورد يمكن إدارته وتقديره، مما يوفر فوائد عملية فورية لكفاءة النظام والتحكم في النماذج.