💬 NLP

Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference

تؤيد هذه الورقة اعتماد "الطاقة لكل رمز" كمقياس رئيسي للكفاءة، وتقترح استراتيجيات توجيه ديناميكية واعية بالطاقة توازن بين الدقة والتكلفة الحسابية من خلال الاستفادة من النماذج اللغوية الصغيرة المعززة وعمق الاستدلال المتحكم فيه لتحقيق نشر مستدام للذكاء الاصطناعي.

المؤلفون الأصليون: Patrick Wilhelm, Thorsten Wittkopp, Odej Kao

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Patrick Wilhelm, Thorsten Wittkopp, Odej Kao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من المعرفة (نموذج لغوي كبير، أو LLM) ومساعداً صغيراً وسريع البديهة (نموذج لغوي صغير، أو SLM). تريد أن تسألهما سؤالاً، لكنك قلق بشأن أمرين: مدى ذكاء الإجابة وكمية الكهرباء التي ستكلفك الحصول على هذه الإجابة.

هذه الورقة البحثية تشبه قصة بوليسية تحقق في فاتورة الطاقة الخفية لسؤال الذكاء الاصطناائي. إليك التفاصيل بتبسيط شديد:

1. المشكلة: معضلة "الكبير مقابل الصغير"

عادةً، يعتقد الناس أن الأكبر هو الأفضل. إذا كان لديك مسألة رياضية صعبة، فستوظف "العقل الكبير" (نموذج ذكاء اصطناعي ضخم) لأنه ذكي. أما إذا كان لديك سؤال بسيط مثل "كيف حال الطقس؟"، فستستخدم "العقل الصغير".

لكن هناك خدعة: العقول الكبيرة مكلفة في التغذية. فهي تستهلك الكثير من الكهرباء. أدرك المؤلفون أننا أحياناً نستخدم مطرقة ثقيلة لكسر حبة جوز، مما يهدر الطاقة بينما كانت مطرقة صغيرة ستفي بالغرض.

2. الفكرة الجديدة: "الطاقة لكل رمز" (Energy per Token)

في عالم الذكاء الاصطناعي، يتم تقسيم الكلمات إلى قطع صغيرة تسمى "رموز" (tokens). يقترح المؤلفون أن نتوقف عن مجرد النظر إلى "مدى ذكاء الإجابة؟" ونبدأ في السؤال: "كم بلغت طاقة توليد هذه الكلمة تحديداً؟"

يطلقون على هذا اسم "الطاقة لكل رمز". فكر في الأمر كفحص كفاءة استهلاك الوقود في السيارة؛ فأنت لا تريد فقط سيارة سريعة، بل تريد سيارة تصل بك إلى وجهتك دون أن تستهلك خزان وقود كامل.

3. المفاجأة: ليست كل "العقول الصغيرة" متساوية

اختبر الباحثون نماذج ذكاء اصطناعي مختلفة على نفس الأسئلة. ووجدوا أمرين مفاجئين:

البنى الهيكلية المختلفة، تكاليف مختلفة: حتى لو كان نموذجان للذكاء الاصطناعي لهما نفس الحجم (نفس عدد "الأعصاب")، فقد يكون أحدهما "سيارة هجينة موفرة للوقود" والآخر "شاحنة تلتهم الوقود". فهما يعالجان نفس الكلمات باستخدام كميات مختلفة من الطاقة.
عقوبة "الإجابة الطويلة": تولد نماذج الذكاء الاصطناعي الإجابات كلمة بكلمة. وكلما طالت الإجابة، زادت الطاقة المستهلكة، ولكن ليس بشكل خطي. الأمر يشبه الجري في ماراثون: الميل الأول سهل، ولكن بحلول الميل العشرين، يبذل جسمك جهداً أكبر بكثير في كل خطوة. استهلاك الذكاء الاصطناعي للطاقة يرتفع بشكل غير خطي كلما زاد كلامه.

4. فخ "المبالغة في التفكير" (سلسلة الأفك - Chain-of-Thought)

مؤخراً، اكتشف الناس أنه إذا طلبت من ذكاء اصطناعي صغير أن "يفكر خطوة بخطوة" (تقنية تسمى سلسلة الأفك)، فإنه يصبح أكثر ذكاءً بكثير. الأمر يشبه إخبار مساعدك الصغير: "لا تخمن فقط؛ بل اكتب منطقك أولاً".

وجد المؤلفون مقايضة هائلة:

الجيد: يصبح الذكاء الاصطناوي الصغير أكثر ذكاءً بكثير، ليقترب من ذكاء النموذج الكبير.
السيء: يصبح أغلى بمقدار 100 إلى 150 مرة من حيث استهلاك الطاقة.
الاستعارة: الأمر يشبه طلب حل مسألة رياضية من طفل. إذا سألته فقط، فقد يخمن. أما إذا قلت له "اشرح خطوات عملك" واجعله يكتب كل خطوة بالتفصيل، فسيصل إلى الإجابة الصحيحة، ولكنه سيستهلك علبة كاملة من أقلام الرصاص وساعة من الوقت. في هذه الأثناء، يمكن لـ "الذكاء الاصطناعي الكبير" (الأستاذ الرياضي) حلها فوراً بقلم رصاص واحد.

5. الحل: "شرطي المرور الذكي"

إذاً، ماذا نفعل؟ لا يمكننا التوقف عن استخدام الذكاء الاصطناعي، ولا يمكننا دائماً استخدام أكبر النماذج وأكثرها تكلفة.

يقترح المؤلفون بناء "موجه ذكي" (Smart Router) (شرطي مرور لاستفسارات الذكاء الاصطناعي). وإليك كيف يعمل:

شرطي المرور ينظر إلى السؤال:
- هل هو سؤال بسيط؟ (مثل: "ما هي عاصمة فرنسا؟") -> أرسله إلى الذكاء الاصطناعي الصغير. لا داعة لإهدار الطاقة.
- هل هو لغز منطقي معقد؟ (مثل: "حل هذه المسألة في التفاضل والتكامل.") -> أرسله إلى الذكاء الاصطناعي الكبير. فهو أسرع وأرخص من إجبار الذكاء الاصطناعي الصغير على "التفكير خطوة بخطوة".
- هل هو في منطقة وسطى محيرة؟ -> ربما استخدم الذكاء الاصطناعي الصغير مع وضع حد. قل له "فكر خطوة بخطوة"، ولكن ضع ميزانية للرموز (token budget). "فكر لثلاث خطوات فقط، ثم توقف وأعطني الإجابة". هذا يمنع الذكاء الاصطناعي الصغير من الدخول في نوبة طويلة من الكلام المهدر للطاقة.

الخلاصة الكبرى

نحن بحاجة للتوقف عن معاملة جميع أسئلة الذكاء الاصطناعي بنفس الطريقة. تماماً كما لا تقود شاحنة ضخمة للحصول على كوب من القهوة، لا ينبغي لنا استخدام استراتيجيات ذكاء اصطناعي ضخمة ومستهلكة للطاقة للمهام البسيطة.

إن مستقبل الذكاء الاصطناعي المستدام لا يقتصر فقط على بناء نماذج أكبر؛ بل يتعلق بـ توجيه السؤال الصحيح إلى النموذج الصحيح ومعرفة متى يجب إيقاف الذكاء الاصطناعي عن "المبالغة في التفكير" لتوفير طاقة كوكبنا.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء استراتيجيات حساب وقت الاختبار: الدعوة إلى اعتماد مقياس الطاقة لكل رمز (Energy-per-Token) في استدلال النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

أدى التوسع السريع للنماذج اللغوية الكبيرة (LLMs) إلى استهلاك غير مستدام للطاقة، حيث يُتوقع أن يصل طلب مراكز البيانات على الطاقة إلى 1,000 تيراواط ساعة بحلول عام 2026. وبينما يركز البحث التقليدي على كفاءة التدريب وقوانين القياس (مثل Chinchilla)، هناك فجوة حرجة في فهم كفاءة الاستدلال (Inference Efficiency)، والتي غالباً ما تستهلك طاقة أكثر من عملية التدريب في سيناريوهات الطلب المرتفع.

تعتمد الاستراتيجيات الحالية لتحسين النماذج اللغوية الصغيرة (SLMs) غالباً على تقنيات حساب وقت الاختبار (Test-Time Compute - TTC)، مثل التفكير المتسلسل (Chain-of-Thought - CoT) والتصويت بالأغلبية (Majority Voting)، لتعزيز الدقة. ومع ذلك، تفرض هذه الأساليب تكال- طاقة كبيرة وغير محددة بدقة. وتجادل الورقة بأن:

هناك نقص في المقاييس الموحدة لطاقة الاستدلال (تحديداً الطاقة لكل رمز - Energy-per-Token).
الافتراض بأن النماذج ذات أحجام المعلمات المتشابهة تمتلك كفاءة طاقة متسقة هو افتراض خاطئ؛ إذ تلعب البنية وديناميكيات الرموز دوراً حاسماً.
التطبيق العشوائي لاستراتيجيات الاستدلال على النماذج اللغوية الصغيرة قد يؤدي إلى مقايضة أسوأ بين الطاقة والدقة مقارداً بمجرد استخدام نموذج أكبر وأكثر كفاءة.

2. المنهجية

أجرى المؤلفون تجارب تجريبية لتحليل استهلاك الطاقة عبر بنيات مختلفة من النماذج اللغوية الكبيرة واستراتيجيات الاستدلال.

الأجهزة والبيئة: أُجريت التجارب على وحدة معالجة رسوميات واحدة من نوع NVIDIA L40S مع حجم دفعة (Batch Size) قدره 1 لضمان مقارنة عادلة. تم قياس الطاقة باستخدام مكتبة NVIDIA Management Library (عبر مشروع codecarbon).
النماذج التي تم تقييمها:
- LLaMA 3.2 1B (SLM): استُخدم كنموذج أساسي لاختبار استراتيجيات الاستدلال.
- LLaMA 3.2 8B: استُخدم كمعيار لنموذج أكبر.
- تم اختبار بنيات أخرى متنوعة بحجم 7B لتقييم كفاءة معالجة المدخلات.
مجموعات البيانات:
- MT-Bench: استُخدم لتقييم معالجة رموز المدخلات وزمن انتقال توليد الرمز الواحد.
- MMLU (فهم اللغة متعدد المهام الضخم): استُخدم لتقييم الدقة عبر 57 فئة (مجمعة في 8 مجالات مثل الرياضيات، الهندسة، العلوم الإنسانية).
- MATH500: استُخدم خصيصاً لتقييم التفكير المتسلسل (CoT).
المقاييس:
- الطاقة لكل رمز ( $E_{token}$ ): تُحسب كـ $W_{consumed} \times Time(s) / T_{processed}$ ، حيث تشمل $T_{processed}$ كلاً من رموز المدخلات والمخرجات.
- الدقة: تم قياسها مقابل المعايير القياسية.
الاستراتيجيات المختبرة:
- الاستدلال الصفري (Zero-Shot): الاستدلال الأساسي.
- التصويت بالأغلبية (Majority Voting - MV): توليد عدة مرشحات (حتى 16 مرشحاً) واختيار الإجابة الأكثر تكراراً.
- التفكير المتسلسل (Chain-of-Thought - CoT): التفكير خطوة بخطوة (حتى 5 خطوات، بحد أقصى 512 رمزاً).

3. المساهمات والنتائج الرئيسية

أ. منحنيات التشغيل غير الخطية للطاقة

تكشف الدراسة أن استهلاك الطاقة في النماذج اللغوية الكبيرة غير خطي بالنسبة لعدد الرموز المولدة.

معالجة المدخلات: تستهلك البنيات المختلفة كميات مختلفة من الطاقة لنفس نص المدخلات بالضبط.
توليد الرموز: مع توليد الرموز بشكل تلقائي (Autoregressively)، يتبع تكلفة الطاقة لكل رمز منحنى مميز يختلف باختلاف بنية النموذج. وهذا يسمح بملاءمة دوال بارامترية للتنبؤ بتكاليف الطاقة بناءً على عدد الرموز.
مفارقة استخدام وحدة معالجة الرسومات (GPU Utilization Paradox): لا يرتبط الاستخدام العالي لوحدة معالجة الرسومات دائماً بانخفاض الطاقة لكل رمز؛ حيث أظهرت بعض النماذج ذات الاستخدام الأقل (مثل Mistral) تكاليف طاقة أعلى لكل رمز.

ب. المقايضة بين الدقة والطاقة (RQ3)

قارن المؤلفون أداء نموذج 1B المعزز باستراتيجيات الاستدلال مقابل نموذج 8B:

التصويت بالأغلبية (MV): قدم مكاسب طفيفة في الدقة (مثلاً: +5% في الاقتصاد، +8% في الصحة) ولكنه زاد من استهلاك الطاقة بنسبة 72% إلى 177%.
التفكير المتسلسل (CoT): حسن الدقة بشكل كبير في المهام المهيكلة (مثلاً: +281% في الرياضيات، +26% في علم الاجتماع) ولكنه أدى إلى زيادة هائلة في استهلاك الطاقة تتراوح بين 120 إلى 150 ضعفاً مقارنة بالنموذج الأساسي 1B.
ميزة نموذج 8B: تفوق نموذج LLaMA 8B باستمرار على نموذج 1B المعزز بـ CoT. فقد حقق دقة أعلى (مثلاً: +350% في الرياضيات مقارنة بـ 1B) مع زيادة معتدلة جداً في الطاقة (35-65%).
الاستنتاج: بالنسبة للعديد من المهام المعقدة، يعد استخدام نموذج أكبر (8B) أكثر كفاءة في استهلاك الطاقة من إجبار نموذج أصغر (1B) على استخدام استراتيجيات استدلال ثقيلة.

ج. التباين حسب المهمة

تعتمد فعالية استراتيجيات الاستدराण بشكل كبير على مجال المهمة:

الاستدلال المهيكل (الرياضيات، الهندسة): يوفر CoT مكاسب عالية في الدقة، لكن تكلفة الطاقة تكون باهظة مقارنة باستخدام نموذج أكبر.
المعرفة العامة (العلوم الإنسانية، الاقتصاد): يقدم CoX تحسينات ضئيلة في الدقة (أقل من 5%) بينما يتسبب في عقوبات طاقة هائلة.

4. الحل المقترح: التوجيه المدرك للطاقة (Energy-Aware Routing)

لمعالجة هذه النتائج، يقترح المؤلفون بنية توجيه الاستعلام الديناميكي (الشكل 5) التي توازن بين الدقة والاستدامة:

مُقدر الأداء (Performance Estimator): يتنبأ بالدقة المتوقعة لمختلف النماذج/الاستراتيجيات بناءً على سمات الاستعلام.
مُقدر الطاقة (Energy Estimator): يستخدم البيانات التاريخية ومنحنيات التشغيل غير الخطية المستمدة لتقدير تكاليف الطاقة.
منطق التوجيه (Routing Logic):
- الاستعلامات البسيطة: يتم توجيهها إلى أصغر نموذج (1B) بدون استراتيجيات استدلال.
- الاستدلال المعقد (الرياضيات/الهندسة): يتم توجيهه إلى النموذج الأكبر (8B) بدلاً من تطبيق CoT على النموذج الصغير، لأن 8B يوفر نسبة أفضل بين الطاقة والدقة.
- الاستدلال المنضبط (Controlled Reasoning): إذا كان من الضروري استخدام CoT، يستخدم النظام ميزانيات الرموز (Token Budgets) ومنحنيات التشغيل للحد ديناميكياً من عمق الاستدلال، والتوقف عن التوليد عندما تبدأ العوائد المتناقصة (أي عندما تضيف الرموز الإضافية القليل من الدقة ولكن تكلفة عالية من الطاقة).

5. الأهمية

تحول في النموذج الفكري (Paradigm Shift): تتحدى الورقة الاتجاه السائد المتمثل في "زيادة حساب وقت الاختبار" (استخدام CoT على النماذج الصغيرة) كطريق رئيسي للذكاء. وتدعو بدلاً من ذلك إلى زيادة حجم النموذج حيثما كان ذلك فعالاً من حيث استهلاك الطاقة.
مقياس جديد: تدعو الورقة إلى اعتماد "الطاقة لكل رمز" (Energy-per-Token) كمعيار قياسي بجانب الدقة، مما ينقل أبحاث الذكاء الاصطناعي نحو الاستدامة الفيزيائية.
النشر العملي: توفر آلية التوجيه المقترحة مخططاً لأنظمة ذكاء اصطناعي مستدامة تختار ديناميكياً النموذج الأمثل وعمق الاستدلال بناءً على القيود في الوقت الفعلي (زمن الاستجابة، كثافة الكربون، حمل الخادم)، مما يمنع "مفارقة جيفونز" (Jevons Paradox) حيث تؤدي مكاسب الكفاءة إلى زيادة إجمالي الاستهلاك.