Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

إليك ملخص تقني مفصل لورقة البحث بعنوان "Token Arena: معيار مستمر يوحد بين الطاقة والإدراك في استنتاج الذكاء الاصطنا_ي."

1. بيان المشكلة

تحدد الورقة فجوة حرجة في المشهد الحالي لتقييم النماذج اللغوية الكبيرة (LLMs). فبينما تقارن المعايضات العامة النماذج على مستوى النموذج أو المزود، تُتخذ قرارات النشر في العالم الحقيقي على مستوى النقطة الطرفية (Endpoint). وتُعرف النقطة الطرفية بأنها مجموعة محددة من (المزود، النموذج، وحدة حفظ المنتج SKU، الدقة، استراتيجية فك الترميز، المنطقة).

ويجادل المؤلفون بأن لوحات الصدارة الحالية تعاني من ثلاثة أوجه من عدم الشفافية الهيكلية:

1. هوية النقطة الطرفية: إن نفس اسم النموذج (مثل Llama 3.3 70B) الذي يتم تقديمه عبر مزودين مختلفين أو في وحدات SKU مختلفة (مثل FP8 مقابل BF16، أو Turbo مقابل Reference) يظهر اختلافات كبيرة، وغالباً غير معلنة، في السلوك والسرعة والجودة. إن التجميع على مستوى المزود يخفي هذه الاختلافات.
2. هوية عبء العمل: تفترض معايضات التسعير القياسية وجود نسبة ثابتة للمدخلات إلى المخرجات تبلغ 3:1 (وهي نموذج الدردشة التقليدي). ومع ذلك، تختلف أعباء العمل في الإنتاج بشكل هائل (على سبيل المثال، RAG بنسبة 20:1، أو الاستنتاج بنسبة 1:5). لذا، فإن نموذج التسعير بنسبة 3:1 يفشل في عكس التكلفة الحقيقية لمهام الإنتاج المتنوعة.
3. عدم وضوح الموثوقية والطاقة: تركز المقاييس الحالية على متوسط معدل الإنتاجية (Throughput) أو وقت التشغيل (Uptime)، متجاهلة "الذيل الطويل" لزمن الاستجابة (Latency) الذي يؤثر على الإنتاج. علاوة على على ذلك، لا يوجد أي معيار عام رئيسي يتتبع تكلفة الطاقة لكل إجابة صحيحة، رغم أن الطاقة أصبحت قيداً حاسماً في الصناعة.

2. المنهجية: إطار عمل Token Arena

يقدم Token Arena إطار عمل للقياس المستمر على مستوى النقطة الطرفية يوحد بين الطاقة والإدراك.

أ. وحدة التحليل: النقطة الطرفية

يعامل إطار العمل النقطة الطرفية (وليس النموذج) كوحدة أساسية للتحليل. وقد قام بقياس 78 نقطة طرفية متميزة عبر 12 عائلة من النماذج و33 مزوداً.

ب. المقاييس الأساسية والدرجات المركبة

يجمع إطار العمل خمسة عوامل أساسية في ثلاث درجات مركبة رئيسية:

1. خمسة عوامل أساسية:

   • سرعة المخرجات ($S$): الرموز (Tokens) في الثانية (بث مباشر).
   • الوقت حتى أول رمز ($T$): زمن الاستجابة (P50، P95، P99)، بما في ذلك "الوقت حتى أول رمز مرئي" لنماذج الاستنتاج.
   • السعر المختلط ($P_\pi$): تسعير مدرك لعبء العمل بناءً على نسب المدخلات:المخرجات القابلة للضبط (مثل 20:1 لـ RAG).
   • السياق الفعال: أقصى طول للسياق يحافظ على دقة $\ge$ 90% في مهام استرجاع السياق الطويل.
   • الجودة ($Q$): الأداء في مجموعة من المعايضات الحية (مثل MMLU-Pro، AIME 2025، HumanEval+) التي يتم تشغيلها مباشرة ضد النقطة الطرفية.
   • دقة النقطة الطرفية ($R$): مقياس لتشابه توزيع المخرات مع مرجع من الطرف الأول للكشف عن التكميم الصامت (Silent Quantization) أو استبدال الأوزان.

2. المركبات الرئيسية:
   يحسب إطار العمل مقييسين رئيسيين للكفاءة ومقيساً واحداً للدقة:

   • الجول لكل إجابة صحيحة (JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$ (تكلفة الطاقة لكل مهمة ناجحة).
   • الدولار لكل إجابة صحيحة (CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$ (التكلفة النقدية لكل مهمة ناجحة).
   • دقة النقطة الطرفية: درجة تعتمد على تباعد KL المتماثل بين توزيع مخرجات النقطة الطرفية وتوزيع المرجع عالي الدقة.

3. نمذجة الطاقة:
   بما أن القياس المباشر للطاقة أمر مستحيل، يتم نمذجة الطاقة باستخدام البيانات العامة: قدرة التصميم الحراري (TDP)، معدلات الاستخدام، فعالية استخدام الطاقة (PUE)، وكثافة الشبكة الإقليمية (ElectricityMaps). يميل النموذج في افتراضاته نحو استهلاك طاقة أعلى لتوفال حد أدنى متحفظ للتباين.

ج. خط أنابيب البيانات

• الاستقصاء (Probing): مجسات موزعة جغرافياً (الشرق الأوسط، وسط أوروبا، آسيا والمحيط الهادئ) تقيس زمن الاستجابة، والإنتاجية، ومعدلات الخطأ.
• التقييم: عمليات تشغيل يومية وأسبوعية لمجموعات تقييم غير ملوثة (مثل AIME 2025، LiveCodeBench) ضد جميع النقاط الطرفية.
• بصمة الإصبع (Fingerprinting): مقارنة توزيعات المخرجات مع مرجع "طرف أول" للكشف عن التكميم غير المعلن (مثل FP8 مقابل BF16).

3. المساهمات الرئيسية

1. إطار قياس: منهجية مبتكرة تحدد النقطة الطرفية كوحدة للتحليل، مع التركيز في المقاييس الرئيسية على الكفاءة (جول/$ لكل إجابة صحيحة) بدلاً من الإنتاجية الخام.
2. مستوى بيانات مستمر: نظام حي يغطي 78 نقطة طرفية، يتميز بتقسيمات تقييم دورية لمنع التلوث واكتشاف الانحراف الصامت للنماذج عبر بصمة الإصبع.
3. التحليلات التجريبية:
   • تباين النقطة الطرفية: إثبات أن نفس النموذج على نقاط طرفية مختلفة يمكن أن يختلف بمقدار 12.5 نقطة في الدقة (على AIME 2025) و6.2 ضعفاً في كفاءة الطاقة.
   • اكتشاف البصمة: تحديد التكميم غير المعلن (SKUs من نوع FP8 Turbo) بنجاح عبر تباعد توزيع المخرجات (عتبة دقة 99.5%) قبل أن يصبح تدهور الجودة واضحاً للمستخدمين.
   • إعادة الترتيب المدركة لعبء العمل: إظهار أن تغيير نسبة المدخلات:المخرات (مثلاً من Chat 3:1 إلى RAG 20:1) يغير ترتيب لوحة الصدارة بالكامل، مع تداخل بنسبة 30-40% فقط في قائمة أفضل 10 نماذج.
4. إصدار مفتوح: إصدار كامل للمخطط (Schema)، وأداة الاستقصاء/التقييم، ونماذج الطاقة، ولقطة من لوحة الصدارة الإصدار 1.0 تحت رخصة CC BY 4.0.

4. النتائج الرئيسية

• التباين على مستوى النقطة الطرفية: بالنسبة للنموذج gpt-oss-120B عبر 19 نقطة طرفية:
  • الإنتاجية: تتباين بمقدار 12 ضعفاً.
  • السعر: يتفاوت بمقدار 3.3 ضعفاً.
  • الدقة (AIME 2025): تتفاوت بمقدار 9.5 نقطة (من 41.5% إلى 51.0%).
  • كفاءة الطاقة: تتباين بمقدار 6.2 ضعفاً في الجول لكل إجابة صحيحة.
• اكتشاف التكميم: أظهرت وحدات SKU من نوع FP8/Turbo انخفاضاً في الدقة إلى ~92% مقارنة بمرجعيات BF16، وهو ما ارتبط بانخفاض قدره 5-9 نقاط في اختبارات الرياضيات والبرمجة، حتى عندما لم تظهر اختبارات "الدخان" القياسية (مثل MMLU) أي فجوة.
• حساسية عبء العمل:
  • الدردشة (3:1): تفضل النماذج ذات الأوزان المفتوحة السريعة والرخيصة.
    • الاستنتاج (1:5): ترفع من شأن النماذج المغلقة الرائدة (مثل Claude Opus, GPT-5.5) لأن دقتها العالية تفوق تكاليف الرموز المرتفعة عند حساب "التكلفة لكل إجابة صحيحة".
  • RAG (20:1): تفضل المزودين الذين يقدمون أسعار مدخلات عدوانية (مثل DeepSeek، ومزودي الخدمات الخادمة بدون خادم ذوي الخصومات).
• الاستقرار: يظهر تحليل الحساسية أن التصنيفات العليا قوية تجاه اضطرابات الأوزان ($\pm$10%)، حيث يظل رائد كل إعداد ثابتاً.

5. الأهمية

ينقل Token Arena نموذج التقييم من "هل يحل هذا النموذج المعيار؟" إلى "كيف تحول هذه النقطة الطرفية المحددة الطاقة والمال بكفاءة إلى إجابات صحيحة لعبء عمل معين؟"

• للممارسين: يوفر طريقة قائمة على البيانات لاختيار مزودي الاستنتاج بناءً على قيود الإنتاج الفعلية (ذيول زمن الاستجابة، تكاليف الطاقة، ونسب أعباء العمل المحددة) بدلاً من الادعاءات التسويقية.
• للصناعة: يسلط الضوء على "عنق زجاجة الطاقة" في الذكاء الاصطناعي، ويقدم أول إطار عام لقياس تكلفة الطاقة للذكاء.
• للشفافية: يكشف عن الممارسات "الصامتة" مثل التكميم غير المعلن أو استبدال النماذج، مما يجبر المزودين على أن يكونوا أكثر شفافية بشأن الاختلافات في وحدات SKU.

تخلص الورقة إلى أنه مع تحول استنتاج الذكاء الاصطناعي ليصبح المحرك الرئيسي للتكلفة، وأصبحت الطاقة هي القيد الحاسم، يجب أن يتطور التقييم ليصبح على مستوى النقطة الطرفية، ومدركاً لعبء العمل، وشاملاً للطاقة. ويوفر Token Arena المنهجية والبنية التحتية لتحقيق ذلك.