🤖 AI

Test-Time Compute Games

تحدد هذه الورقة عدم الكفاءة الاجتماعية في أسواق نماذج اللغات الكبيرة كخدمة (LLM-as-a-service) حيث يتم تحفيز المزودين على الإفراط في استخدام الحوسبة المكلفة أثناء وقت الاختبار، وتقترح آلية مزاد عكسي من السعر الثاني لمواءمة التسعير مع القيمة الحدية، وهو ما تم التحقق منه من خلال تجارب على عائلات نماذج مختلفة عبر معايير الرياضيات والعلوم.

المؤلفون الأصليون: Ander Artola Velasco, Dimitrios Rontogiannis, Stratis Tsirtsis, Manuel Gomez-Rodriguez

نُشر 2026-05-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ander Artola Velasco, Dimitrios Rontogiannis, Stratis Tsirtsis, Manuel Gomez-Rodriguez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة "ألعاب حساب وقت الاختبار" (Test-Time Compute Games) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: مشكلة "الإفراط في الهندسة"

تخيل أنك بحاجة إلى سيارة أجرة للذهاب إلى المطار. لديك شركتان لسيارات الأجرة: الشركة (أ) والشركة (ب).

الشركة (أ) تستغرق عادةً 10 دقائق لإيصالك.
الشركة (ب) تستغرق عادةً 12 دقيقة.

ومع ذلك، تمتلك كلتا الشركتين زرًا سريًا يمكنهما الضغط عليه يسمى "القيادة الفائقة" (Super-Drive).

إذا ضغطت الشركة (أ) على الزر، فستستغرق 11 دقيقة ولكنها ستفرض عليك ضعف الأجرة.
إذا ضغطت الشركة (ب) على الزر، فستستغرق 11 دقيقة ولكنها ستفرض عليك ثلاثة أضعاف الأجرة.

في العالم الطبيعي، ستختار الشركة (أ) للرحلة العادية التي تستغرق 10 دقائق لأنها أرخص وأسرع. ولكن هنا تكمن الخدعة: شركات سيارات الأجرة تتقاضى أجرها بناءً على كمية الوقود الذي تحرقه، وليس فقط بناءً على سرعة إيصالك.

بسبب هذا، تفكر الشركة (أ): "إذا ضغطت على 'القيادة الفائقة' واستغرقت 11 دقيقة، يمكنني أن أفرض عليك ضعف الأجرة. رغم أنك لم توفر سوى دقيقة واحدة مقارنة بسرعتي القديمة، إلا أنني سأجني مالاً أكثر. لذا، سأضغط على الزر دائماً."

النتيجة: ينتهي بك الأمر بدفع ضعف الأجرة مقابل رحلة لا تكاد تكون أسرع، وتقوم الشركة بحرق وقود إضافي دون أي فائدة حقيقية. هذا ما تسميه الورقة البحثية "حساب وقت الاختبار" (Test-Time Compute - TTC). في عالم الذكاء الاصطناعي، "الوقود" هو قوة الحوسبة، و"القيادة الفائقة" هي جعل الذكاء الاصطناعي يفكر لفترة أطول أو يجرب إجابات عديدة مختلفة قبل إعطائك إجابة واحدة.

المشكلة: لماذا السوق معطل؟

يجادل المؤلفون بأن الطريقة الحالية لشراء خدمات الذكاء الاصطناعي هي طريقة غير فعالة اجتماعياً.

حافز المزود: شركات الذكاء الاصطناعي تريد جني المال. هم يعلمون أنهم إذا جعلوا ذكاءهم الاصطناعي "يفكر بعمق أكبر" (يستخدم المزيد من الحوسبة)، فيمكنهم مطالبتك بمباله أكثر. حتى لو كان التفكير الإضافي يجعل الإجابة أفضل بنسبة 1% فقط، فقد يظلون يفعلون ذلك لأن التكلفة الإضافية عليهم منخفضة، لكن السعر الإضافي الذي يمكنهم المطالبة به مرتفع.
خسارة المستخدم: ينتهي بك الأمر بدفع ثمن "التفكير" الذي لا يساعدك كثيراً. الأمر يشبه دفع ثمن وجبة فاخرة مطبوخة ببطء بينما كان بإمكان شطيرة بسيطة أن تشبعك تماماً وبسعر أرخص بكثير.

توضح الورقة أنه في السوق الحر، ستختار شركات الذكاء الاصطناعي بطبيعتها "الإفراط في التفكير" في المشكلات لتعظيم أرباحها الخاصة، حتى لو كان ذلك يهدر الأموال والموارد للجميع.

الحل: المزاد العكسي

لإصلاح ذلك، يقترح المؤلفون طريقة جديدة لشراء خدمات الذكاء الاصطناي، تشبه المزاد العكسي (مثل عندما تريد حكومة شراء 1,000 مكتب وتطلب من الموردين تقديم أقل سعر).

إليك كيف يعمل "المزاد الذكي" الخاص بهم:

الإعداد: لديك مهمة (أنت المستخدم). تخبر منصة محايدة: "أحتاج إلى ذكاء اصطناعي لحل هذه المسألة الرياضية".
العروض: تقدم عدة شركات ذكاء اصطناعي عروضاً. يقولون:
- "يمكنني حل هذه المسألة بدقة 90%."
- "سأتقاضى 5 دولارات."
- (وهم يقررون سراً مقدار "التفكير" الذي سيقومون به للوص mencapai تلك الدقة بنسبة 90%).
الفائز: تختار المنصة الشركة التي تقدم أفضل صفقة (أعلى دقة مقابل أقل سعر).
الدفع (الجزء السحري): هذا هو الجزء الأهم. الفائز لا يحصل على المبلغ الذي طلبه.
- بدلاً من ذلك، يتم الدفع له بناءً على ثاني أفضل عرض.
- مثال: إذا قدمت الشركة (أ) عرضاً بدقة 90% مقابل 5 دولارات، وقدمت الشركة (ب) عرضاً بدقة 85% مقابل 4 دولارات، فإن الشركة (أ) تفوز. ولكن الشركة (أ) ستحصل فقط على 4 دولارات (بالإضافة إلى جزء ضئيل يمثل فرق الجودة)، وليس 5 دولارات.

لما لماذا يغير هذا كل شيء:
لأن الفائز يُدفع له بناءً على سعر المنافس، وليس سعره هو، فليس لديهم حافز للمبالغة في الأسعار أو الإفراط في الهندسة.

إذا حاولت الشركة (أ) "التفكير بعمق أكبر" للوصول إلى دقة 95%، فقد تفوز، لكنها ستظل تُدفع لها بناءً على معيار الشركة (ب) الأقل.
إذا حاولت الشركة (أ) فرض سعر 10 دولارات، فستخسر المزاد لصالح الشركة (ب).
الاستراتيجية الأفضل: الطريقة الوحيدة لكي تفوز الشركة وتحقق ربحاً هي إيجاد الطريقة الأكثر كفاءة لحل المشكلة (القدر المناسب من "التفكير") الذي يعطي أفضل قيمة. إنهم مجبرون على التوقف عن "الإفراط في التفكير" لأن ذلك يكلفهم مالاً دون مساعدتهم في الفوز بالمزاد.

النتائج: ما أظهرته التجارب

اختبر المؤلفون هذه الفكرة باستخدام نماذج ذكاء اصطناعي حقيقية (مثل Llama و Qwen) على مسائل رياضية وعلمية.

السوق الحالي مهدر للموارد: في سوق "الدفع مقابل كل رمز" (pay-per-token) الحالي، وجدوا أن النظام كان غير فعال بنسبة تصل إلى 19%. وهذا يعني أننا كنا نهدر ما يقرب من 20% من الأموال وقوة الحوسبة لأن الشركات كانت تختار "التفكير" أكثر من اللازم لمجرد جني بعض الدولارات الإضافية.
المزاد يصلح الأمر: عندما قاموا بمحاكاة المزاد الخاص بهم، انخفضت نسبة عدم الكفاءة إلى صفر. اختارت شركات الذكاء الاصطناعي تلقائياً القدر المثالي من "التفكير" لحل المشكلة بكفاءة.
من الرابح؟
- المستخدمون: يحصلون على قيمة أفضل بكثير. يدفعون أقل ويحصلون على إجابات جيدة (أو أفضل).
- المزودون: النتيجة مختلطة. قد تجني بعض الشركات مالاً أقل لأنها لا تستطيع المبالغة في الأسعار بعد الآن، ولكن شركات أخرى قد تجني مالاً أكثر لأنها تستطيع أخيراً المنافسة بنزاهة على الكفاءة بدلاً من مجرد تضخيم التكاليف.

ملخص التشبيه

النظام الحالي: يشبه مطعماً يتقاضى فيه الطاهي أجره مقابل كل مكون يقوم بتقطيعه. سوف يقوم بتقطيع البصل إلى مسحوق فقط ليتقاضى منك مالاً أكثر، رغم أنك كنت تحتاج فقط لتقطيعه إلى شرائح.
النظام المقترح: يشبه مطعماً يتقاضى فيه الطاهي سعراً ثابتاً بناءً على ما يتقاضاه المطعم المجاور مقابل طبق مشابه. أصبح الطاهي الآن مجبراً على تقطيع البصل بكفاءة. إذا قطعه ناعماً جداً، فإنه يهدر الوقت والمال لكنه لا يتقاضى مالاً إضافياً. وإذا قطعه خشناً جداً، فإنه يخسر الزبون. إنه يجد الحل الوسط المثالي.

تخلص الورقة البحثية إلى أنه من خلال تغيير قواعد اللعبة (آلية الدفع)، يمكننا منع شركات الذكاء الاصطناعي من إهدار الموارد وضمان أن "التفكير" الذي تقوم به يساعد المستخدم حقاً.

ملخص تقني: ألعاب حساب وقت الاختبار (Test-Time Compute Games)

بيان المشكلة

أدى الاعتماد السريع للنماذج اللغوية الكبيرة (LLMs) كخدمة إلى خلق سوق يدفع فيه المستخدمون لمزودي السحابة مقابل الموارد الحسابية المستهلكة أثناء الاستدلال. أحد المحركات الرئيسية لهذه التكلفة هو حساب وقت الاختبار (TTC)—وهي عمليات حسابية إضافية يتم إجراؤها أثناء الاستدلال (مثل سلسلة الأفكق/chain-of-thought، أو شجرة الأفكار/tree-of-thought، أو أخذ العينات من أفضل n/best-of-n sampling) لتعزيز أداء النموذج. وبينما يعمل حساب وقت الاختبار على تحسين جودة المخرجات، يقوم المزودون حاليًا بفرض رسوم على المستخدمين مقابل جميع الرموز (tokens) المولدة، بما في ذلك خطوات الاستدلال الوسيطة.

تحدد الورقة البحثية وجود عدم كفاءة جوهرية في السوق: لدى المزودين حافز مالي لزيادة مقدار حساب وقت الاختبار المخصص للاستعلام لتعظيم ربحهم الخاص، حتى عندما يكون الربح الهامشي في جودة المخرجات ضئيلاً أو عندما لا يتوافق الحساب الإضافي مع التوازن الأمثل اجتماعيًا بين التكلفة والجودة. وفي سوق تنافسي حيث يختار المستخدمون المزودين بناءً على القيمة (الجودة ناقص السعر)، قد يقوم المزودون بتوفير الحساب بشكل استراتيجي مفرط لتمييز أنفسهم أو الاستحواذ على حصة في السوق، مما يؤدي إلى تخصيص غير أمثل للموارد من منظور الرفاهية الاجتماعية.

المنهجية

يصيغ المؤلفون سوق "النماذج اللغوية الكبيرة كخدمة" كـ لعبة في الصورة العادية (normal-form game) تشمل $N$ من المزودين الذين يتنافسون على طلب المستخدمين.

النموذج النظري للعبة

اللاعبون: $N$ من المزودين، كل منهم يقدم نموذج لغوي كبير مدرب مسبقًا.
الاستراتيجيات: يختار كل مزود $i$ مستوى من حساب وقت الاختبار $\theta_i$ من مجموعة محدودة $\Theta$ . يحدد هذا المستوى متوسط جودة المخرجات $q_i(\theta_i)$ وتكلفة التوليد $c_i(\theta_i)$ .
التسعير: يضع المزودون أسعارًا $p_i(\theta_i)$ تتناسب مع تكلفة التوليد (بالإضافة إلى هامش الربح).
منفعة المستخدم: يستمد المستخدمون القيمة $V_i(\theta_i) = q_i(\theta_i) - p_i(\theta_i)$ .
تخصيص السوق: يوزع المستخدمون الطلب بناءً على القيمة المعروضة. وتنظر الورقة في وظيفتين لتوزيع الحصة السوقية:
1. العقلانية الكاملة: يختار المستخدمون دائمًا المزود صاحب القيمة الأعلى.
2. العقلانية المحدودة: يختار المستخدمون المزودين احتماليًا بناءً على القيمة (اختيار Logit/Softmax)، ويتحكم في ذلك معامل العقلانية $\beta$ .
منفعة المزود: تُعرف بأنها الحصة السوقية مضروبة في هامش الربح $(p_i - c_i)$ .

التحليل النظري

يحلل المؤلفون توازن ناش (Nash Equilibrium) لهذه اللعبة. ويثبتون أن اللعبة هي لعبة جهد تراتبي معممة (generalized ordinal potential game)، مما يضمن وجود توازن ناش نقي والتقارب عبر ديناميكيات الاستجابة الأفضل. كما يحددون مستويات حساب وقت الاختبار في التوازن ويوضحون أن التوازن، بشكل عام، ليس أمثل اجتماعيًا. تُستخدم ثمن الفوضى (Price of Anarchy - PoA) لقياس النسبة بين أقصى رفاهية اجتماعية ممكنة والرفاهية التي يتم تحقيقها عند التوازن.

الآلية المقترحة

لمعالجة عدم الكفاءة هذه، تقترح الورقة آلية مزاد السعر الثاني العكسي:

العملية: يقدم المستخدمون مهمة؛ ويقدم المزودون عطاءات متزامنة لزوج $(q_i, p_i)$ يمثل الجودة المقدرة والسعر.
التخصيص: يفوز المزود الذي يقدم أعلى قيمة ( $q_i - p_i$ ).
قاعدة الدفع: يتم دفع مبلغ للمزود الفائز يتم تحديده بناءً على عرض ثاني أفضل مزود، وتحديدًا $P = q_{winner} - V_{second\_best}$ .
توافق الحوافز: يثبت المؤلفون أنه تحت هذه الآلية، فإن اختيار مستوى الحساب الذي يعظم المساهمة الفردية في الرفاهية الاجتماعية ( $\theta^*_i = \arg\max_\theta (q_i(\theta) - c_i(\theta))$ ) والمزايدة بتكلفة التوليد هو استراتيجية مهيمنة. وهذا يضمن أن نتيجة المزاد تحقق أقصى رفاهية اجتماعية ممكنة (PoA = 1).

المساهمات الرئيسية

النمذجة نظرية الألعاب: تقدم الورقة "ألعاب حساب وقت الاختبار"، والتي تنمذج التفاعل الاستراتيجي بين مزودي النماذج اللغوية الكبيرة فيما يتعلق بتخصيص الحساب في سوق الخدمة.
توصيف عدم الكفاءة: تثبت الورقة رسميًا أنه في سوق الحساب القياسي، يتم تحفيز المزودين لاختيار مستويات حساب ليست مثالية اجتماعيًا، مما يؤدي إلى "ثمن فوضى" أكبر من 1.
تصميم آلية المزاد: تقترح آلية مزاد السعر الثاني العكسي حيث يزايد المزودون على الجودة والسعر. ويظهر التحليل النظري أن هذه الآلية تضمن المثالية الاجتماعية من خلال مواءمة حوافز المزود مع تعظيم الرفاهية الاجتماعية.
التحقق التجريبي: أجرى المؤلفون تجارب مكثفة باستخدام نماذج من عائلات Llama وQwen وDeepSeek-R1 عبر مجموعات بيانات (GSM8K, GPQA, AIME, TruthfulQA) للتحقق من النتائج النظرية.

النتائج التجريبية

تحاكي التجارب ديناميكيات ألعاب حساب وقت الاختبار وتقارنها بآلية المزاد المقترحة.

عدم كفاءة السوق: في لعبة السوق القياسية، وُجد أن ثمن الفوضى وصل إلى 1.19 (خسارة قدرها 19% في الرفاهية الاجتماعية) للنماذج غير الاستدلالية وحوالي 1.006 للنماذج الاستدلالية. وهذا يؤكد أن التنافس لا يؤدي طبيعيًا إلى المثالية الاجتماعية.
التقارب: لوحظ أن ديناميكيات الاستجابة الأفضل للمزودين تتقارب وتستقر ضمن عدد محدود من التكرارات (على سبيل المثال، 44 تكرارًا للنماذج غير الاستدلالية).
أداء المزاد: عند تطبيق آلية المزاد المقترحة:
- الرفاهية الاجتماعية: زادت بنسبة 25% للنماذج غير الاستدلالية و4% للنماذج الاستدلالية مقارنة بتوازن اللعبة.
- قيمة المستخدم: زادت بنسبة 29% للنماذج غير الاستدلالية و2.8% للنماذج الاستدلالية.
- منفعة المزود: تفاوتت بشكل كبير؛ ففي بعض الحالات انخفضت منفعة المزود (على سبيل المثال، -28% للنماذج غير الاستدلالية)، بينما في حالات أخرى زادت بشكل كبير (على سبيل المثال، +200% للنماذج الاستدلالية)، اعتمادًا على تنافسية السوق.

الأهمية والادعاءات

تدعي الورقة أنها الأولى التي تثبت أنه في سوق "النماذج اللغوية الكبيرة كخدمة"، يتم تحفيز المزودين لاتخاذ قرار استراتيجي بشأن مقدار حساب وقت الاختبار المستخدم، وأن هذا السلوك الاستراتيجي يؤدي إلى عدم كفاءة اجتماعية.

تكمن أهمية العمل في:

الرؤية الاقتصادية: ينقل التركيز من الأداء التقني البحت لطرق حساب وقت الاختبار (TTC) إلى آثارها الاقتصادية، مسلطًا الضوء على أن نماذج التسعير الحالية قد تشجع على الحساب المهدر.
تصميم الآليات: تقدم بديلًا ملموسًا ومؤسسًا نظريًا (المزاد العكسي للسعر الثاني) يمكنه مواءمة حوافز السوق مع الرفاهية الاجتماعية، مما يضمن تخصيص موارد الحساب بكفاءة.
الأهمية العملية: تشير النتائج إلى أنه بدون تدخل تصميم الآليات، فإن الاعتماد المتزايد على حساب وقت الاختبار المكلف قد يؤدي إلى نتائج غير مثالية لكل من المستخدمين والمجتمع، حتى في الأسواق التنافسية.

يظل المؤلفون متواضعين بشأن النشر الفوري لمزادهم، مشيرين إلى أنه يعتمد على قدرة المنصات على التحقق من جودة النموذج، وأن حوافز التبني تعتمد على كيفية تغير المنفعة بالنسبة للمزودين. وهم يضعون عملهم كخطوة نحو استكشاف هياكل سوق بديلة للذكاء الاصطناعي التوليدي تعطي الأولوية للرفاهية الاجتماعية.