Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce
تقدم هذه الورقة "بازار" (Bazaar)، وهو معيار اختبار للمزادات الديناميكية متعددة السمات يوضح أنه بينما يمكن لوكلاء النماذج اللغوية الكبيرة المتطورة إجراء معاملات في تجارة وكيلية محاكات، إلا أنهم حالياً يحققون أقل من ثلث الربح الأمثل ويظهرون مقايضات كبيرة بين اكتساب العملاء، والربحية، والقدرة على التكيف مع صدمات السوق.
تخيل عالماً لا يكون فيه مساعد التسوق الخاص بك مجرد أمين مكتبة متعاون يجد لك أفضل الصفقات، بل هو صاحب متجر صغير وذكي للغاية يدير متجره الخاص. هذا هو أفق "التجارة الوكيلة" (agentic commerce)، حيث لا يكتفي الذكاء الاصطناي بالدردشة فحسب؛ بل يتفاوض، ويحدد الأسعار، ويتنافس ضد متاجر ذكاء اصطناعي أخرى في أسواق حقيقية الوقت. لفهم كيفية عمل هؤلاء التجار الرقميين، نحتاج إلى استيعاب بعض الأفكية الرئيسية. أولاً، فكر في المزادات ليس كصراخ من أجل التحف القديمة، بل كلعبة يقدم فيها البائعون مزيجاً من الميزات (مثل هاتف بشاشة كبيرة ولكن ببطارية بطيئة) وسعر محدد. يختار المشتري العرض الذي يمنحه أكبر قدر من "السعادة" (القيمة) مقابل المال. ثانياً، الأسواق الديناميكية تشبه ساحة الرقص حيث تتغير الموسيقى فجأة؛ قد يحب العملاء ميزة ما اليوم ويكرهونها غداً، والمنافسون يعدلون خطواتهم باستمرار. السؤال الكبير الذي يطرحه العلماء هو: هل يمكن لوكيل الذكاء الاصطناعي أن يتعلم الرقص على هذه الموسية المتغيرة، ويكتشف ما يريده العميل سراً، ويفرض السعر المثالي لتحقيق الربح دون تنفيرهم؟
هذه الورقة البحثية، التي تحمل عنوان "هل يمكن لوكلاء النماذج اللغوية الكبيرة تسعير منتجاتهم بشكل تنافسي؟"، تقدم لعبة فيديو جديدة للذكباء الاصطناعي تسمى بازار (Bazaar). لقد بنى الباحثون سوقاً رقمياً حيث يواجه تاجر ذكاء اصطناعي واحد (الوكيل المحوري) ثلاثة بوتات ذكاء اصطناعي أخرى و24 عميلاً خفياً. المفاجأة؟ لدى العملاء تفضيلات سرية، وفي منتصف اللعبة، تتغير القواعد: يغير بعض العملاء فجأة ما يحبونه (مثل اتخاذ قرار بتفضيل السيارة الحمراء على الزرقاء). يتعين على الذكاء الاصطناعي ملاحظة هذا التحول، وتغيير رأيه، والاستمرار في جني المال.
النتائج هي مزيج من الانتصارات المفاجئة والإخفاقات المضحكة. وجد الباحثون أن الفوز بأكبر عدد من المزادات لا يعني تحقيق أكبر قدر من المال. في الواقع، لم يكن الذكاء الاصطناعي الذي فاز بأكبر عدد من الألعاب (Gemini 3.1 Pro) هو صاحب الجيوب الأكثر عمقاً. البطل الحقيقي للربح كان ذكاءً اصطناعياً مختلفاً (Opus 4.6)، والذي فاز بألعاب أقل ولكنه كان أفضل بكثير في "انضباط الهامش"؛ أي أنه عرف بالضبط مقدار الإضافة التي يمكن فرضها دون خسارة البيعة. إنه يشبه الفرق بين بائع متجول يبيع 100 قطعة نقانق رخيصة ويجني بضعة دولارات، وبين بائع يبيع 50 برجر فاخراً بسعر مرتفع ويجني ثروة.
كشفت الدراسة أيضاً عن سمة شخصية مثيرة للاهتمام في هذه الأنظمة من الذكاء الاصطناعي. كانت بعض النماذج "متعلمة سريعة" في البداية، حيث صعدت إلى القمة بسرعة، ولكن عندما تغيرت قواعد السوق، كانت عنيدة وبطيئة في التكيف. استمرت في محاولة بيع نفس الشيء القديم، مقتنعة بأنها على حق، حتى بعد الخسارة المتكررة. أما النماذج الأخرى، مثل Gemini، فقد كانت أبطأ قلي بالبداية ولكنها كانت مرنة بما يكفي لإدراك أن العالم قد تغير وتعديل استراتيجيتها بسرعة.
ومع ذلك، حتى أذكى ذكاء اصطناعي في الاختبار لم يكن مثالياً. فقد استحوذ أفضل وكيل على حوالي ثلث الربح الذي كان يمكنه تحقيقه لو عرف جميع أسرار العملاء منذ البداية. وهذا يشير إلى أنه بينما يصبح وكلاء الذكاء الاصطناعي هؤلاء أفضل في ممارسة الأعمال، إلا أن أمامهم طريقاً طويلاً قبل أن يتمكنوا حقاً من إتقان عالم التجارة المتغير والفوضوي. كما تشير الورقة إلى أن مجرد "التفكير بعمق أكبر" (استخدام المزيد من قوة الحوسبة) ساعد بعض أنظمة الذكاء الاصطناعي على إصلاح أخطائها، محولة إياها من خاسرين قدموا عطاءات منخفضة جداً إلى فائزين تركوا فقط القليل من المال على الطاولة، لكن ذلك لم يجعلها مثالية. في النهاية، تظهر الدراسة أنه في لعبة تسعير الذكاء الاصطناعي عالية المخاطر، فإن معرفة ماذا تبيع هي نصف المعركة فقط؛ أما معرفة كم تتقاضى فهو الخدعة السحرية الحقيقية.
ملخص تقني: "هل يمكن لوكلاء النماذج اللغوية الكبيرة (LLM) التسعير بشكل تنافسي؟ معيار للمزادات الديناميكية متعددة السمات للتجارة الوكيلية"
بيان المشكلة بينما تنتقل وكلاء النماذج اللغوية الكبيرة (LLM) من النماذج التجريبية المفاهيمية إلى البنية التحتية المنشورة في شبكات الدفع ومنصات التجزئة، تظل هناك فجوة تقييم حرجة: هل يمكن لهذه الوكلاء التسعير بكفاءة في ظروف السوق الحقيقية؟ عادةً ما تقيم المعايير الحالية معرفة المنتج أو التفاوض في حالات ثابتة، أو تدرس المزادات تحت قواعد ثابتة ومبسطة. وهي تفشل في التقاط التحديات الجوهرية للتجارة الوكيلية المنشورة: تعلم تفضيلات العملاء الخفية، وإدارة هوامش الربح في ظل وجود منافسين متكيفين، ومراجعة المعتقدات عند تغير الطلب بشكل غير متوقع. وتفترض الورقة أنه بدون اختبار منهجي في بيئات ديناميكية وغير مستقرة، يظل من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة قادرة على تعلم ما يقدره العملاء، واختيار العروض المربحة، والتكيف مع صدمات السوق.
المنهجية: إطار عمل "بازار" (Bazaar) يقدم المؤلفون Bazaar، وهو إطار تشخيصي لتقييم تجار النماذج اللغوية الكبيرة في مزادات العطاءات المغلقة الديناميكية متعددة السمات.
البيئة: يحاكي الإطار سوقاً يتكون من M من التجار و I من العملاء عبر T من الجولات العالمية. في كل جولة، يقوم كل عميل بإجراء مزاد مغلق العطاءات.
المزادات متعددة السمات: يقدم التجار عروضاً تتكون من تكوين للمنتج (متجه من K من السمات مع L من المستويات) وسعر. لدى العملاء دوال تقييم تراكمية (additive) مخفية فوق هذه التكوينات. يختار العميل العرض الذي يعظم المنفعة لديه (V(x)−p).
القيود المعلوماتية: يلاحظ التاجر (النموذج اللغوي الكبير المستهدف) فقط تغذية راجعة شحيحة: هوية الفائز، والتكوين الفائز، والسعر الفائز. لا يلاحظ التاجر تقييمات العملاء، أو تكاليف المنافسين، أو عطاءات المنافسين. التجار الخاسرون لا يتلقون أي معلومات حول فجوة المنفعة.
الصدمات الديناميكية: لاختبار التكيف، يُدخل الإطار تحولات غير معلنة في التفضيلات في منتصف اللعبة. لمجموعة فرعية من العملاء، يتم تبديل منحنيات التقييم لسمتين (على سبيل المثال، A↔B)، مما يغير التكوين الأمثل دون تغيير هيكل الطلب الأساسي. يجب على الوكيل اكتشاف هذا التحول فقط من خلال التغير في نتائج المزادات.
الخصوم: يتنافس النموذج اللغوي الكبير المستهدف ضد ثلاثة "بوتات متخصصة" (specialist bots) متكيفة وقائمة على القواعد. يمتلك كل بوت ميزة هيكلية في التكلفة في سمة واحدة محددة، ويتكيف هامش ربحه بناءً على سجل الربح والخسارة (يرفع الهوامش بعد الربح، ويخفضها بعد الخسارة).
مقاييس التقييم: ينتقل المؤلفون إلى ما هو أبعد من معدلات الفوز البسيطة إلى مجموعة تشخيصية:
إجمالي الربح: الأرباح التراكمية.
انضباط الهامش: الربح لكل فوز.
تفكيك ندم الأوراكل (Oracle Regret): الفجوة بين الربح المحقق والربح الأمثل المستقبلي (hindsight-optimal) يتم تقسيمها إلى ندم الخسارة (الجولات التي خسرها بينما كان بإمكان "الأوراكل" الفوز بها) وندم خفض السعر (الجولات التي فاز بها ولكن بسعر أقل من الهامش الأمثل).
التعافي من الصدمة: القدرة على استعادة مستويات الأداء ما قبل الصدمة بعد حدوث تحول في التفضيلات.
المساهمات الرئيسية
إطار تشخيصي للتسعير الديناميكي: يوفر Bazaar بيئة منفعة ذات صيغة مغلقة تسمح بالتقييم الدقيق رغم المنافسة الديناميكية. وهو يفصل الأداء إلى نماذج فشل متميزة: "الخاسرون" (الذين يفشلون في الفوز بمزادات مربحة) و"مخفضو السعر" (الذين يفوزون ولكن يتركون المال على الطاولة).
التقييم التجريبي للنماذج اللغوية الكبيرة الرائدة: تدرس الدراسة 11 نموذجاً رائداً من أربعة مزودين (Anthropic, Google, OpenAI, xAI) عبر مختلف إعدادات جهد التفكير.
اكتشاف أنماط الفشل والمقايضات: يكشف المعيار عن نمط "المتعلم القوي/المتكيف الضعيف"، حيث النماذج التي تتعلم بسرعة قبل الصدمة غالباً ما تعاني في مراجعة معتقداتها بعد الصماء.
التحليل القائم على الندم: من خلال تفكيك الندم، توضح الورقة أن جهد التفكير (حوسبة الاستنتاج) ينقل النماذج على طول سطح الفشل، وغالباً ما يحول "الخاسرين" إلى "مخفضي سعر" عبر إصلاح البحث في التكوين لكن مع الفشل في تحسين استخراج الهامش.
النتائج
الربح مقابل معدل الفوز: عبر 11 نموذجاً، يرتبط إجمالي الربح بقوة مع الهامش لكل فوز (r=0.99) ولكن بشكل أقل مع معدل الفوز (r=0.88). على سبيل المثال، حقق Gemini 3.1 Pro أعلى معدل فوز (77.9%) ولكنه حقق أرباحاً إجمالية أقل من Opus 4.6 (معدل فوز 67.8%) لأن Opus 4.6 استخرج هوامش أعلى بكثير (2.22مقابل1.83 لكل فوز).
تأثير جهد التفكير: يغير زيادة حوسبة الاستنتاج (ميزانية التفكير) الأداء بشكل كبير. حقق GPT-5.4 في الوضع الافتراضي (بدون تفكير ممتد) 266 دولاراً فقط (المستوى 4)، ولكن عند الجهد العالي، حقق 1,936 دولاراً (المستوى 2)، وهي زيادة قدرها 7.3 ضعف. ومع ذلك، فإن هذا التحول غالباً ما يغير نمط الفشل: قلل GPT-5.4 عالي الجهد من ندم الخسارة (الفوز أكثر) ولكنه زاد من ندم خفض السعر (التحصيل بسعر أقل من اللازم).
التكيف مع الصدمة: ظهر نمط "المتعلم القوي/المتكيف الضعيف". نماذج مثل GPT-5.3 و Opus 4.5 صعدت بسرعة في معدل الفوز قبل الصدمة ولكنها عانت من تدهور كبير بعدها (خسرت حوالي 19 نقطة مئوية). وعلى العكس من ذلك، فإن Gemini 3.1 Pro، الذي استقر مبكراً قبل الصدمة، تعافى بشكل أسرع بعد الصدمة، مما يشير إلى أن استدلاله الموجز والموجه نحو الفرضيات سمح بمراجعة أفضل للمعتقدات.
كفاءة التكلفة: كان Gemini 3.1 Pro الأكثر كفاءة من حيث التكلفة بين المتفوقين، حيث حقق ربحاً عالياً بتكلفة API أقل بـ 4.8 مرة من أعلى رابح (Opus 4.6).
خوارزميات Bandit: وضعت خوارزميات Bandit الكلاسيكية (مثل Thompson Sampling, EXP4) حداً أدنى غير تافه، حيث تفوقت على العديد من النماذج اللغوية الأساسية في الربح، رغم أن النماذج اللغوية الكبيرة المتفوقة تجاوزتها في استخراج الهامش وسرعة التكيف.
حداثة الإصدار: لم تتفوق الإصدارات الأحدث من النماذج باستمرار على الإصدارات الأقدم. فعلى سبيل المثال، تفوق Opus 4.7 على Opus 4.6 و Opus 4.5 عند الإعدادات الافتادة للمزود، كما تفوق GPT-5.3 على GPT-5.4 و GPT-5.5.
الأهمية والادعاءات تدعي الورقة أنه بينما تتقدم النماذج اللغوية الكبيرة في التجارة الوكيلية، إلا أنها تترك "مساحة كبيرة" للتحسين. أقوى وكيل تم رصده لم يحقق سوى أقل من ثلث الربح الأمثل (hindsight-optimal). ويؤكد المؤلفون أن المعايقات الثابتة غير كافية؛ فالطبيعة الديناميكية لـ Bazaar تكشف عن أنماط فشل — مثل عدم القدرة على مراجعة المعتقدات بعد تحولات السوق أو الميل لخفض السعر حتى عند الفوز — والتي كانت ستظل مخفية في التقييمات الثابتة.
يربط هذا العمل بين مجالات وكلاء النماذج اللغوية الكبيرة في المزادات، والمعايير متعددة الوكلاء، والتجارة الإلكترونية، والتسعير الخوارزمي. ويشير إلى أن "انضباط الهامش" هو المهارة المميزة للوكلاء المربحين، وأن "ميزانية التفكير" هي الرافعة الأساسية للأداء، وإن كان يجب موازنتها ضد خطر التحول من "خاسر" إلى "مخفض للسعر". ويخلص المؤلفون إلى أنه بينما تصبح النماذج اللغوية الكبيرة وكلاء اقتصاديين قادرين، فإن استراتيجيات التسعير الخاصة بها في الأسواق التنافسية وغير المستقرة تظل تحدياً مفتوحاً يتطلب مزيداً من الصقل في مراجعة المعتقدات والاستدلال الاستراتيجي.