ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
تقدم هذه الورقة ComboShoppingBench، وهو معيار مرجعي مبتكر مصمم لتقييم وكلاء النماذج اللغوية الكبيرة (LLMs) في مهام تسوق السلال المعقدة والمقيدة بالميزانية، وذلك من خلال الجمع بين التقييم الدلالي والتحقق الحتمي لمعالجة تحديات التحقق من مجموعات المنتجات الممكنة، والمُحسّنة باستخدام الكوبونات، والمتوافقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية الذهاب للتسوق لشراء البقالة. في الأيام الأولى، قد تطلب من الروبوت البحث عن "علامة تجارية معينة من الحليب". هذه مهمة بسيطة: ابحث، جد، ثم التقط. لكن الحياة الواقعية نادراً ما تكون بهذه البساطة. فغالباً ما تحتاج إلى بناء "وجبة كاملة": طبق رئيسي، وجانب يتناسب معه تماماً، ومشروب يتماشى معه، كل ذلك مع الالتزام بميزانية محددة واستخدام مجموعة مربكة من الكوبونات التي قد يلغي بعضها بعضاً. هذا هو عالم وكلاء النماذج اللغوية الكبيرة (LLM Agents) (النماذج اللغوية الكبيرة التي تعمل كمساعدين رقميين). هذه برامج حاسوبية ذكية يمكنها قراءة طلبك، والبحث عبر ملايين المنتجات، ومحاولة إتمام عملية الشراء. السؤال الكبير الذي يطرحه العلماء هو: هل يمكن لهؤلاء المتسوقين الرقميين التعامل حقاً مع الواقع الفوضوي والمعقد لبناء سلة تسوق كاملة دون ارتباك، أو إنفاق مبال_غ، أو شراء أشياء لا تتناسب مع بعضها البعض؟
إليك ComboShoppingBench، وهو "امتحان" جديد صممه باحثون في JD.com لاختبار مدى براعة هؤلاء المتسوقين من الذكاء الاصطناعي حقاً. لا تنظر إلى هذا المعيار كاختبار بسيط، بل كمسار عقبات عالي المخاطر. لقد أنشأ الباحثون عالماً محاكياً مليئاً بالمنتجات الحقيقية، والكوبونات، والقواعد الصارمة. لم يكتفوا بطلب اختيار بضعة عناصر من الذكاء الاصطناعي؛ بل أعطوه مهاماً معقدة مثل "ابنِ جهاز كمبيوتر للألعاب يتناسب مع صندوق صغير" أو "اطلب وجبة جماعية لخمسة أشخاص بحيث تأتي المشروبات من نفس متجر الطعام". العائق هو أن على الذكاء الاصطناعي التأكد من أن كل عنصر يعمل مع كل العناصر الأخرى (مثل التأكد من أن قطع الكمبيوتر تتوافق مع بعضها)، واستخدام الكوبونات بأذكى طريقة ممكنة لتوفير المال، والبقاء ضمن ميزانية ضيقة. الأمر يشبه مطالبة الروبوت بأن يكون طاهياً ماهراً، ومحاسباً للميزانية، وساحراً في استخدام الكوبونات في آن واحد.
كانت نتائج هذا الامتحان بمثابة "واقع صادم" لعالم التكنولوجيا. اختبر الباحثون 11 وكيلاً مختلفاً من وكلاء الذكاء الاصطناعي، بما في ذلك بعض أقوى النماذج المتاحة اليوم. حتى "الطالب المتفوق"، وهو نموذج يسمى GPT-5.5 مع تفعيل وضع التفكير الخاص به، لم يجتز الاختبار الكامل إلا بنسبة 61.2% تقريباً. وهذا يعني أنه فشل في حوالي 4 من كل 10 مهام. تشير الورقة البحثية إلى أنه بينما يتحسن هؤلاء الوكلاء في العثور على عناصر فردية، إلا أنهم لا يزالون يعانون مع جزء الـ "كومبو" (التركيبة) من المهمة. فهم غالباً ما يفتقدون الروابط الدقيقة بين المنتجات (مثل شراء غطاء هاتف لا يناسب طراز الهاتف) أو يرتبكون بسبب حسابات تراكم الكوبونات. قد يختارون العناصر الصحيحة لكنهم يفشلون في حساب السعر النهائي بشكل صحيح، أو قد يختارون كوبوناً يبدو جيداً على الورق ولكنه يكلف أكثر في النهاية.
بنى الباحثون هذا الاختبار باستخدام طريقة "الحل أولاً" الذكية. فبدلاً من التخمين عما إذا كانت قائمة التسوق ممكنة، قام وكيل حاسوبي أولاً بإيجاد سلة عاملة من العناصر. ثم عملوا بشكل عكسي لإنشاء طلب التسوق، والميزانية، والكوبونات بناءً على تلك السلة العاملة. هذا يضمن أن يكون الاختبار عادلاً وقابلاً للحل. كما استخدموا مزيجاً من الحكام البشر (نماذج ذكاء اصطناعي أخرى) ومدققي القواعد الصارمين لتقييم الإجابات. عمل مدققو القواعد مثل محاسب صارم، حيث تحققوا من صحة الحسابات وقانونية الكوبونات، بينما تحقق الحكام مما إذا كانت قائمة التسوق منطقية بالفعل لطلب المستخدم.
وجدت الدراسة أن الجزء الأصعب بالنسبة للذكاء الاصطناعي لم يكن العثود على منتج واحد؛ بل كان الموازنة بين قيود متعددة في وقت واحد. عندما تتطلب المهمة من الذكاء الاصطناعي تذكر أن "العنصر أ يجب أن يتناسب مع العنصر ب" و "العنصر ج يجب أن يكون من نفس متجر العنصر د" و "الإجمالي يجب أن يكون أقل من 100 دولار"، فإن الذكاء الاصطناعي غالباً ما يخطئ في إحدى هذه القواعد. ساعد "وضع التفكير" بعض الوكلاء على التخطيط بشكل أفضل، لكنه لم يحل كل شيء. في الواقع، بالنسبة لبعض النماذج، جعلهم التفكير الزائد يسوءون في استخدام أدوات الآلة الحاسبة الخاصة بهم، مما أدى إلى المزيد من الأخطاء الحسابية. وتخلص الورقة البحثية إلى أنه بينما نحرز تقدماً، فإن وكلاء التسوق اليوم لا يزالون بعيدين جداً عن كونهم المتسوقين الشخصيين الموثوقين والعلماء بكل شيء كما نأمل. إنهم يشبهون المتدربين المتحمسين الذين يعرفون الكثير عن المنتجات ولكنهم لا يزالون بحاجة إلى بشر لتدقيق الإيصال والتأكد من أن قطع الأحجية تتناسب مع بعضها البعض بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.