ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
Ce document introduit ComboShoppingBench, un nouveau benchmark conçu pour évaluer les agents LLM sur des tâches complexes de paniers d'achat avec contrainte budgétaire en combinant l'évaluation sémantique avec une validation déterministe afin de relever les défis de la vérification de combinaisons de produits réalisables, optimisées par coupons et compatibles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous appreniez à un robot à faire les courses. Au début, vous pourriez lui demander de trouver « une marque spécifique de lait ». C'est une tâche simple : regarder, trouver, saisir. Mais la vie réelle est rarement aussi simple. Souvent, il faut composer un repas complet : un plat principal, un accompagnement qui s'accorde parfaitement avec lui, une boisson qui se marie bien, tout en respectent un budget précis et en utilisant une pile de coupons déroutants qui pourraient s'annuler entre eux. C'est le monde des Agents LLM (les Grands Modèles de Langage agissant comme des assistants numériques). Ce sont des programmes informatiques intelligents capables de lire votre requête, de parcourir des millions de produits et de tenter d'effectuer un achat. La grande question que se posent les scientifiques est la suivante : ces acheteurs numériques peuvent-ils réellement gérer la réalité désordonnée et complexe de la constitution d'un panier complet sans s'embrouiller, dépasser le budget ou acheter des choses qui ne vont pas ensemble ?
Entrez dans ComboShoppingBench, un nouvel « examen » conçu par des chercheurs de JD.com pour tester à quel point ces acheteurs IA sont réellement performants. Considérez ce benchmark non pas comme un simple quiz, mais comme un parcours d'obstacles à enjeux élevés. Les chercheurs ont créé un monde simulé rempli de vrais produits, de coupons et de règles strictes. Ils ne se sont pas contentés de demander à l'IA de choisir quelques articles ; ils lui ont donné des missions complexes comme « Construire un PC de gaming qui rentre dans un petit boîtier » ou « Commander un repas de groupe pour cinq personnes où les boissons proviennent du même magasin que la nourriture ». Le piège ? L'IA doit s'assurer que chaque article fonctionne avec tous les autres (comme s'assurer que les composants de l'ordinateur s'assemblent bien), utiliser les coupons de la manière la plus intelligente possible pour économiser de l'argent, et respecter un budget serré. C'est comme demander à un robot d'être à la fois un grand chef, un comptable rigoureux et un magicien du découpage de coupons.
Les résultats de cet examen ont été un certain rappel à la réalité pour le monde de la technologie. Les chercheurs ont testé 11 agents IA différents, incluant certains des plus puissants disponibles aujourd'hui. Même l'« élève brillant », un modèle appelé GPT-5.5 avec son mode de réflexion activé, n'a réussi le test complet qu'environ 61,2 % du temps. Cela signifie qu'il a échoué à près de 4 tâches sur 10. L'article suggère que, bien que ces IA s'améliorent pour trouver des articles individuels, elles ont encore du mal avec la partie « combo » du travail. Elles passent souvent à côté des connexions subtiles entre les produits (comme acheter une coque de téléphone qui ne convient pas au modèle de téléphone) ou s'emmêlent les pinceaux avec le calcul des coupons cumulables. Elles peuvent choisir les bons articles mais échouer à calculer le prix final correctement, ou bien choisir un coupon qui semble avantageux sur le papier mais qui coûte plus cher au final.
Les chercheurs ont construit ce test en utilisant une méthode astucieuse de « solution d'abord ». Au lieu de deviner si une liste de courses est possible, un agent informatique a d'abord trouvé un panier d'articles fonctionnel. Ensuite, ils sont revenus en arrière pour créer la requête d'achat, le budget et les coupons basés sur ce panier fonctionnel. Cela garantit que le test est équitable et soluble. Ils ont également utilisé un mélange de juges humains (d'autres modèles d'IA) et de vérificateurs de règles stricts pour noter les réponses. Les vérificateurs de règles agissaient comme un caissier strict, vérifiant que les calculs étaient exacts et que les coupons étaient légaux, tandis que les juges vérifiaient si la liste de courses correspondait réellement à la demande de l'utilisateur.
L'étude a révélé que la partie la plus difficile pour l'IA n'était pas de trouver un produit unique, mais de jongler avec plusieurs contraintes à la fois. Lorsqu'une tâche exigeait que l'IA se souvienne que « l'article A doit s'adapter à l'article B » et que « l'article C doit provenir du même magasin que l'article D » et que « le total doit être inférieur à 100 $ », l'IA perdait souvent une de ces règles. Le mode « réflexion » a aidé certains agents à mieux planifier, mais cela n'a pas tout résolu. En fait, pour certains modèles, trop réfléchir les a rendus moins performants dans l'utilisation de leurs outils de calcul, entraînant davantage d'erreurs mathématiques. L'article conclut que, bien que nous progressions, les agents de shopping d'aujourd'hui sont encore loin d'être les acheteurs personnels fiables et omniscients que nous pourrions espérer. Ils sont comme des stagiaires enthousiastes qui connaissent beaucoup de choses sur les produits, mais qui ont encore besoin d'un humain pour vérifier le ticket de caisse et s'assurer que les pièces du puzzle s'assemblent réellement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.