ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
Dieses Paper stellt ComboShoppingBench vor, einen neuartigen Benchmark, der darauf ausgelegt ist, LLM-Agenten bei komplexen, budgetbeschränkten Warenkorb-Einkaufstasks zu evaluieren, indem er semantische Bewertung mit deterministischer Validierung kombiniert, um die Herausforderungen bei der Verifizierung machbarer, coupon-optimierter und kompatibler Produktkombinationen zu bewältigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter das Lebensmitteleinkaufen bei. In der Anfangszeit hätten Sie den Roboter vielleicht gebeten, „eine bestimmte Marke Milch“ zu finden. Das ist eine einfache Aufgabe: suchen, finden, greifen. Aber das echte Leben ist selten so einfach. Oft muss man ein ganzes „Kombi“-Menü zusammenstellen: ein Hauptgericht, eine passende Beilage, ein Getränk, das gut dazu passt – und das alles, während man unter einem bestimmten Budget bleibt und einen Stapel verwirrender Gutscheine nutzt, die sich unter Umständen gegenseitig aufheben könnten. Dies ist die Welt der LLM-Agenten (Large Language Models, die als digitale Assistenten fungieren). Dies sind intelligente Computerprogramme, die Ihre Anfrage lesen, durch Millionen von Produkten suchen und versuchen, einen Kauf zu tätigen. Die große Frage, die sich Wissenschaftler stellen, lautet: Können diese digitalen Einkäufer tatsächlich mit der chaotischen, komplizierten Realität eines vollständigen Einkaufskorbs umgehen, ohne verwirrt zu werden, zu viel auszugeben oder Dinge zu kaufen, die nicht zusammenpassen?
Hier kommt ComboShoppingBench ins Spiel, ein neuer „Prüfungstest“, der von Forschern bei JD.com entwickelt wurde, um zu testen, wie gut diese KI-Einkäufer wirklich sind. Betrachten Sie diesen Benchmark nicht als einen einfachen Quiz, sondern als einen Hindernislauf mit hohem Einsatz. Die Forscher erschufen eine simulierte Welt voller echter Produkte, Gutscheine und strenger Regeln. Sie baten die KI nicht nur, ein paar Artikel auszuwählen; sie gaben ihr komplexe Missionen wie „Baue einen Gaming-PC, der in ein kleines Gehäuse passt“ oder „Bestelle eine Gruppenmahlzeit für fünf Personen, wobei die Getränke aus demselben Geschäft wie das Essen stammen müssen“. Der Haken dabei? Die KI muss sicherstellen, dass jeder Artikel mit jedem anderen funktioniert (wie etwa sicherzustellen, dass die Computerteile zusammenpassen), die Gutscheine so intelligent wie möglich nutzt, um Geld zu sparen, und dabei ein striktes Budget einhält. Es ist, als würde man von einem Roboter verlangen, gleichzeitig ein Meisterkoch, ein Buchhalter und ein Gutschein-Profi zu sein.
Die Ergebnisse dieser Prüfung waren ein Realitätscheck für die Tech-Welt. Die Forscher testeten 11 verschiedene KI-Agenten, darunter einige der leistungsfähigsten, die derzeit verfügbar sind. Selbst der „Spitzenstudent“, ein Modell namens GPT-5.5 mit aktiviertem Denkmodus, bestand den vollständigen Test nur in etwa 61,2 % der Fälle. Das bedeutet, dass es fast vier von zehn Aufgaben nicht bestand. Die Arbeit legt nahe, dass diese KIs zwar besser darin werden, einzelne Artikel zu finden, aber immer noch Schwierigkeiten mit dem „Kombi“-Teil des Jobs haben. Sie übersehen oft die subtilen Verbindungen zwischen Produkten (wie den Kauf einer Handyhülle, die nicht zum Telefonmodell passt) oder lassen sich von der Mathematik beim Stapeln von Gutscheinen verwirren. Sie wählen vielleicht die richtigen Artikel aus, scheitern aber daran, den Endpreis korrekt zu berechnen, oder sie wählen einen Gutschein, der auf dem Papier gut aussieht, am Ende aber tatsächlich teurer ist.
Die Forscher entwickelten diesen Test mit einer cleveren „Solution-First“-Methode. Anstatt zu raten, ob eine Einkaufsliste möglich ist, ließ ein Computeragent zuerst einen funktionierenden Warenkorb finden. Dann arbeiteten sie sich rückwärts, um die Einkaufsanfrage, das Budget und die Gutscheine basierend auf diesem funktionierenden Warenkorb zu erstellen. Dies stellt sicher, dass der Test fair und lösbar ist. Sie nutzten auch eine Mischung aus menschähnlichen Richtern (andere KI-Modelle) und strengen Regelprüfern, um die Antworten zu bewerten. Die Regelprüfer fungierten wie eine strenge Kassiererin, die überprüfte, ob die Mathematik stimmte und die Gutscheine legal waren, während die Richter prüften, ob die Einkaufsliste tatsächlich der Anfrage des Nutzers entsprach.
Die Studie ergab, dass der schwierigste Teil für die KI nicht das Finden eines einzelnen Produkts war, sondern das gleichzeitige Jonglieren mehrerer Einschränkungen. Wenn eine Aufgabe erforderte, dass die KI sich daran erinnert, dass „Artikel A zu Artikel B passen muss“ und dass „Artikel C aus demseldem Geschäft wie Artikel D stammt“ und dass „die Gesamtsumme unter 100 $ liegen muss“, ließ die KI oft eine dieser Regeln fallen. Der „Denkmodus“ half einigen Agenten zwar bei der besseren Planung, konnte aber nicht alles lösen. Tatsächlich wurde das Modell für manche Agenten sogar schlechter darin, ihre Rechenwerkzeuge zu nutzen, wenn sie zu intensiv nachdachten, was zu mehr Rechenfehlern führte. Das Paper kommt zu dem Schluss, dass wir zwar Fortschritte machen, die heutigen Einkaufs-Agenten aber noch weit entfernt von den zuverlässigen, allwissenden persönlichen Einkäufern sind, die wir uns erhoffen könnten. Sie sind wie enthusiastische Praktikanten, die viel über Produkte wissen, aber dennoch einen Menschen brauchen, der den Beleg noch einmal überprüft und sicherstellt, dass die Puzzleteile tatsächlich zusammenpassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.