ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
本論文は、実現可能で、クーポンを最適化し、かつ互換性のある製品の組み合わせを検証するという課題に対処するために、意味論的な評価と決定論的な検証を組み合わせることで、予算制約のある複雑なバスケット・ショッピング・タスクにおけるLLMエージェントを評価するように設計された新しいベンチマークであるComboShoppingBenchを紹介する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに食料品を買い出しに行く方法を教えている場面を想像してみてください。初期の頃なら、「特定のブランドの牛乳を見つけて」と頼んでいたことでしょう。それは単純なタスクです。「見て、見つけ、掴む」だけですから。しかし、現実の世界はそれほど単純ではありません。多くの場合、メインディッシュ、それに完璧に合うサイドメニュー、そして相性の良い飲み物といった、一つの「コンボ」料理を作る必要があります。しかも、特定の予算内で、互いに打ち消し合ってしまう可能性のある紛らわしいクーポンを使いこなしながら、です。これが「LLMエージェント」（デジタルアシスタントとして機能する大規模言語モデル）の世界です。これらは、あなたのリクエストを読み取り、何百万もの商品を検索し、購入を試みることができるスマートなコンピュータプログラムです。科学者たちが問いかけている大きな疑問は、これらのデジタル買い物客が、混乱したり、予算オーバーになったり、あるいは互いに適合しないものを買ったりすることなく、複雑で面倒な「買い物カゴ作り」の現実を本当にこなせるのか、という点です。
そこで登場したのが、JD.comの研究者たちによって設計された、AIの買い物上手さをテストするための新しい「試験」、ComboShoppingBenchです。このベンチマークを、単なる簡単なクイズではなく、高リスクの障害物競走と考えてください。研究者たちは、実在の商品、クーポン、そして厳格なルールで満たされたシミュレーション世界を作り上げました。彼らはAIに単にいくつかのアイテムを選ばせたのではありません。「小さなケースに収まるゲーミングPCを組み立てる」や「飲み物が食べ物と同じ店から届くように、5人分のグループメニューを注文する」といった複雑なミッションを与えたのです。問題は、AIがすべてのアイテムが互いに適合するように（例えば、コンピュータのパーツ同士が適合するかどうかを確認するように）し、できる限り節約するためにクーポンを最も賢く使い、かつ厳しい予算内に収めなければならないという点です。それはまるで、ロボットにマスターシェフ、予算会計士、そしてクーポン収集の魔術師としての役割を同時にこなすよう求めるようなものです。
この試験の結果は、テック業界にとって一種の現実を突きつけるものでした。研究者たちは、現在利用可能な最も強力なモデルを含む11種類ものAIエージェントをテストしました。その中でも「優等生」である、思考モードをオンにしたGPT-5.5というモデルでさえ、フルテストに合格したのはわずか**61.2%**でした。つまり、10回中4回近くは失敗していることを意味します。この論文は、これらのAIは個々の商品を見つけることは得意になりつつあるものの、「コンボ」の部分については依然として苦戦していることを示唆しています。彼らは製品間の微妙なつながり（例えば、電話本体に適合しないスマホケースを買ってしまうなど）を見落としたり、クーポンの積み重ねによる計算で躓いたりすることがよくあります。正しいアイテムを選んでいるのに最終価格を正しく計算できなかったり、見た目には良さそうに見えるが実際には結果的に高くついてしまうクーポンを選んでしまったりすることもあります。
研究者たちは、巧妙な「ソリューション・ファースト（解決策先行）」方式を用いてこのテストを構築しました。買い物リストが可能かどうかを推測するのではなく、まずコンピュータエージェントに機能するアイテムのバスケットを見つけさせました。その後、その機能するバスケットに基づいて、買い物のリクエスト、予算、およびクーポンを逆算して作成しました。これにより、テストが公平であり、かつ解けるものであることを保証しています。また、人間のような判定員（他のAIモデル）と厳格なルールチェッカーの両方を用いて、回答を採点しました。ルールチェッカーは厳格なレジ係のように振る舞い、計算が合っているか、クーポンが合法であるかを検証し、判定員は買い物リストがユーザーのリクエストに対して実際に理にかなっているかどうかをチェックしました。
研究によると、AIにとって最も困難だったのは、単一の商品を見つけることではなく、複数の制約を同時に操ることでした。「アイテムAはアイテムBに適合しなければならない」かつ「アイテムCはアイテムDと同じ店からでなければならない」かつ「合計は100ドル未満でなければならない」といった条件が重なったとき、AIはしばしばそのルールのいずれかでミスを犯しました。「思考」モードは一部のエージェントの計画性を向上させましたが、すべてを解決したわけではありません。実際、一部のモデルにおいては、深く考えすぎることが逆に計算ツールへの依存を招き、数学的なエラーを引き起こす原因となりました。この論文は、私たちは進歩しているものの、今日のショッピングエージェントは、私たちが期待するような信頼できる、すべてを知り尽くしたパーソナルショッパーにはまだ程遠い状態にあると結論付けています。彼らは、製品については博識だが、レシートをダブルチェックし、パズルのピースが本当に組み合わさるかを確認するために、依然として人間の助けを必要とする「熱心なインターン」のような存在なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。