ComboShoppingBench: Evaluating LLM Agents for Budget-Constrained Basket Shopping with Coupons
Este artigo apresenta o ComboShoppingBench, um novo benchmark projetado para avaliar agentes de LLM em tarefas complexas de compras de cesta com restrição de orçamento, combinando avaliação semântica com validação determinística para enfrentar os desafios de verificar combinações de produtos viáveis, otimizadas por cupons e compatíveis.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está ensinando um robô a fazer compras no supermercado. Nos primórdios, você poderia pedir ao robô para encontrar "uma marca específica de leite". Essa é uma tarefa simples: procurar, encontrar, pegar. Mas a vida real raramente é tão simples. Frequentemente, você precisa montar uma "combinação" completa de refeição: um prato principal, um acompanhamento que combine perfeitamente com ele, uma bebida que harmonize bem, tudo isso mantendo-se dentro de um orçamento específico e usando uma pilha de cupons confusos que podem se anular. Este é o mundo dos Agentes de LLM (Large Language Models atuando como assistentes digitais). Estes são programas de computador inteligentes que podem ler o seu pedido, pesquisar entre milhões de produtos e tentar realizar uma compra. A grande questão que os cientistas estão fazendo é: esses compradores digitais conseguem realmente lidar com a realidade bagunçada e complicada de montar uma cesta de compras completa sem se confundirem, gastar demais ou comprar coisas que não combinam entre si?
Apresentamos o ComboShoppingBench, um novo "exame" projetado por pesquisadores da JD.com para testar o quão bons esses compradores de IA realmente são. Pense neste benchmark não como um simples questionário, mas como uma pista de obstáculos de alto risco. Os pesquisadores criaram um mundo simulado repleto de produtos reais, cupons e regras estritas. Eles não apenas pediram à IA para escolher alguns itens; eles deram a ela missões complexas como "Monte um PC gamer que caiba em um gabinete pequeno" ou "Peça uma refeção em grupo para cinco pessoas onde as bebidas venham da mesma loja que a comida". O detalhe é que a IA tem que garantir que cada item funcione com todos os outros (como garantir que as peças do computador se encaixem), usar os cupons da maneira mais inteligente possível para economizar dinheiro e manter-se dentro de um orçamento apertado. É como pedir a um robô para ser um mestre cuca, um contador de orçamento e um mago dos cupons, tudo ao mesmo tempo.
Os resultados deste exame foram um choque de realidade para o mundo da tecnologia. Os pesquisadores testaram 11 agentes de IA diferentes, incluindo alguns dos mais poderosos disponíveis hoje. Mesmo o "aluno de destaque", um modelo chamado GPT-5.5 com seu modo de pensamento ativado, passou no teste completo apenas cerca de 61,2% das vezes. Isso significa que ele falhou em quase 4 de cada 10 tarefas. O artigo sugere que, embora essas IAs estejam ficando melhores em encontrar itens individuais, elas ainda têm dificuldade com a parte da "combinação" do trabalho. Elas frequentemente perdem as conexões sutis entre produtos (como comprar uma capa de celular que não serve no modelo do telefone) ou se atrapalham com a matemática de acumular cupons. Elas podem escolher os itens certos, mas falhar ao calcular o preço final corretamente, ou podem escolher um cupom que parece bom no papel, mas que na verdade custa mais caro no final.
Os pesquisadores construíram este teste usando um método inteligente de "solução primeiro". Em vez de adivinhar se uma lista de compras é possível, eles primeiro usaram um agente de computador para encontrar uma cesta de itens funcional. Depois, trabalharam de trás para frente para criar o pedido de compra, o orçamento e os cupons baseados nessa cesta funcional. Isso garante que o teste seja justo e solucionável. Eles também usaram uma mistura de juízes humanos (outros modelos de IA) e verificadores de regras rigorosos para avaliar as respostas. Os verificadores de regras agiram como um caixa rigoroso, verificando se a matemática batia e se os cupons eram legais, enquanto os juízes verificavam se a lista de compras realmente fazia sentido para o pedido do usuário.
O estudo descobriu que a parte mais difícil para a IA não era encontrar um único produto; era equilibrar múltiplas restrições ao mesmo tempo. Quando uma tarefa exigia que a IA lembrasse que "o Item A deve caber no Item B" e que "o Item C deve ser da mesma loja que o Item D" e que "o total deve ser abaixo de US$ 100", a IA frequentemente deixava passar uma dessas regras. O modo de "pensamento" ajudou alguns agentes a planejar melhor, mas não resolveu tudo. Na verdade, para alguns modelos, pensar demais na verdade os tornou piores no uso de suas ferramentas de calculadora, levando a mais erros matemáticos. O artigo conclui que, embora estejamos progredindo, os agentes de compras de hoje ainda estão longe de serem os compradores pessoais confiáveis e oniscientes que podemos esperar. Eles são como estagiários entusiasmados que sabem muito sobre produtos, mas ainda precisam de um humano para conferir o recibo e garantir que as peças do quebra-cabeça realmente se encaixem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.