💬 NLP

AppWorld-UL: Benchmarking Diverse Agent-User Interactions for Tool-Use

Este artigo apresenta o AppWorld-UL, um benchmark desafiador que apresenta 516 tarefas em nove aplicações simuladas que avalia a capacidade de agentes de uso de ferramentas para lidar com interações diversas e necessárias com usuários, revelando que até mesmo modelos de última geração têm dificuldades significativas com esses cenários de usuário no ciclo (user-in-the-loop).

Autores originais: Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

Publicado 2026-07-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junzhi Chen, Harsh Trivedi, Jane Pan, Michael JQ Zhang, Tejas Srinivasan, Niranjan Balasubramanian, Ashish Sabharwal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um mordomo robô superinteligente a fazer suas tarefas. Você diz a ele: "Vá comprar uma camisa para mim". No mundo da ciência da computação, isso é chamado de "uso de ferramentas" — o robô sabe como abrir um aplicativo, clicar em botões e realizar uma compra. Mas aqui está o problema: a vida real é bagunçada. E se você tiver cinco camisas no seu carrinho e o robô não souber a qual delas você se refere? E se a camisa que você quer estiver esgotada? E se o preço dobrar de repente, e você só a compraria se dissesse "sim" para essa mudança específica?

A maioria dos testes para esses robôs apenas verifica se eles conseguem seguir uma receita perfeita, passo a passo, onde nada dá errado. Mas os humanos reais são imprevisíveis. Ficamos vagos, mudamos de ideia e precisamos ser questionados antes que o robô gaste nosso dinheiro. Este artigo entra nesse canto caótico e do mundo real da pesquisa de IA para fazer uma pergunta simples, mas difícil: nossos melhores agentes de IA conseguem realmente conversar conosco quando as coisas ficam complicadas, ou eles simplesmente travam e falham quando as instruções não são perfeitas?

Os pesquisadores por trás deste estudo, liderados por Junzhi Chen e Harsh Trivedi, decidiram parar de testar robôs em dias perfeitos e imaginários e começar a testá-los em dias que parecem com a vida real. Eles construíram um novo parquinho chamado AppWorld-UL (User-in-the-Loop/Usuário no Ciclo). Pense nele como uma cidade digital simulada gigante com nove aplicativos populares como Amazon e Spotify, mas com um toque: o "usuário" (uma pessoa simulada) faz parte do jogo, e o robô tem que descobrir como pedir ajuda a ele.

A equipe não criou apenas problemas aleatórios; eles usaram um método inteligente de "perturbação". Imagine que eles pegaram uma tarefa normal, como "Devolver a camisa Nike que comprei na semana passada", e depois secretamente alteraram o mundo para torná-lo complicado.

A Armadilha do "Qual Delas?" (Subespecificação): Eles garantiram que o robô encontrasse duas camisas Nike da semana passada. Agora o robô não pode apenas adivinhar; ele tem que parar e perguntar: "Qual delas você quer devolver?"
A Armadilha do "Acabou!" (Inviabilidade): Eles fizeram o tamanho "G" da camisa desaparecer da loja. O robô não pode simplesmente falhar; ele tem que dizer ao usuário: "O tamanho G acabou. Você quer um tamanho diferente ou um reembolso?"
A Armadilha do "Espera, Isso Está Caro!" (Confirmação): Eles fizeram o preço da camisa dobrar. O robô tem que pausar e dizer: "Ei, o preço saltou! Você ainda quer comprar?"

Para garantir que o teste fosse justo, eles criaram um "usuário simulado" que age como uma pessoa real, mas segue regras estritas. Este usuário sabe as respostas para as perguntas complicadas, mas não as revelará a menos que o robô faça a pergunta correta. É como um jogo de "20 Perguntas", onde o usuário só responderá se você perguntar exatamente o que ele está pensando.

Quando colocaram os robôs de IA mais inteligentes do mundo (como Claude Opus 4.7 e GPT-5.5) nesta cidade digital caótica, os resultados foram um pouco um balde de água fria. Mesmo o melhor robô teve sucesso apenas cerca de 48,6% das vezes no conjunto total de tarefas. Quando as tarefas ficaram ainda mais difíceis, combinando duas ou três dessas situações complicadas ao mesmo tempo, a taxa de sucesso caiu para apenas 35,7%.

O estudo sugere que o problema não é que os robôs não consigam usar os aplicativos; eles são, na verdade, muito bons em clicar em botões. A verdadeira dificuldade é a conversa. Quando os pesquisadores deram aos robôs uma "folha de dicas" com todas as informações faltantes antecipadamente (para que eles não tivessem que perguntar ao usuário), a taxa de sucesso saltou para 78,1%. Isso prova que a dificuldade vem da necessidade de interagir, não da complexidade dos aplicativos em si.

O artigo também descobriu que, quando os robôs falhavam, era geralmente porque não faziam as perguntas certas. Ou eles adivinhavam a resposta (alucinação), ou faziam perguntas vagas que confundiam o usuário, ou esqueciam o que o usuário acabara de dizer. É como um robô que ouve "Eu quero a camisa vermelha", mas depois compra a azul porque esqueceu de verificar.

Em resumo, este artigo mostra que, embora nossos agentes de IA estejam ficando ótimos em realizar tarefas, eles ainda estão aprendendo a ser bons parceiros de conversa. Eles precisam aprender que, às vezes, a melhor maneira de resolver um problema não é seguir em frente apressadamente, mas sim parar, olhar para o humano e perguntar: "Espere, qual delas você quis dizer?". Até que dominem essa dança de ida e volta, eles podem estar prontos para uma simples ida ao mercado, mas não estão totalmente prontos para lidar com o caos de um dia humano real.

Resumo Técnico: AppWorld-UL

Declaração do Problema

Os benchmarks atuais para avaliar agentes de uso de ferramentas baseados em LLM focam amplamente em tarefas autônomas totalmente especificadas, onde os objetivos são claros, completos e fixos desde o início. No entanto, a resolução de tarefas digitais no mundo real é inerentemente "user-in-the-loop" (com o usuário no ciclo): usuários frequentemente fornecem instruções vagas, subespecificadas ou até mesmo inviáveis, exigindo que os agentes refinem iterativamente a intenção por meio da interação. Os benchmarks interativos existentes falham em capturar a diversidade e a complexidade dessas interações. Eles são limitados por:

Tipos de Interação Estreitos: A maioria restringe as interações a simples perguntas de esclarecimento, perdendo padrões críticos como o tratamento de inviabilidade ou a busca de aprovação para ações de alto custo.
Simulação de Usuário Desequilibrada: Trabalhos anteriores oscilam entre usuários baseados em regras rígidas (carecendo de flexibilidade) e simuladores de LLM sem restrições (introduzindo instabilidade e dificultando a atribuição de falhas).
Ambientes Pequenos: Muitos operam em ambientes limitados com poucas APIs, muitas vezes sem mudança de estado, falhando em testar o planejamento de longo horizonte em sistemas complexos e com estado (stateful).

Consequentemente, há uma falta de um ambiente de teste principado para avaliar agentes que devem combinar efetivamente o uso de ferramentas com comunicação de usuário diversa e adaptativa.

Metodologia

Os autores introduzem o AppWorld-UL, um benchmark construído sobre o framework AppWorld existente (que simula 9 aplicativos populares como Amazon e Spotify com ~475 APIs). A inovação central é uma metodologia baseada em perturbação que transforma sistematicamente tarefas autônomas bem definidas em variantes com o usuário no ciclo.

1. Transformação de Tarefas Baseada em Perturbação

Em vez de construir cenários interativos do zero, os autores modificam tarefas autônomas existentes introduzindo lacunas específicas e conhecidas na instrução ( $I$ ) ou no estado inicial ( $S_0$ ) que só podem ser resolvidas através da interação com o usuário. Isso cria uma tupla de tarefa $T = (I, S_0, E, K)$ , onde $K$ é o Conjunto de Conhecimento do Usuário — informação mantida exclusivamente pelo usuário.

As perturbações visam três tipos específicos de interação:

Subespecificação: Remover detalhes críticos (ex: "devolva a camisa que comprei na semana passada" quando existem várias camisas) para forçar o agente a consultar o usuário para esclarecimento.
Inviabilidade: Modificar o estado ou as restrições para que o objetivo original seja inalcançável (ex: o item solicitado está fora de estoque), exigindo que o agente comunique a falha e proponha alternativas.
Busca de Confirmação: Introduzir consequências de alto custo (ex: um pico de preço) a uma ação anteriormente de baixo risco, exigendo que o agente busque aprovação explícita antes de prosseguir.

Essas perturbações também são compostas para criar tarefas que exigem múltiplos tipos de interação simultaneamente.

2. Simulação de Usuário Restrita

Para abordar a instabilidade dos simuladores de usuário anteriores, o AppWorld-UL emprega um usuário baseado em LLM com restrições.

Limites de Conhecimento: O usuário simulado é instruído com um conjunto específico de pares pergunta-resposta ( $K$ ) derivado do processo de perturbação.
Resposta Controlada: O LLM do usuário é instruído a responder apenas se a pergunta do agente mapear para um par em $K$ . Se a pergunta estiver fora de $K$ , o usuário desvia ou redireciona (ex: "Por favor, decida você mesmo").
Confiabilidade: Esta abordagem garante reprodutibilidade (ao limitar o conhecimento do usuário) enquanto mantém um fluxo conversacional natural, evitando a rigidez dos sistemas baseados em regras e a imprevisibilidade dos LLMs sem restrições.

3. Avaliação Programática

O benchmark introduz a Conclusão de Objetivo de Tarefa Interativa (I-TGC) e a Conclusão de Objetivo de Cenário Interativo (I-SGC). Diferente das métricas padrão, estas incluem um teste de unidade que verifica se o agente obteve com sucesso todas as informações necessárias do usuário (ou seja, fez todas as perguntas em $K$ ). Isso permite a avaliação da qualidade da interação (recall das informações necessárias) juntamente com o sucesso da tarefa.

Principais Contribuições

Framework de Perturbação: Um método sistemático para gerar diversas tarefas com o usuário no ciclo injetando lacunas de informação específicas em tarefas autônomas, permitindo controle preciso sobre os requisitos de interação.
Benchmark AppWorld-UL: Um conjunto de dados de 516 tarefas desafiadoras em 9 aplicações, compreendendo:
- 306 tarefas que exigem exatamente um tipo de interação (subespecificação, inviabilidade ou confirmação).
- 210 tarefas composicionais que exigem combinações de dois ou três tipos de interação.
Simulador de Usuário Restrito: Um mecanismo de simulação robusto que equilibra flexibilidade e confiabilidade de avaliação ao definir estritamente os limites de conhecimento do usuário.
Evidência Empírica: Demonstração de que a interação correta com o usuário é um motor primário de dificuldade e sucesso da tarefa, distinto da complexidade do ambiente.

Resultados Experimentais

Os autores avaliaram agentes de última geração (Agentes de Código e Agentes de Chamada de Função) usando vários LLMs de fronteira (incluindo Claude Opus 4.7, GPT-5.5, Qwen 3.7 Max e outros).

Desempenho Geral: Mesmo o sistema de melhor desempenho (Agente de Código com Claude Opus 4.7) alcançou apenas 48,6% de I-TGC e 30,2% de I-SGC no benchmark geral.
Dificuldade Composicional: O desempenho caiu significativamente em tarefas composicionais, com o melhor sistema alcançando apenas 35,7% de I-TGC e 21,3% de I-SGC.
Correlação de Interação: Existe uma forte correlação entre qualidade de interação e sucesso da tarefa. Agentes bem-sucedidos alcançaram ~100% de recall e 80-91% de precisão ao fazer as perguntas exigidas, enquanto agentes que falharam mostraram métricas drasticamente menores (37-40% de recall).
Estudo de Ablação:
- Conhecimento Oculto: Quando o usuário simulado se recusou a fornecer qualquer informação, o desempenho despencou (TGC: 12,8%), confirmando que os agentes não podem resolver essas tarefas apenas através de raciocínio ambiental.
- Conhecimento Oracle: Quando todo o conhecimento do usuário ( $K$ ) foi fornecido antecipadamente no prompt, o desempenho melhorou significativamente (TGC: 78,1%), indicando que o próprio requisito de interação responde pela maior parte da dificuldade. No entanto, o desempenho permaneceu inferior ao das tarefas autônomas originais, sugerindo desafios adicionais na integração de informações fragmentadas.

Significância

O AppWorld-UL fornece um ambiente de teste principado para avançar a pesquisa em agentes de uso de ferramentas com o usuário no ciclo. O artigo afirma que os modelos atuais lutam substancialmente com as nuances da interação no mundo real, como reconhecer a subespecificação, lidar com a inviabilidade e buscar aprovação. Ao isolar os requisitos de interação da complexidade ambiental, o benchmark revela que a capacidade de se comunicar efetivamente com os usuários é um gargalo crítico para a implantação de agentes. O trabalho visa apoiar o desenvolvimento de agentes que não sejam apenas capazes de usar ferramentas, mas que também se comportem como parceiros colaborativos que podem consultar, confirmar e adaptar-se à intenção do usuário em ambientes digitais realistas e com estado (stateful).