🤖 AI

Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses

Este estudo piloto qualitativo demonstra que modelos de IA agêntica exibem assinaturas distintas e específicas de canal em suas log-probabilidades ao encontrar respostas de ferramentas inconsistentes versus incompletas, revelando que a robustez a esses diferentes tipos de falha é assimétrica e requer mecanismos de detecção personalizados em vez de uma abordagem universal.

Autores originais: Jiachen Xu, Torben Bach Pedersen, Zhongming Yao, Xiaoyu Zhang, Yushuai Li

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiachen Xu, Torben Bach Pedersen, Zhongming Yao, Xiaoyu Zhang, Yushuai Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, um novo tipo de trabalhador digital surgiu: o agente de linguagem. Diferente dos programas anteriores que simplesmente respondiam perguntas baseadas em um banco de dados estático, esses agentes são projetados para agir. Eles podem navegar na web, consultar bancos de dados e usar ferramentas de software para resolver problemas complexos, de forma muito semelhante a um assistente humano que pega o telefone para fazer uma reserva ou verifica uma planilha para conferir o estoque. No entanto, esses trabalhadores digitais não são infalíveis. Quando eles recorrem a uma ferramenta, esperam uma resposta limpa e precisa. No mundo real, as ferramentas às vezes falham, retornando mensagens de erro, ou retornam dados que parecem perfeitos na superfície, mas contêm uma mentira sutil. O desafio central para os pesquisadores não é apenas construir agentes que funcionem quando tudo corre bem, mas construir aqueles que possam reconhecer quando algo deu errado e responder adequadamente. Se um agente não consegue distinguir entre uma ferramenta quebrada e uma ferramenta enganosa, ele aplicará a correção errada, potencialmente perdendo tempo ou piorando a situação.

Uma equipe de pesquisadores da Universidade de Aalborg e da Universidade de Zhejiang propôs-se a investigar exatamente este momento de decisão. Eles queriam saber se uma inteligência artificial poderia distinguir instantaneamente entre uma ferramenta que falhou ao retornar qualquer dado e uma ferramenta que retornou uma resposta bem formada, porém falsa. Para testar isso, criaram um ambiente controlado simulando um cenário de atendimento ao cliente de varejo. Neste mundo digital, um agente atua como um representante de suporte, usando um conjunto de dezesseis ferramentas diferentes para consultar detalhes de pedidos, verificar métodos de pagamento e atualizar informações do usuário. Os pesquisadores pegaram uma sequência padrão e bem-sucedida de ações e, em um ponto específico, substituíram a resposta normal da ferramenta por uma resposta defeituosa. Eles criaram três tipos de falhas: uma falha completa, onde a ferramenta retornou uma mensagem de erro; um status de pedido falsificado que alterava as regras do que o agente era permitido fazer a seguir; e um identificador de pagamento falsificado que parecia correto, mas não pertencia ao cliente.

Os pesquisadores não se limitaram a observar o agente tentar concluir a tarefa e ver se ele teria sucesso. Em vez disso, eles pausaram o processo no instante em que o dado defeituoso chegou. Eles examinaram o "processo de pensamento" interno do modelo, observando especificamente a probabilidade de ele gerar a próxima palavra de sua resposta. Eles mediram duas coisas distintas. Primeiro, verificaram o quão bem os dados retornados se ajustavam ao formato esperado da própria ferramenta. Segundo, verificaram o quão bem esses dados se ajustavam a tudo o que o agente já havia visto na conversa, incluindo a solicitação original do usuário e os resultados anteriores das ferramentas. Eles também observaram o plano do agente para o próximo passo, medindo o quão confiante ele estava sobre qual ação tomar e se essa ação envolvia verificar novamente o estado do sistema ou prosseguir com uma mudança.

Os resultados revelaram uma diferença nítida e imediata na forma como o agente reagiu a esses diferentes tipos de erros. Quando a ferramenta retornou uma mensagem de erro quebrada, o agente reconheceu imediatamente que os dados não se ajustavam ao formato básico da ferramenta. Este foi um sinal claro de que a ferramenta havia falado. Consequentemente, o plano do agente mudou drasticamente; tornou-se altamente provável que ele escolhesse uma ação que consistisse em reler o estado do sistema, essencialmente decidindo tentar novamente ou verificar os fatos. Em contraste, quando a ferramenta retornou uma resposta bem formada, mas falsa, o agente não viu nenhum problema com o formato. Os dados pareciam perfeitos. No entanto, a comparação interna do agente entre os novos dados e o histórico da conversa revelou um conflito. Os dados falsos chocavam-se com o que o usuário havia declarado anteriormente ou com o que a política do sistema ditava.

Crucialmente, os pesquisadores descobriram que a reação do agente a essas respostas falsas dependia inteiramente da natureza da mentira. Quando a informação falsificada era uma simples incompatibilidade, como um ID de pagamento que não pertencia ao usuário, o plano do agente permaneceu amplamente inalterado. Ele não ficou confuso ou incerto; simplesmente aceitou os dados falsos e seguiu em frente, porque a mentira não alterava as regras fundamentais da interação. Mas quando a informação falsificada era um status de pedido que alterava as regras do que as ações permitidas eram, o comportamento do agente mudou. Ele tornou-se incerto sobre o que fazer a seguir, e seu plano mudou para refletir a nova e incorreta realidade. Isso mostrou que o agente podia distinguir entre uma ferramenta quebrada e uma ferramenta mentirosa, mas não conseguia sempre distinguir entre uma mentira inofensiva e uma consequencial que desviar o curso da tarefa.

O estudo também observou o que acontecia após o erro inicial. Os pesquisadores descobriram que o tipo de erro deixava um rastro duradouro no comportamento futuro do agente. A ferramenta quebrada fez com que o agente continuasse tentando reler o estado do sistema em etapas subsequentes, um sinal de que estava preso em um loop de verificação. O status de pedido falsificado, no entanto, levou o agente por um caminho completamente diferente, levando-o a realizar ações que alteravam o estado do sistema com base na informação falsa. O ID de pagamento falsificado, que o agente inicialmente aceitou sem problemas, continuou a ser aceito em etapas posteriores, sem qualquer sinal de que o agente tivesse percebido que fora enganado. Isso demonstrou que a capacidade do agente de reconhecer um erro não era um alarme único e universal. Em vez disso, era uma coleção de diferentes sinais. Um sinal dizia ao agente que a ferramenta estava quebrada, outro dizia que os dados eram inconsistentes com o passado e um terceiro dizia que os dados eram inconsistentes com as regras. Nenhum sinal sozinho conseguia capturar todos os tipos de erro.

Os pesquisadores concluíram que a robustez nesses agentes não se trata de ter uma métrica única que sinalize todos os dados ruins. Em vez disso, requer a leitura de múltiplos canais de informação simultaneamente. Um agente deve ser capaz de perceber quando os dados falham em corresponder à forma de uma ferramenta, quando contradizem o histórico da conversa e quando contradizem as regras do domínio. O estudo mostrou que esses diferentes tipos de erros produzem assinaturas distintas em seus cálculos internos. Uma ferramenta quebrada é imediatamente óbvia porque quebra o formato. Uma ferramenta mentirosa é mais difícil de capturar porque se ajusta ao formato, mas quebra a história. As mentiras mais perigosas são aquelas que mudam as regras do jogo, pois podem enviar o agente por um caminho completamente errado sem disparar qualquer confusão. Ao compreender essas assinaturas específicas, os desenvolvedores podem construir agentes que estejam melhor equipados para diagnosticar seus próprios erros e escolher o remédio correto, seja isso significar tentar novamente uma ferramenta, verificar um fato ou parar para pedir esclarecimentos.

Resumo Técnico: Análise de Robustez de IA Agêntica a Respostas de Ferramentas Inconsistentes e Incompletas

Definição do Problema
A robustez em agentes de linguagem que utilizam ferramentas é definida não pela evitação de retornos de ferramentas ruins, mas pela capacidade de responder apropriadamente à natureza específica da falha. O artigo postula que uma chamada de ferramenta falha (retorno incompleto) e um retorno bem formado, porém factualmente incorreto (retorno inconsistente), constituem problemas distintos que exigem remédios diferentes (ex: tentar novamente vs. realizar verificação cruzada). Métricas diagnósticas atuais, como a entropia de raciocínio passo a passo, frequentemente falham em distinguir entre essas famílias de falhas no momento em que um retorno chega, apenas indicando que "algo deu errado" sem especificar o quê. A questão central de pesquisa é se um agente consegue distinguir qualitativamente entre retornos incompletos e inconsistentes imediatamente após sua chegada e, se sim, através de quais canais observáveis no estado interno do modelo.

Metodologia
Os autores conduzem um estudo piloto qualitativo dentro do domínio de varejo do $\tau^2$ -bench, utilizando um loop estilo ReAct com 16 ferramentas. O design experimental emprega "teacher forcing" para pontuar pontos de decisão em vez de executar os agentes até a conclusão, isolando assim a reação imediata a um retorno de ferramenta.

Injeção de Falhas: O estudo injeta falhas controladas na primeira chamada de get_order_details (posição 2 ou posterior) em uma trajetória. Quatro condições são estabelecidas:
1. Limpa (C): O retorno verdadeiro.
2. Falha (F): Um retorno incompleto (string de erro) substituindo o payload.
3. Status Inconsistente ( $N_s$ ): Um payload com esquema válido onde o status do pedido é falsificado para um valor legal que contradiz a política do domínio ou a intenção do usuário.
4. Identificador Inconsistente ( $N_m$ ): Um payload com esquema válido onde um identificador de método de pagamento é falsificado para um valor bem formado que não pertence ao usuário.
Canais de Medição: Dois canais primários são lidos das log-probabilidades do modelo no ponto de decisão após a injeção:
1. Lacuna de Verossimilhança (Likelihood Gap, $G$ ): A diferença entre a surpresa da string retornada sob o contexto de toda a trajetória ( $S_1$ ) e sob o esquema da ferramenta isoladamente ( $S_0$ ). $G = S_1 - S_0$ . Isso mede o quanto o contexto da trajetória adiciona à previsibilidade do retorno.
2. Distribuição de Ações: A distribuição de probabilidade sobre as 17 ações legais (16 ferramentas + resposta). As métricas incluem a entropia desta distribuição ( $H$ ), a ação principal ( $a^\star$ ) e a massa atribuída a grupos de ações específicos, particularmente ferramentas que re-leem o estado ( $\pi(V)$ ).
Controle: Cada medição é pareada contra uma linha de base limpa para a mesma tarefa, garantindo que as diferenças ( $\Delta X$ ) sejam atribuíveis unicamente à falha injetada.

Resultos Principais
O estudo revela uma assimetria na forma como diferentes tipos de falhas se manifestam através dos canais de medição:

Canal de Verossimilhança ( $G$ ):
- Retornos Incompletos (F): São imediatamente legíveis. Eles são improváveis sob o esquema da ferramenta isoladamente ( $S_0$ ), causando um deslocamento positivo agudo em $\Delta S_0$ . Isso os coloca em uma região do espaço de características na qual nenhuma outra condição entra.
- Retornos Inconsistentes ( $N_s, N_m$ ): Estes deixam o canal de esquema ( $S_0$ ) intacto. Eles só registram no gap ( $G$ ) se o valor injetado colidir com um token já presente verbatim no prefixo (ex: $N_m$ onde o ID real foi explicitamente declarado). Se a contradição exigir raciocínio através da política de domínio (ex: $N_s$ onde o usuário descreveu o estado em prosa), o gap permanece plano.
Canal de Distribuição de Ações:
- Retornos Incompletos (F): Eles consistentemente deslocam a massa de probabilidade do agente para ferramentas que re-leem o estado ( $\pi(V)$ aumenta), sinalizando efetivamente a necessidade de tentar novamente ou verificar. A distribuição frequentemente se torna mais nítida e redirecionada.
- Retornos Inconsistentes: Não exibem uma direção unificada. $N_s$ (status falsificado) cria incerteza (aumentando a entropia) e desloca a ação principal para chamadas de mudança de estado, enquanto $N_m$ (identificador falsificado) deixa a distribuição amplamente inalterada.
Traço de Longo Prazo: Quando o mesmo retorno injetado é carregado através de chamadas subsequentes (onde os bytes do payload são idênticos entre os braços, mas o contexto difere), a assimetria persiste. A lacuna de verossimilhança ( $G$ ) permanece elevada apenas para o retorno falho (F), enquanto os retornos inconsistentes ( $N_s, N_m$ ) não mostram tal sinal. No entanto, a ação principal para o status falsificado ( $N_s$ ) diverge da linha de base limpa em direção a ferramentas de mudança de estado, ao passo que a chamada falha (F) continua a direcionar o agente para a re-leitura do estado.

Principais Contribuições

Distinção Qualitativa de Famílias de Falhas: O artigo demonstra que retornos incompletos e inconsistentes são legíveis no momento da chegada, mas requerem canais diagnósticos diferentes. Nenhuma quantidade única captura todos os tipos de falhas.
Assinaturas Específicas de Canal: Estabelece que a verossimilhança do nível de esquema ( $S_0$ ) é o detector primário para incompletude, enquanto a verossimilhança ao nível da trajetória ( $S_1$ ) e os deslocamentos na distribuição de ações são necessários para detectar tipos específicos de inconsistência.
Distribuição de Ações como um Proxy de Política: O estudo mostra que a distribuição de ações ordena as falhas pelo seu impacto na próxima ação (ex: se o erro necessita re-ler o estado ou mudar o estado) em vez de pela própria família da falha.
Estrutura Metodológica: Propõe uma metodologia de pontuação pareada com teacher forcing que isola a resposta imediata do modelo dos efeitos cumulativos do desvio do agente, permitindo a atribuição precisa de sinais ao contexto injetado.

Significância e Alegações
O artigo alega que a robustez depende da capacidade do agente de distinguir tipos de falhas imediatamente, mas que as métricas de curva única atuais (como a entropia geral) são insuficientes para isso. Os achados sugerem que "o reconhecimento é assimétrico": cada condição é legível em algum canal, mas nenhum canal único é legível para todas as condições.

Os autores enquadram modestamente este trabalho como um estudo piloto. Eles reconhecem limitações, incluindo o uso de um único domínio, um único modelo e ruído baseado em templates (não adversarial). Eles não alegam ter resolvido o problema da robustez, mas sim mapeado os "pontos cegos" das abordas diagnósticas atuais. O estudo conclui que separar o "meramente contraditório" do "consequencial" requer uma quantidade que considere conjuntamente a observação e a política, uma lacuna que seus canais atuais não preenchem totalmente. O trabalho serve como um passo fundamental para entender como os agentes processam o feedback ruidoso de ferramentas, sugerindo que futuros mecanismos de robustez devem monitorar múltiplos canais distintos simultaneamente para aplicar o remédio correto.

Mais como este