🤖 AI

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

O artigo propõe o FALAT, um framework de diagnóstico que melhora a atribuição de falhas em trajetórias de agentes de LLM ao enquadrar o problema como uma busca guiada por dependências para distinguir etapas que introduzem erros daquelas que meramente propagam erros anteriores, superando, assim, os baselines existentes na identificação de agentes responsáveis e etapas decisivas de falha.

Autores originais: Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma equipe de robôs altamente inteligentes trabalhando juntos para resolver um quebra-cabeça complexo, como escrever um software ou planejar uma viagem. Eles conversam entre si, usam ferramentas e tomam decisões em uma longa cadeia de eventos. Chamamos essa cadeia de "trajetória."

Às vezes, a equipe falha. O resultado final está errado. Mas, como a cadeia é muito longa e os robôs são tão falantes, é incrivelmente difícil descobrir quem cometeu o erro e quando ele aconteceu.

Aqui está o problema: Se o Robô A comete um erro minúsculo logo no início, o Robô B pode fazer algo que parece perfeitamente lógico baseado nesse erro. Então, o Robô C faz outra coisa que também parece lógica, mas que na verdade está errada porque foi construída sobre o erro do Robô B. Quando você chega ao fim, tudo está quebrado, mas cada etapa parecia razoável no momento. É como um jogo de "telefone sem fio" onde a mensagem é distorcida, mas todos estão convencidos de que ouviram corretamente.

A Solução: FALAT (O Framework de Detetive)

Os autores criaram uma ferramenta chamada FALAT para atuar como um detetive para essas equipes de robôs. Em vez de apenas olhar para a bagunça final e adivinhar, o FALAT usa um processo inteligente de quatro etapas para encontrar a causa raiz.

Veja como o FALAT funciona, usando analogias simples:

1. O "Roteiro Ideal" (Construindo o Espaço de Busca)

Antes de olhar para a realidade bagunçada, o FALAT escreve um "Roteiro Ideal" de como a tarefa deveria ter ocorrido. Ele conhece o objetivo, as regras e o que um bom robô deve fazer.

Analogia: Imagine um diretor de cinema que sabe exatamente como a cena do filme deveria se desenrolar. Quando os atores erram, o diretor não apenas assiste ao caos; ele compara a filmagem real com o roteiro para identificar onde os atores saíram do trilho.
Por que isso importa: Se você olhar apenas para o raciocínio dos próprios robôs, poderá ser enganado porque eles estão todos racionalizando o mesmo erro. O FALAT usa uma perspectiva externa (o roteiro) para manter a objetividade.

2. A "Lente de Zoom" (Representação Hierárquica)

O histórico do robô pode ter centenas de etapas. Ler cada palavra é lento e confuso. O FALAT dá um zoom para fora primeiro, e depois dá um zoom para dentro.

Analogia: Pense em olhar para uma floresta. Primeiro, você olha para a floresta inteira de um helicóptero para ver qual área parece doente (Alto Nível). Depois, você dá um zoom para ver qual grupo de árvores está sendo afetado (Nível Médio). Finalmente, você caminha para inspecionar as folhas específicas no chão (Baixo Nível).
Por que isso importa: Isso impede que o FALAT se perca nos detalhes. Ele estreita a busca para os "bairros" suspeitos primeiro.

3. A "Cadeia de Custódia" (Dependências Tipadas)

Esta é a parte mais importante. O FALAT não culpa apenas a última pessoa que falou. Ele rastreia as dependências (quem dependeu de quem).

Analogia: Imagine uma corrida de revezamento onde alguém deixa cair o bastão.
- A Fonte: O corredor que deixou o bastão cair.
- O Propagador: O próximo corredor que pegou o bastão e continuou correndo, mesmo estando quebrado.
- O Sintoma: O corredor na linha de chegada que cruzou a linha com atraso.
  FALAT usa rótulos especiais (como "continuação", "correção" ou "beco sem saída") para distinguir entre a pessoa que derrubou o bastão e as pessoas que apenas carregaram o bastão quebrado. Ele ignora as pessoas que estavam apenas repetindo o que já havia sido dito ou que não afetaram o resultado final.

4. O Teste "E Se?" (Verificação)

Uma vez que tem um suspeito, o FALAT não o prende imediatamente. Ele executa uma simulação.

Analogia: O detetive pergunta: "Se voltássemos no tempo e consertássemos apenas este passo, o filme inteiro sairia certo?"
- Se consertar o Passo 3 torna o resultado final perfeito, então o Passo 3 é o Passo Decisivo.
- Se consertar o Passo 3 ainda deixa o filme quebrado, então o Passo 3 não era o verdadeiro culpado; o erro aconteceu antes.

Isso funciona?

Os autores testaram o FALAT em um benchmark chamado "Who & When", que contém muitos exemplos de falhas de equipes de robôs.

O Resultado: O FALAT foi muito melhor em encontrar o passo exato onde o erro começou em comparação com outros métodos.
Os Números: Em histórias de falha complexas, criadas manualmente, o FALAT encontrou o passo correto cerca de 29% das vezes, enquanto o segundo melhor método conseguiu apenas cerca de 17%. Em histórias mais simples, geradas por computador, ele acertou 46% das vezes.
A Conclusão: Embora 29% pareça baixo, neste campo de "procurar uma agulha em um palheiro", é uma melhoria enorme. Isso prova que você não pode apenas pedir para uma IA inteligente "adivinhar" quem errou; você precisa de uma maneira estruturada de rastrear as dependências e testar cenários de "e se?".

Resumo

O FALAT é uma ferramenta de diagnóstico que para de culpar a última pessoa da corrente. Em vez disso, ele:

Sabe como as coisas deveriam funcionar.
Dá zoom em áreas suspeitas.
Rastreia o fluxo de informação para separar o erro original das suas consequências.
Testa se consertar aquele passo salvaria o dia.

Ele transforma uma falha confusa e bagunçada em uma investigação lógica.

Resumo Técnico: FALAT – Rastreamento de Falhas em Trajetórias de Agentes LLM via Busca Guiada por Dependências

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLM) resolvem tarefas complexas através de trajetórias longas que compreendem etapas de raciocínio, chamadas de ferramentas e comunicação entre agentes. Quando essas trajetórias falham, identificar a causa raiz é difícil devido ao "problema da atribuição". Erros frequentemente se propagam: um erro precoce corrompe o estado de execução, fazendo com que etapas subsequentes pareçam localmente razoáveis, embora estejam, na verdade, herdando a falha. Consequentemente, etapas posteriores podem ser incorretamente sinalizadas como a fonte da falha.

O artigo define atribuição de falha como a tarefa de identificar o agente específico ("quem") e a etapa decisiva ("quando") cuja correção recuperaria a saída final esperada ( $o^*$ ) a partir da saída incorreta observada ( $\hat{o}$ ). Uma etapa decisiva é definida como aquela onde, se corrigida (permitindo que as etapas a jusante se adaptem), o sistema produz o resultado correto. Métodos existentes, como juízes LLM de passagem única ou rastreadores baseados em aprendizado que avaliam etapas independentemente, lutam contra o viés de posição, a sensibilidade à ordem e a incapacidade de distinguir entre a origem do erro e a sua propagação.

Metodologia: Estrutura FALAT

Os autores propõem o FALAT, um framework de diagnóstico que reformula a atribuição de falhas como uma busca hierárquica guiada por dependências, em vez de uma classificação de etapas independente. O framework opera em quatro estágios:

1. Construção do Espaço de Busca

O FALAT evita depender exclusivamente do raciocínio interno falho da trajetória que falhou. Em vez disso, ele constrói:

Prior Condicionado à Tarefa ( $\pi$ ): Uma expectativa externa de como a tarefa deve ser resolvida, derivada da especificação da tarefa, papéis dos agentes, prompts de sistema e ferramentas disponíveis. Este prior é independente das etapas intermediárias da trajetória para evitar que os avaliadores sejam induzidos ao erro pela própria lógica falha do agente.
Representação Hierárquica de Trajetória ( $M$ ): A trajetória é abstraída em três níveis para permitir uma busca de grosso a fino:
- Nível Alto ( $M_{hi}$ ): Resumos globais de execução identificando estágios suspeitos.
- Nível Médio ( $M_{mid}$ ): Resumos de etapas locais detalhando agentes, ações e decisões.
- Nível Baixo ( $M_{lo}$ ): Evidências brutas de execução (saídas de ferramentas, valores concretos).
  Esta estrutura permite que o sistema primeiro identifique regiões suspeitas e, em seguida, afunile para etapas específicas.

2. Construção de Dependências Tipadas para Poda de Candidatos

Para distinguir entre etapas que originam um erro e aquelas que apenas o propagam, o FALAT constrói uma estrutura de dependência direcionada sobre as etapas candidatas usando um vocabulário de transição tipado. Os rótulos incluem:

follow_up (continuação): Progressão normal ou carregamento a jusante de um erro.
redundancy (redundância): Repetição sem novas evidências.
no_influence (sem influência): Etapas independentes da saída do candidato.
error_shift (desvio de erro): Etções que introduzem novos desvios ou transformam erros anteriores.
correction (correção): Etapas que corrigem desvios anteriores.
dead_end (beco sem saída): Etapas que levam a saídas não utilizadas.

Esses rótulos permitem que o sistema realize a poda de candidatos cujos efeitos não podem alcançar a saída final ou que são meramente sintomas de falhas anteriores, retendo apenas aqueles que poderiam ser plausivelmente a fonte.

3. Busca e Verificação Guiada por Dependência

Os candidatos restantes são classificados e verificados contra o objetivo de suficiência contrafactual. Um candidato é considerado decisivo apenas se a sua correção recuperasse $o^*$ . O processo de verificação checa três critérios:

Independência do Erro: A etapa introduz o erro ou o herda? (Rastreado via dependência reversa).
Suficiência Contrafactual: A correção desta etapa recuperaria o resultado esperado?
Precedência Temporal: Entre os candidatos válidos, a etapa mais precoce é selecionada.

4. Re-Busca Local: Verificação Adversária

Para mitigar o "ancoramento" (onde um juiz LLM racionaliza um candidato plausível, mas incorreto), o FALAT realiza uma reavaliação local. Ele extrai uma vizinhança limitada ao redor da etapa decisiva prevista e compara o candidato com seus vizinhos imediatos. O LLM atribui papéis (ROOT_CAUSE [CAUSA_RAIZ], PROPAGATION [PROPAGAÇÃO], SYMPTOM [SINTOMA], CONTRIBUTING [CONTRIBUINTE]) e reclassifica as etapas com base em argumentos comparativos e verificações contrafactuais para garantir que a etapa selecionada seja verdadeiramente decisiva.

Principais Contribuições

Reformulação da Atribuição: O artigo muda o paradigma da classificação de etapas plana para uma busca hierárquica guiada por dependências, modelando explicitamente a distinção entre a origem e a propagação do erro.
Framework FALAT: Um sistema de diagnóstico de quatro estágios que integra um prior externo condicionado à tarefa, abstração hierárquica, poda por dependência tipada e verificação contrafactual.
Validação Empírica: Avaliação abrangente no benchmark Who&When (184 execuções falhas de sistemas multi-agentes gerados por algoritmos e criados manualmente) através de três diferentes backbones de LLM.

Resultados

O FALAT foi avaliado contra baselines de atribuição especializados (CHIEF, AgentTracer) e prompting direto com LLMs autônomos.

Trajetórias Geradas por Algoritmo: O FALAT alcançou 46,0% de precisão ao nível de etapa (vs. 37,3% para o CHIEF com o mesmo backbone) e 68,0% de precisão ao nível de agente.
Trajetórias Criadas Manualmente: O FALAT alcançou 29,1% de precisão ao nível de etapa (vs. 17,0% para o CHIEF) e 73,0% de precisão ao nível de agente.
Comparação com LLMs Autônomos: O prompting direto, mesmo com modelos grandes (ex: Claude-Sonnet-4), rendeu significativamente menor precisão ao nível de etapa (18,9% em tarefas manuais), demonstrando que o escalonamento de modelos sozinho é insuficiente para uma atribuição confiável.
Estudos de Ablação: A remoção da representação hierárquica causou a maior queda de desempenho (até -10,3% de precisão ao nível de etapa), seguida pela remoção do prior externo e da tipagem de transição.

Significância e Alegações

O artigo afirma que o raciocínio consciente de dependências é essencial para o diagnóstico de falhas confiável em sistemas de agentes LLM. Os autores argumentam que tratar a atribuição de falhas como classificação de etapas independente falha porque ignora a estrutura causal das trajetórias. Ao enquadrar o problema como uma busca guiada por dependências tipadas e suficiência contrafactual, o FALAT separa efetivamente a "causa raiz" dos "sintomas".

As descobertas sugerem que procedimentos de busca estruturados fornecem benefícios significativos além do simples aumento da escala do modelo. O framework é particularmente eficaz na identificação da etapa decisiva em vez de apenas qualquer etapa onde um erro é visível, abordando uma lacuna crítica para tornar os sistemas agentes autônomos confiáveis e depuráveis. Os autores observam limitações, incluindo a dependência da confiabilidade do julgamento do LLM e potenciais dificuldades em capturar dependências de longo alcance através de limites de janela, mas mantêm que a abordagem proposta oferece uma base robusta para a atribuição de falhas.