🤖 AI

Automata from Agent Traces: Failure and Next-Step Prediction

Este artigo propõe um método para colapsar traços de execução de agentes de LLM em máquinas de estados finitos compactas e agnósticas ao modelo que capturam efetivamente a topologia comportamental compartilhada, permitindo uma predição do próximo passo superior e detecção precoce de falhas para auditoria de segurança e monitoramento em tempo de execução.

Autores originais: Seonglae Cho, Franklin Cardenoso Fernandez, Umar Mohammed, Zekun Wu, Kleyton Da Costa, Ilham Wicaksono, Adriano Koshiyama

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seonglae Cho, Franklin Cardenoso Fernandez, Umar Mohammed, Zekun Wu, Kleyton Da Costa, Ilham Wicaksono, Adriano Koshiyama

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde agentes de inteligência artificial não são mais apenas chatbots que respondem perguntas, mas trabalhadores autônomos capazes de resolver problemas complexos por conta própria. Esses funcionários digitais podem navegar na web, escrever e depurar código de computador, gerenciar consultas de atendimento ao cliente e até controlar softwares de desktop. Eles operam decompondo um grande objetivo em uma longa cadeia de passos menores, refletindo sobre cada um deles e tomando ações. No entanto, à medida que esses agentes se tornam mais capazes, eles também se tornam mais difíceis de compreender. Seus processos internos de tomada de decisão são frequentemente uma caixa preta e, quando falham, é difícil dizer se estão presos em um loop, cometendo um erro simples ou vagando por um caminho caótico que não leva a lugar nenhum. Para empresas e pesquisadores que implantam esses sistemas, essa opacidade é um grande risco de segurança. Sem um mapa claro de como esses agentes se comportam, é quase impossível detectar erros antes que eles causem danos ou prever quando um agente está prestes a falhar.

Uma equipe de pesquisadores desenvolveu uma nova maneira de mapear o comportamento desses agentes autônomos, transformando suas ações desordenadas e não estruturadas em um plano diretor claro e compacto. Em vez de tentar entender o raciocínio complexo dentro do cérebro do agente, os pesquisadores focaram no rastro externo de ações que o agente deixa para trás. Eles trataram milhares desses rastros de ação como um único conjunto de dados e fizeram uma pergunta simples: podemos encontrar uma estrutura oculta que explique como esses agentes se movem de um passo para o outro? Ao analisar a sequência de ações — como pesquisar informações, editar um arquivo ou falar com um usuário — eles descobriram que, apesar da escolha aparentemente aleatória dos agentes, seu comportamento segue um padrão surpreendentamente rígido e previsível. Os pesquisadores construíram uma máquina de estados finitos, que é essencialmente um fluxograma que captura cada caminho possível que um agente pode percorrer. Este fluxograma não é um palpite; é uma reconstrução matemática do comportamento real do agente, destilada de dados do mundo real.

A descoberta mais impressionante é o quão pequenos e eficientes são esses fluxogramas. Mesmo para agentes que realizam milhares de tarefas diferentes, os pesquisadores descobriram que seu comportamento poderia ser comprimido em um mapa com apenas um punhado de estados, variando de sete a quarenta e três etapas distintas. Isso é uma redução massiva de complexidade. Para colocar isso em perspectiva, imagine tentar descrever todo o layout de uma cidade extensa listando cada rua e edifício; os pesquisadores, em vez disso, encontraram uma maneira de descrever o fluxo de tráfego da cidade usando apenas alguns cruzamentos principais e as regras de como os carros se movem entre eles. Em seus testes, esses mapas compactos foram capazes de reproduzir as ações passadas dos agentes com um AUC de 0,997. Esse alto nível de precisão sugere que a estrutura do trabalho de um agente é determinada menos pelo modelo de linguagem específico que o alimenta e mais pelas ferramentas que ele tem permissão para usar e pelas tarefas que lhe são dadas.

Este mapa estrutural faz mais do que apenas descrever o passado; ele serve como uma ferramenta poderosa para prever o futuro. Como o mapa captura o fluxo lógico do trabalho do agente, ele pode ser usado para detectar quando um agente está saindo dos trilhos. Os pesquisadores mostraram que, ao observar um agente movendo-se através deste mapa, eles podiam prever se uma tarefa teria sucesso ou falha muito antes de a tarefa ser concluída. Em alguns casos, o sistema conseguiu identificar uma execução falha quando o agente estava apenas um quarto do caminho de seu trabalho, permitindo uma intervenção precoce. Isso é uma melhoria significativa em relação aos métodos anteriores que frequentemente esperavam até o fim para julgar o sucesso ou o fracasso. O mapa também foi melhor em prever o próximo passo que um agente daria do que outras técnicas existentes, fornecendo uma imagem mais clara do que o agente provavelmente fará a seguir com base em onde ele se encontra atualmente em seu fluxo de trabalho.

Os pesquisadores testaram seu método em doze conjuntos de dados diferentes cobrindo uma ampla gama de atividades, desde codificação e navegação na web até atendimento ao cliente e gerenciamento de desktop. Em todos os casos, o método produziu um mapa compacto e confiável que superou outras abordagens. Diferente das técnicas mais antigas que frequentemente criavam modelos excessivamente complexos com milhares de estados desnecessários, ou modelos que eram simples demais para serem úteis, esta abordagem encontrou o ponto ideal. Ela criou um modelo pequeno o suficiente para ser rápido e fácil de analisar, mas detalhado o suficiente para capturar as nuances do comportamento do agente. A construção desses mapas foi incrivelmente rápida, levando apenas milissegundos para ser construída, o que significa que eles poderiam ser usados em tempo real para monitorar agentes enquanto trabalham.

As implicações deste trabalho estendem-se além de apenas tornar os agentes mais seguros. Ao revelar que o comportamento desses sistemas complexos é governado por uma estrutura simples e subjacente, os pesquisadores forneceram uma nova maneira de auditar e compreender a inteligência artificial. Esta estrutura não depende do tipo específico de modelo de IA sendo usado; ela se mantém válida através de diferentes modelos e diferentes tipos de tarefas. Isso sugere que as restrições do ambiente e as ferramentas disponíveis para o agente são os principais impulsionadores de seu comportamento, e não a lógica interna da própria IA. Para desenvolvedores e auditores de segurança, isso oferece uma maneira prática e agnóstica ao modelo de monitorar agentes, detectar falhas precocemente e garantir que esses sistemas autônomos operem dentro de limites seguros e previsíveis. O trabalho demonstra que mesmo os comportamentos mais complexos e aparentemente caóticos dos agentes de IA modernos podem ser reduzidos a um conjunto de regras claro, compreensível e gerenciável.

Resumo Técnico: Autômatos a partir de Traços de Agentes

Definição do Problema

Agentes baseados em LLM executam tarefas complexas de múltiplas etapas intercalando o raciocínio com chamadas de ferramentas, gerando traços de execução que são frequentemente longos e não estruturados. Essa opacidade dificulta a auditoria de segurança, a depuração e o monitoramento em tempo de execução. As abordagens existentes para análise comportamental operam tipicamente em uma base por traço, dependem de filtros de sucesso ou exigem a especificação manual de fluxos de trabalho. Consequentemente, elas falham em capturar a topologia compartilhada entre execuções que vincula a predição do próximo passo com a predição de falhas. Além disso, aprender autômatos finitos apenas a partir de exemplos positivos é teoricamente impossível no limite (Gold, 1967; Angluin, 1980), e os algoritmos de aprendizado de autômatos existentes (ex: RPNI, EDSM) frequentemente produzem espaços de estados massivos e com sobreajuste (overfitting) quando exemplos negativos não estão disponíveis.

O desafio central é recuperar uma representação estrutural compacta do comportamento do agente a partir de um corpus de traços de execução usando apenas exemplos positivos, permitindo tanto a modelagem preditiva quanto o monitoramento de segurança em tempo de execução sem intervenção manual.

Metodologia

Os autores propõem uma construção determinística e livre de hiperparâmetros de uma Máquina de Estados Finitos (FSM) a partir de traços de agentes. O método aproveita a observação de que agentes de LLM operam dentro de um conjunto limitado de ferramentas e ações, resultando em alfabetos de atividades pequenos (6–42 símbolos) e uma forte regularidade sequencial.

1. Extração de Atividade

Os traços são convertidos em sequências de símbolos de um alfabeto finito $\mathcal{A}$ usando uma função de extração determinística $\phi$ . A função prioriza:

Chamadas de ferramenta: Extração do nome da função.
Tags de ação: Extração de rótulos de ação (ex: [ACTION]).
Extração de comando: Extração do primeiro token de comando de blocos de código.
Se nenhuma regra corresponder, a atividade assume o tipo de conteúdo de papel (ex: assistant:text).

2. Construção da FSM

A construção procede em três etapas (Algoritmo A.1):

Árvore de Prefixo: Todas as sequências de atividade são inseridas em uma trie. Cada prefixo único representa um estado distinto. Isso gera um ajuste (fitness) de treinamento perfeito, mas resulta em uma contagem de estados de $O(\sum T_i)$ .
Fusão de Última Atividade: Os estados são fundidos com base em uma "congruência de direita da última atividade". Dois estados $q$ e $q'$ são fundidos se a atividade na aresta que entra neles for idêntica ( $\kappa(q) = \kappa(q')$ ). Isso reduz o espaço de estados para $|\mathcal{A}| + 1$ estados (um por atividade mais o estado inicial), criando um autômato de seguimento direto determinístico.
Filtragem de Transições Raras: Transições observadas exatamente uma vez são removidas, a menos que sejam a única continuação possível de seu estado de origem. Isso filtra digressões pontuais enquanto preserva a topologia comportamental central.

3. Garantias Teóricas

Preservação de Ajuste (Fitness): O Teorema 2 prova que a operação de fusão preserva o ajuste de treinamento; qualquer traço aceito pela árvore de prefixo é aceito pela FSM fundida.
Determinismo e Compactação: O Teorema 3 estabelece que a FSM resultante é determinística com $|\mathcal{A}| + 1$ estados. A construção é uma função determinística do corpus, garantindo reprodutibilidade.
Convergência: A Proposição 5 fornece uma garantia de convergência: dados $N$ traços, o FSM extraído é igual ao autômato de seguimento direto da população com alta probabilidade, desde que as transições apareçam com uma frequência mínima.

4. Predição e Monitoramento

Predição do Próximo Passo: As probabilidades $P(a_t | q_t)$ são estimadas a partir das contagens de transição dentro dos estados da FSM, suavizadas via Laplace ou desconto absoluto.
Predição de Falha: O sistema extrai características por estado (frequência de visita, comprimento da mensagem, taxas de erro) e características de anomalia em nível de traço (entropia cruzada, surpresa). Um classificador de gradiente aumentado (gradient-boosted classifier) usa essas características para prever sucesso/falha.
Monitor de Tempo de Execução: Um monitor online reproduz os traços através da FSM, calculando métricas como "taxa de ciclo" (frequência de revisitação de estados). Ele aciona a interrupção precoce quando um traço desvia estruturalmente de padrões bem-sucedidos (ex: entrar em um loop fechado), sem exigir um modelo de ML treinado para a lógica de monitoramento em si.

Principais Resultados

O método foi avaliado em doze conjuntos de dados públicos em oito domínios de agentes (codificação, navegação web, GUI, atendimento ao cliente, segurança), com tamanhos de alfabeto variando de 6 a 42 símbolos.

Compactação e Ajuste: As FSMs extraídas são altamente compactas, contendo apenas 7–43 estados. Elas alcançam um ajuste de reprodução de teste $\ge 0,997$ em todos os conjuntos de dados. Comparado à linha de base RPNI, o método alcança razões de compressão de 15 $\times$ a 3.036 $\times$ (ex: reduzindo 59.510 estados RPNI para 25 estados FSM no SWE-agent).
Predição do Próximo Passo: O contexto do estado da FSM supera o Agent Workflow Memory (AWM) em todos os oito conjuntos de dados onde o AWM foi avaliado, com melhorias de precisão de top-1 variando de +0,8pp a +25,3pp. Condicionar no estado da FSM reduz a entropia cruzada em 0,155 bits (21%) em comparação com o contexto bruto isolado.
Predição de Falha: Características comportamentais por estado alcançam AUROC de held-out de até 0,94 (tau2-bench telecom). O método supera as linhas de base MLP, GRU e Transformer em 20 de 21 pares arquitetura-conjunto de dados.
Eficiência de Tempo de Execução: A construção da FSM é concluída em 1–110 ms (contra 7.000–36.000 ms para RPNI). A reprodução por traço leva 0,003–0,015 ms, permitindo o monitoramento em tempo real.
Interrupção Precoce (Early Stopping): O monitor online pode classificar execuções falhas acima das bem-sucedidas no checkpoint de 25% do traço (rank-AUROC 0,66) e acionar a interrupção precoce aos 32% de conclusão no SWE-agent, economizando 68% do computação restante.
Generalização: Uma única FSM construída a partir de traços de quatro LLMs diferentes alcança ajuste de 1,000 em cada modelo individualmente, indicando que a topologia comportamental é moldada mais pelo suporte de implantação e restrições de ferramentas do que pelo LLM específico.

Significância e Alegações

O artigo afirma que os agentes de LLM, apesar de sua aparente complexidade, admitem abstrações estruturais compactas. A principal significância reside no fornecimento de um primitivo estrutural agnóstico a modelo que unifica quatro tarefas distintas — memória de fluxo de trabalho, predição do próximo passo, predição de falha e monitoramento em tempo de execução — em uma única construção livre de hiperparâmetros.

As principais alegações incluem:

Primazia Estrutural: A topologia comportamental é moldada mais pelo sistema (ferramentas, prompts, distribuição de tarefas) do que pelo LLM, permitindo o monitoramento invariante ao modelo.
Tratabilidade: O alfabeto de atividades limitado dos agentes torna o problema de aprender a partir de exemplos positivos tratável, gerando FSMs compactas, interpretáveis e estatisticamente informativas.
Eficiência: O método substitui quatro pipelines aprendidos específicos por um único primitivo estrutural que opera em milissegundos, tornando-o adequado para implantação em auditoria de segurança e monitoramento em tempo de execução.
Interpretabilidade: Diferente de HMMs ou grandes aprendizes de autômatos, os estados nesta FSM correspondem diretamente à última atividade, permitindo a decomposição por estado e a análise interpretável de modos de falha (ex: identificar que as falhas frequentemente se manifestam como ficar preso em loops específicos em vez de explorar novos estados).

Os autores observam limitações, incluindo o fato de que a FSM aceita o fechamento de seguimento direto dos traços observados (não a linguagem geradora) e que a função de extração de atividade requer conhecimento mínimo do domínio. No entanto, eles enfatizam que as restrições estruturais são robustas através de diferentes granularidades de extração e que a abordagem oferece um substrato implantável para análise de segurança e comportamento.