Resumo Técnico: AgentForesight

1. Formulação do Problema

O artigo aborda um gargalo crítico de confiabilidade em sistemas multiagente baseados em Modelos de Linguagem de Grande Escala (LLM): o fenômeno de "falha em cascata". Em tarefas de longo horizonte, um único erro decisivo (por exemplo, uma chamada de ferramenta malformada ou uma dedução falha) é frequentemente aceito por agentes a jusante, propagando-se pela trajetória e tornando o resultado final irrecuperável.

As abordagens existentes enquadram essa questão como atribuição de falha post-hoc, onde os modelos diagnosticam o agente responsável e o passo apenas após a trajetória ter sido concluída e falhado. Os autores argumentam que esse paradigma renuncia à oportunidade de intervenção. Uma vez que uma falha é diagnosticada retrospectivamente, os agentes a jusante já consumiram recursos e potencialmente acionaram efeitos colaterais irreversíveis.

O artigo reenquadra esse problema como Auditoria Online. Nesse cenário, um auditor dedicado observa apenas o prefixo atual de uma trajetória em desenvolvimento (sem acesso a passos futuros, respostas de ferramentas ou ao resultado final) e deve comprometer-se com um veredito continuar-ou-alertar a cada passo. O auditor deve:

1. Distinguir de forma confiável entre prefixos que ainda são seguros e aqueles que já ultrapassaram um erro decisivo.
2. Comprometer-se com um alerta no exato passo em que o erro ocorre, em vez de retrospectivamente.

2. Metodologia

Os autores propõem o AgentForesight, um framework composto por um conjunto de dados curado e uma receita de treinamento de grosso para fino.

A. Conjunto de Dados: AFTRAJ-2K

Para suportar a auditoria online, os autores construíram o AFTRAJ-2K, um corpus de aproximadamente 2.300 trajetórias agênticas nas áreas de Codificação, Matemática e Domínios Agênticos. Diferentemente de conjuntos de dados anteriores que apenas rotulam falhas concluídas, o AFTRAJ-2K fornece supervisão em nível de passo tanto para trajetórias seguras quanto inseguras:

• Trajetórias Seguras Verificadas ($D_{safe}$): Execuções bem-sucedidas são filtradas por um pipeline rigoroso (equivalência de resultado, integridade de ferramentas e verificações de coerência) para garantir que não contenham erros intermediários "silenciosos" que poderiam enganar o auditor.
• Trajetórias de Falha ($D_{unsafe}$): Estas são construídas por meio de dois fluxos:
  • Fluxo Construtivo: Injeção controlada de erros decisivos em trajetórias seguras verificadas (por exemplo, reescrevendo uma chamada de ferramenta ou um veredito) para criar falhas contrafactuais com passos de erro de verdade absoluta conhecidos.
  • Fluxo Diagnóstico: Trajetórias que falharam naturalmente, onde o passo decisivo é desconhecido. Estas são anotadas via um ensemble "proponha-e-verifique" usando múltiplos juízes LLM para alcançar um consenso sobre o passo de erro decisivo mais precoce e o agente responsável.

B. Modelo: AgentForesight-7B

Os autores treinam um auditor online compacto (baseado no Qwen2.5-7B-Instruct) usando uma receita de aprendizado por reforço (RL) de grosso para fino:

• Estágio 1: Alinhamento de Fronteira de Falha (BPPO):
  O modelo é treinado para reconhecer a transição nítida entre prefixos seguros e inseguros. Usando Otimização de Preferência de Pares de Fronteira (BPPO), o modelo aprende a emitir CONTINUE para o prefixo imediatamente anterior a um erro decisivo e ALARM para o prefixo que inclui o erro. Isso estabelece um "prior de antecipação de risco" na fronteira de falha.
• Estágio 2: Refinamento de Veredito em Três Eixos (GRPO):
  O modelo é refinado adicionalmente usando Otimização de Política Relativa em Grupo (GRPO) com uma função de recompensa composta visando três eixos:
  • O Que (Estrutura): Garante que a saída siga um esquema JSON estrito (veredito, passo, agente, razão).
  • O Onde (Tempo): Recompensa a localização precisa do passo decisivo (usando uma recompensa Gaussiana centrada na verdade absoluta).
  • Quem (Atribuição): Recompensa a identificação do agente responsável correto.
    Este estágio afia o prior de antecipação de risco em uma localização precisa em nível de passo.

3. Contribuições Principais

1. Paradigma de Auditoria Online: O artigo introduz a auditoria online como um reenquadramento da análise de falhas no momento da implantação, deslocando-se do diagnóstico retrospectivo para a intervenção ativa em nível de passo.
2. AFTRAJ-2K: Um conjunto de dados curado fornecendo a primeira verdade absoluta em nível de passo tanto para trajetórias seguras quanto inseguras, anotado com passos de erro decisivo e agentes responsáveis via consenso de múltiplos juízes.
3. AgentForesight-7B: Um auditor online compacto treinado via uma receita de RL em dois estágios que supera significativamente modelos proprietários muito maiores no cenário restrito a prefixos.
4. Validação Empírica: Avaliação extensa demonstrando que a abordagem de grosso para fino produz um modelo capaz de intervir antes que a propagação de falhas se consolide.

4. Resultados Experimentais

Os autores avaliaram o AgentForesight-7B na divisão retida do AFTRAJ-2K e no benchmark externo Who&When.

• Desempenho no AFTRAJ-2K: O AgentForesight-7B alcançou um F1 de Passo Exato de 66,44, superando a melhor linha de base proprietária (DeepSeek-V4-Pro) em +19,9% (46,56). Também reduziu o Deslocamento Absoluto de Passo (erro de localização) em 3× (0,59 vs. 1,77).
• Generalização: No benchmark externo Who&When, o AgentForesight-7B alcançou 57,69% de Precisão de Passo e 73,08% de Precisão de Agente, superando o GPT-4.1 em aproximadamente 19,6 pontos na precisão de passo.
• Compromisso de Implantação: O modelo opera dentro de uma "região implantável" (Taxa de Falso Alarme ≤ 20%, Precisão de Passo ≥ 50%), enquanto linhas de base proprietárias mais fortes como o DeepSeek-V4-Pro ficaram fora dessa região devido a altas taxas de falso alarme.
• Ablação: A receita em dois estágios provou ser essencial; o Estágio 1 sozinho melhorou o F1 de 21,1 para 35,6, e o Estágio 2 sozinho alcançou 50,4, mas a combinação foi necessária para alcançar a pontuação final de 66,44, particularmente no complexo domínio Agêntico.

5. Significado e Alegações

O artigo alega que o AgentForesight abre o ciclo de detecção de falha post-hoc para intervenção no momento da implantação. Ao tratar a análise de falhas como uma tarefa de auditoria online, o framework permite que os sistemas interrompam a execução no momento em que um erro decisivo se torna visível, prevenindo a cascata de erros que leva à falha da trajetória completa.

Os autores enfatizam que seus ganhos derivam da receita de treinamento e conjunto de dados especializados adaptados ao cenário online, em vez de simplesmente escalar o tamanho do modelo. Eles observam que mesmo reutilizar diretamente um modelo de atribuição post-hoc (AgentDebug-7B) falha sob o protocolo online, destacando a natureza distinta do problema. O trabalho posiciona o auditor externo como uma salvaguarda modular e especializada que pode ser atualizada independentemente do sistema multiagente subjacente, oferecendo um caminho para implantações agênticas mais confiáveis e seguras em tempo de execução.