Aegis: Automated Error Generation and Attribution for Multi-Agent Systems

1. O Problema: Fragilidade Estrutural e Escassez de Dados

Os sistemas multi-agente (MAS) baseados em Grandes Modelos de Linguagem (LLMs) têm demonstrado avanços significativos em tarefas complexas (raciocínio matemático, descoberta científica, engenharia de software). No entanto, essa arquitetura introduz uma fragilidade estrutural: um erro cometido por um único agente pode se propagar através das interações, resultando em uma falha final que está distante da origem do problema.

O principal obstáculo para melhorar a confiabilidade e o debugging desses sistemas é a escassez severa de grandes conjuntos de dados diversificados para atribuição de erros.

• Limitação Atual: Os benchmarks existentes (como Who&When, MASFT, TRAIL) são extremamente pequenos (centenas de amostras) e dependem de anotação manual cara e não escalável por especialistas.
• O Dilema: Modelos de ponta (SOTA) têm capacidade limitada de atribuição de erros, e a criação de dados sintéticos massivos manualmente é proibitiva.

2. Metodologia: O Framework AEGIS

Para superar esse gargalo, os autores introduzem o AEGIS (Automated Error Generation and Attribution for Multi-Agent Systems), um framework totalmente automatizado que transforma a anotação humana em um problema de engenharia escalável.

2.1. Pipeline de Construção de Dados

O AEGIS segue um pipeline de três etapas para gerar um dataset de 9.533 trajetórias de erro anotadas:

1. Coleta de Trajetórias Bem-Sucedidas: Gera trajetórias determinísticas e corretas em diversos cenários de MAS (usando frameworks como MacNet, DyLAN, AgentVerse, etc.) e domínios de tarefas (Matemática, Código, Ciência, etc.).
2. Injeção Adaptativa de Erros: Utiliza um "Manipulador Baseado em LLM" que injeta erros contextuais inteligentes em trajetórias bem-sucedidas. O manipulador utiliza duas estratégias principais:
   • Injeção de Prompt: Altera o estado de entrada do agente antes da ação.
   • Corrupção de Resposta: Substitui a saída correta por uma falha plausível.
   • Os erros são baseados em uma taxonomia de 14 modos de erro (do MAST taxonomy), cobrindo três categorias: Questões de Especificação, Desalinhamento entre Agentes e Falhas de Verificação de Tarefa.
3. Validação e Rotulagem: Apenas trajetórias que resultam em falha do sistema são mantidas. Como os erros são injetados programaticamente, o "Ground Truth" (agente culpado e modo de erro) é conhecido com certeza absoluta, eliminando ambiguidade.

2.2. Paradigmas de Aprendizado Propostos

A estrutura única dos dados do AEGIS suporta três paradigmas de aprendizado distintos para treinar modelos de atribuição de erros:

1. Ajuste Fino Supervisionado (SFT): Trata a tarefa como um problema de sequência para sequência. O modelo recebe o log da conversa e deve gerar um JSON estruturado identificando os agentes defeituosos e seus modos de erro.
2. Aprendizado por Reforço (RL - GRPO): Utiliza uma função de recompensa hierárquica e densa. O modelo recebe crédito parcial por identificar corretamente o agente ou o modo de erro, penaliza por duplicatas ou formatos inválidos e é normalizado pela dificuldade do exemplo. Isso permite aprendizado a partir de múltiplos sinais informativos, não apenas de um resultado binário.
3. Aprendizado Contrastivo Desemaranhado (DCL): Um método leve que trata a trajetória como um "saco" de turnos. Usa Multiple Instance Learning (MIL) para identificar os turnos de evidência mais salientes e contrasta-os com protótipos de agentes e modos de erro corretos, aprendendo representações sensíveis a sinais de erro sutis.

3. Principais Contribuições

1. Pipeline Automatizado Reprodutível: Um método para converter execuções corretas em casos de erro realistas e verificáveis com rótulos programáticos, resolvendo o gargalo de dados.
2. Dataset AEGIS: Um conjunto de dados massivo e diversificado com quase 10k trajetórias de erro, cobrindo 6 frameworks de MAS e 6 domínios de tarefas, com 14 modos de erro distintos.
3. Validação Empírica Abrangente: Demonstração de que o treinamento no dataset AEGIS melhora consistentemente o desempenho em atribuição de erros, tanto em dados in-domain (Aegis-Bench) quanto em dados out-of-distribution (Who&When).
4. Código e Modelos Open-Source: Liberação completa de todos os dados, códigos e modelos treinados para fomentar pesquisas futuras em MAS confiáveis.

4. Resultados Experimentais

Os experimentos foram realizados em modelos de diferentes escalas (de 7B a 72B parâmetros) e comparados com modelos proprietários de ponta (GPT-4o, o3, Gemini-2.5, Claude-Sonnet).

• Desempenho Superior: Modelos ajustados com o AEGIS (especialmente o Aegis-SFT baseado em Qwen2.5-14B) alcançaram o melhor desempenho geral, superando modelos proprietários muito maiores (até 10x maiores) em métricas de F1 (Micro e Macro).
  • Exemplo: O modelo Aegis-SFT atingiu uma pontuação média de 26.51, enquanto o modelo proprietário o3 (um dos maiores) atingiu 20.24.
• Generalização: Os modelos treinados generalizaram bem para o benchmark Who&When (dados anotados manualmente), validando a hipótese de que a síntese automatizada produz dados realistas.
• Análise de Paradigmas:
  • O SFT mostrou ganhos consistentes e significativos, quase dobrando a pontuação de modelos base.
  • O GRPO demonstrou robustez, especialmente em tarefas de raciocínio matemático, e mostrou que o treinamento por reforço pode ensinar a estruturação do raciocínio (Chain-of-Thought) em modelos de código aberto.
  • O DCL (modelo leve) provou ser uma prova de conceito forte, superando a linha de base aleatória com um modelo de apenas ~35M parâmetros.
• Descobertas Qualitativas: Estudos de caso mostraram que modelos treinados no AEGIS conseguem identificar a causa raiz de falhas (ex: um agente que forneceu dados incorretos), enquanto modelos base frequentemente atribuem a culpa a agentes downstream ou falham em detectar o erro.

5. Significado e Impacto

O trabalho AEGIS representa uma mudança metodológica crucial na pesquisa de confiabilidade de IA:

• Escalabilidade: Demonstra que a escassez de dados para diagnósticos complexos pode ser superada através de síntese automatizada, permitindo o treinamento de modelos especializados sem depender de anotação humana massiva.
• Interpretabilidade e Robustez: Fornece as ferramentas e dados necessários para desenvolver sistemas multi-agente que não apenas resolvem tarefas, mas são capazes de se autodiagnosticar e explicar falhas.
• Futuro: Abre caminho para o desenvolvimento de "sistemas agentes auto-reparáveis", onde a capacidade de atribuição de erros é um componente fundamental para a evolução contínua e segura da inteligência artificial.

Em resumo, o AEGIS não apenas fornece um novo dataset, mas estabelece um novo padrão para como dados de falha complexos podem ser gerados e utilizados para treinar sistemas de IA mais robustos e interpretáveis.