Aegis: Automated Error Generation and Attribution for Multi-Agent Systems

1. Il Problema: Fragilità Strutturale e Scarsità di Dati

I sistemi multi-agente (MAS) basati su Large Language Models (LLM) hanno dimostrato capacità notevoli nel risolvere problemi complessi (ragionamento matematico, scoperta scientifica, ingegneria del software). Tuttavia, la loro architettura introduce una fragilità strutturale: un errore commesso da un singolo agente può propagarsi attraverso le interazioni, generando un errore finale osservabile che è distante dalla causa radice.

Il principale ostacolo al miglioramento dell'affidabilità di questi sistemi è la scarsità critica di dataset su larga scala per l'attribuzione degli errori.

• Le risorse esistenti (es. Who&When, MASFT, TRAIL) sono estremamente piccole (da 148 a 184 errori annotati).
• La creazione di nuovi dati richiede un'annotazione manuale costosa e non scalabile da parte di esperti.
• Senza dati sufficienti, gli LLM attuali mostrano capacità limitate nell'identificare quale agente sia responsabile di un fallimento e quale sia il tipo di errore commesso.

2. Metodologia: Il Framework AEGIS

Per superare il collo di bottiglia dei dati, gli autori introducono AEGIS, un framework innovativo per la generazione automatizzata e l'attribuzione degli errori nei MAS. Il sistema trasforma il problema dell'annotazione umana in un problema ingegneristico scalabile.

A. Costruzione del Dataset (Pipeline a 3 Stadi)

AEGIS genera un dataset di 9.533 traiettorie annotate, coprendo 6 framework MAS diversi (es. MacNet, DyLAN, AgentVerse) e 6 domini di task (Matematica, Codice, Scienza, ecc.). La pipeline procede come segue:

1. Traiettorie di Base: Si raccolgono traiettorie deterministiche e di successo (senza errori) per vari task.
2. Manipolazione Adattiva: Un "manipolatore" basato su LLM inietta errori contestuali nelle traiettorie di successo. Utilizza due strategie principali:
   • Prompt Injection: Alterazione dell'input dell'agente prima dell'azione.
   • Response Corruption: Sostituzione dell'output corretto con uno errato.
     Gli errori sono generati seguendo una tassonomia di 14 modalità di errore (basata su MAST), raggruppate in tre categorie: Problemi di Specifica, Disallineamento tra Agenti e Fallimenti di Verifica.
3. Validazione e Etichettatura: Vengono mantenute solo le traiettorie che falliscono intenzionalmente. Poiché gli errori sono stati iniettati programmaticamente, le etichette di verità fondamentale (quale agente ha fallito e come) sono note con certezza, eliminando l'ambiguità dell'annotazione umana.

B. Paradigmi di Apprendimento

La struttura del dataset AEGIS supporta tre paradigmi di apprendimento distinti:

1. Supervised Fine-Tuning (SFT): Addestramento diretto su coppie (traiettoria fallita, mappa di attribuzione corretta) per insegnare al modello a generare diagnosi strutturate (JSON).
2. Reinforcement Learning (RL - GRPO): Utilizzo di una funzione di ricompensa gerarchica e densa. Il modello riceve crediti parziali per l'identificazione corretta di agenti o modalità di errore, penalizzazioni per duplicati o formati errati, e normalizzazione in base alla difficoltà del task. Questo permette di apprendere da segnali informativi multipli invece che da un singolo esito binario.
3. Contrastive Learning (DCL - Disentangled Contrastive Learning): Sfrutta la relazione naturale tra le traiettorie di successo (positive) e le loro varianti fallite (negative). Utilizza un meccanismo di attenzione "Multiple Instance Learning" per identificare i turni salienti (evidence turns) e allinearli a prototipi di agenti e modalità di errore, creando uno spazio di rappresentazione sensibile ai segnali di errore sottili.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli open-source (Qwen2.5, Qwen3) e proprietari (GPT-4o, o3, Gemini, Claude), valutati sia sul benchmark interno Aegis-Bench che sul benchmark esterno Who&When (out-of-distribution).

• Performance Superiori: I modelli fine-tuned su AEGIS (in particolare Aegis-SFT) raggiungono le prestazioni migliori in assoluto, superando significativamente tutti i baseline. Ad esempio, il modello Qwen2.5-14B fine-tuned su AEGIS raddoppia il suo punteggio medio (da ~14% a ~26.5%) rispetto alla versione base.
• Competitività con Modelli Giganti: Modelli di dimensioni medie (7B-14B) addestrati su AEGIS raggiungono o superano le prestazioni di modelli proprietari molto più grandi (es. GPT-4o-mini, o3) nel compito di attribuzione degli errori.
• Generalizzazione: I modelli addestrati mostrano una forte capacità di generalizzazione sul dataset Who&When (creato manualmente), validando l'ipotesi che i dati sintetici generati automaticamente siano realistici e utili per diagnosi complesse.
• Analisi dei Metodi:
  • L'SFT offre i guadagni più consistenti.
  • Il RL (GRPO) dimostra stabilità e robustezza, specialmente su task di ragionamento matematico.
  • Il modello DCL, pur essendo molto leggero (23M parametri), supera di gran lunga la linea di base casuale, dimostrando l'efficacia dell'apprendimento rappresentazionale contrastivo.
• Limiti e Sfide: L'analisi qualitativa rivela che i modelli faticano ancora su errori numerici sottili o su fallimenti che coinvolgono assunzioni errate nascoste (es. conversioni di unità sbagliate), indicando che la diagnosi di errori profondi rimane una sfida aperta.

4. Contributi Chiave

1. Pipeline Riproducibile: Un metodo automatizzato per convertire esecuzioni corrette in casi di errore realistici e verificabili con etichette programmatiche.
2. Dataset Su Larga Scala: La creazione di un dataset di quasi 10.000 traiettorie di errore annotate, diversificato per architetture MAS e domini di task, che supera di gran lunga le risorse precedenti.
3. Validazione Empirica: Dimostrazione che l'addestramento su dati sintetici generati automaticamente porta a miglioramenti sostanziali e generalizzabili nell'attribuzione degli errori, validando l'approccio su tre paradigmi di apprendimento diversi.
4. Rilascio Open Source: La pubblicazione di codice, dati e modelli per favorire la ricerca futura su MAS affidabili e debuggabili.

5. Significato e Impatto

Il lavoro AEGIS rappresenta un cambiamento metodologico verso la generazione programmatica di dati per migliorare l'affidabilità dell'IA. Dimostra che la scarsità di dati per compiti diagnostici complessi può essere superata attraverso la sintesi automatizzata. Questo approccio non solo risolve un problema immediato di scalabilità, ma apre la strada verso sistemi agenti auto-riparanti e più robusti, fondamentali per l'adozione dei MAS in scenari reali critici. La capacità di generare dati di addestramento realistici senza intervento umano massiccio è un passo cruciale verso l'evoluzione autonoma dei sistemi multi-agente.