Trace-Level Analysis of Information Contamination in Multi-Agent Systems

1. Enunciato del Problema

I sistemi multi-agente (MAS) si affidano sempre più a artefatti esterni eterogenei (PDF, fogli di calcolo, presentazioni, audio) per eseguire compiti di ragionamento complessi. Le informazioni estratte da queste fonti vengono trasmesse tra agenti specializzati (ad esempio, estrattori, analisti, validatori). Il problema centrale affrontato è la contaminazione delle informazioni: errori introdotti durante l'estrazione o l'analisi di questi artefatti (ad esempio, colonne di tabelle non allineate, rumore OCR, testo corrotto) che si propagano attraverso il flusso di lavoro.

Le attuali pratiche di valutazione si concentrano principalmente sulla precisione del punto finale (la risposta finale corrisponde alla verità fondamentale?). Gli autori sostengono che ciò sia insufficiente perché:

• Disaccoppiamento: I flussi di lavoro possono divergere strutturalmente (cambiare i percorsi di esecuzione) e tuttavia recuperare la risposta corretta, oppure rimanere strutturalmente stabili producendo output errati.
• Costi Nascosti: L'instabilità strutturale (reindirizzamento, nuovi tentativi) comporta costi operativi significativi (token, tempo) anche se la risposta finale è corretta.
• Fallimento delle Barriere di Sicurezza: I meccanismi di verifica comuni (controlli dello schema, validazione del formato) spesso non riescono a intercettare dati "localmente plausibili ma globalmente corrompenti".

2. Metodologia

Gli autori propongono un framework di analisi a livello di traccia per quantificare come l'incertezza si propaga attraverso flussi di lavoro multi-agente strutturati.

Configurazione Sperimentale

• Benchmark: 32 task dal benchmark GAIA, selezionati per la loro dipendenza da allegati di file (tabellari, documenti, immagini, audio).
• Architettura: Un'orchestrazione multi-agente fissa con ruoli specializzati (Coordinatore, Analista Dati, Verificatore Fatti, Sintetizzatore, ecc.) che comunicano tramite uno spazio di lavoro condiviso.
• Modelli: Esperimenti condotti su tre backend LLM: GPT-5-mini, LLaMA-3.1-70B e Qwen3-235B.
• Dati: 614 esecuzioni accoppiate (pulite vs. perturbate) per task.

Strategia di Perturbazione

Invece di modificare i file grezzi, gli autori iniettano perturbazioni strutturate nelle rappresentazioni derivate dagli artefatti (ad esempio, lo span di testo estratto da uno strumento OCR o la tabella analizzata da un PDF).

• Tipi di Perturbazione: Include scambi di colonne, cambiamenti di unità, rumore OCR, sfocatura delle immagini, errori di codifica e oscuramento del testo.
• Controllo: Tutte le altre variabili (prompt, semi, ruoli degli agenti) sono mantenute costanti per isolare l'effetto della perturbazione.

Framework di Misurazione

L'innovazione principale è l'uso di Tracce di Esecuzione ($\tau$) anziché solo degli output finali.

1. Firme Strutturali: Gli eventi (decisioni di instradamento, chiamate agli strumenti, letture dalla memoria) sono astratti in firme strutturali per ignorare il rumore lessicale (ad esempio, formulazioni diverse) e concentrarsi sul flusso di controllo.
2. Divergenza della Traccia: Misurata utilizzando la Distanza di Modifica Strutturale Normalizzata ($d_{norm}$) tra la traccia pulita e la traccia perturbata.
3. Punto di Prima Divergenza ($t^\star$): Identifica l'esatto passaggio in cui l'esecuzione perturbata si discosta per la prima volta dalla baseline, aiutando a localizzare il meccanismo di fallimento.
4. Metriche:
   • Esito: Successo/fallimento del task.
   • Costo: Sovraccarico di token (perturbato vs. pulito).
   • Flusso di Controllo: Reindirizzamento, esecuzione estesa (loop) e terminazione anticipata.

3. Contributi Chiave

1. Tassonomia Formale delle Manifestazioni di Contaminazione:
   • Corruzione Semantica Silenziosa (15,3%): La traccia di esecuzione rimane strutturalmente identica alla baseline ($d_{norm} \approx 0$), ma l'output finale è errato. Il sistema "accetta" dati corrotti senza attivare stati di errore.
   • Deviazioni Comportamentali con Recupero (40,3%): Il percorso di esecuzione diverge significativamente (reindirizzamento, nuovi tentativi, passaggi extra), ma il sistema compensa con successo e produce la risposta corretta.
   • Disruzione Combinata (39,9%): Sia il percorso di esecuzione che l'output finale sono corrotti.
2. Framework di Misurazione Basato sulle Tracce: Un metodo per rilevare, localizzare e quantificare la contaminazione utilizzando la distanza di modifica strutturale e i punti di prima divergenza, andando oltre la sola valutazione del punto finale.
3. Evidenza Empirica del Disaccoppiamento Costo-Correttezza: Dimostrazione che un alto costo operativo non garantisce la correttezza e che un basso costo non garantisce la sicurezza.

4. Risultati e Scoperte Chiave

Disaccoppiamento di Struttura ed Esito

• Scoperta 1: Le metriche del punto finale sono inadeguate. Il 40,3% delle esecuzioni con una forte divergenza strutturale ha comunque recuperato risposte corrette, mentre il 15,3% delle esecuzioni con tracce stabili ha fallito silenziosamente.
• Implicazione: Fare affidamento esclusivamente sulla precisione della risposta nasconde l'instabilità interna; fare affidamento esclusivamente sulla divergenza della traccia genera falsi positivi per "fallimento" quando il sistema si sta effettivamente adattando.

Firme del Flusso di Controllo

• Reindirizzamento (80,6% delle esecuzioni divergenti): La risposta più comune alla contaminazione. Gli agenti rilevano incongruenze e cambiano strategia.
• Esecuzione Estesa (37,4%): La contaminazione innesca loop di nuovi tentativi e verifiche multistadio, portando a costi elevati di token (mediana 1,5x–2,4x della baseline).
• Terminazione Anticipata (25,3%): Comune nelle modalità audio, dove il fallimento della trascrizione arresta l'intera pipeline.
• Specificità della Modalità: Le perturbazioni dei dati tabellari spesso innescano un'esecuzione estesa; le perturbazioni audio favoriscono la terminazione anticipata.

Localizzazione Temporale

• Divergenza Precoce ($t^\star < 0,1$): Indica fallimenti fondamentali nell'estrazione (ad esempio, errori di analisi).
• Divergenza Tardiva ($t^\star > 0,3$): Indica sensibilità nella fase di ragionamento (ad esempio, errori aritmetici derivanti da corruzioni numeriche sottili).

Costi Operativi

• Scoperta 4: Il costo è un cattivo indicatore di correttezza.
  • Il 76,2% delle esecuzioni a basso costo ha prodotto risposte errate (Corruzione Silenziosa).
  • Solo il 16,3% delle esecuzioni ad alto costo (>2x token) ha prodotto risposte corrette.
• Scoperta 5: Un alto sovraccarico di token non predice il recupero. Alcune perturbazioni (ad esempio, filigrane) causano deviazioni costose che raramente hanno successo, mentre altre (ad esempio, errori di codifica) permettono un recupero moderato.

Differenze tra Modelli

• LLaMA-3.1-70B ha mostrato una divergenza più precoce (rilevamento più rapido degli errori) ma tassi di recupero inferiori rispetto a GPT-5-mini e Qwen3-235B.
• GPT-5-mini ha mostrato il tasso più alto di "Deviazioni Comportamentali con Recupero" (48,6%), suggerendo una strategia adattiva più robusta.

5. Significato e Implicazioni

• Critica alle Attuali Barriere di Sicurezza: Le barriere standard (validazione dello schema, budget di nuovi tentativi) falliscono perché assumono che la contaminazione si manifesti come errori strutturali. La corruzione semantica silenziosa aggira completamente questi controlli.
• Raccomandazioni di Progettazione:
  • Verifica Mirata: Le strategie di verifica dovrebbero essere specifiche per la modalità (ad esempio, validazione aggressiva per l'audio, controlli dello schema per le tabelle).
  • Difesa Consapevole dei Costi: I sistemi devono riconoscere che le esecuzioni ad alto costo non sono necessariamente "adattamenti riusciti" e che le esecuzioni a basso costo non sono necessariamente "sicure".
  • Valutazione Nativa delle Tracce: I futuri benchmark devono valutare le tracce di esecuzione, non solo le risposte finali, per catturare l'intero spettro della robustezza.
• Direzioni Future: Il documento chiede un'attribuzione dell'origine basata sulla provenienza (tracciamento fino all'errore di estrazione specifico), apprendimento di flussi di lavoro resilienti alla contaminazione (RL per instradamento robusto) e budget di verifica adattivi basati sul rischio di contaminazione previsto.

In sintesi, il documento stabilisce che la contaminazione delle informazioni nei sistemi multi-agente è un fenomeno complesso e multidimensionale in cui la stabilità strutturale e la correttezza semantica sono spesso disallineate. Fornisce un framework rigoroso per misurare questo disallineamento, offrendo una strada verso sistemi di agenti più robusti, efficienti in termini di costi e verificabili.