Sintesi Tecnica: FALAT – Tracciamento dei Fallimenti nelle Traiettorie di Agenti LLM tramite Ricerca Guidata dalle Dipendenze

Definizione del Problema

Gli agenti basati su Large Language Models (LLM) risolvono compiti complessi attraverso lunghe traiettorie composte da passaggi di ragionamento, chiamate a strumenti (tool calls) e comunicazione tra agenti. Quando queste traiettorie falliscono, identificare la causa radice è difficile a causa del "problema dell'attribuzione". Gli errori spesso si propagano: un errore precoce corrompe lo stato di esecuzione, facendo apparire i passaggi successivi localmente ragionevoli mentre in realtà ereditano il guasto. Di conseguenza, i passaggi successivi possono essere erroneamente segnalati come la fonte del fallimento.

Il documento definisce l'attribuzione del fallimento come il compito di identificare l'agente specifico ("chi") e il passaggio decisivo ("quando") la cui correzione ripristinerebbe l'output finale atteso ($o^*$) dall'output errato osservato ($\hat{o}$). Un passaggio decisivo è definito come uno in cui, se corretto (permettendo ai passaggi a valle di adattarsi), il sistema produce l'esito corretto. I metodi esistenti, come i giudici LLM a singolo passaggio o i tracciatori basati sull'apprendimento che valutano i passaggi indipendentemente, faticano a causa del bias posizionale, della sensibilità all'ordine e dell'incapacità di distinguere tra origine dell'errore e propagazione.

Metodologia: Framework FALAT

Gli autori propongono FALAT, un framework diagnostico che riformula l'attribuzione del fallimento come una ricerca gerarchica guidata dalle dipendenze piuttosto che come una classificazione indipendente dei passaggi. Il framework opera in quattro fasi:

1. Costruzione dello Spazio di Ricerca

FALAT evita di fare affidamento esclusivamente sul fallace ragionamento interno della traiettoria fallita. Invece, costruisce:

• Prior Condizionato al Task ($\pi$): Un'aspettativa esterna su come il compito debba essere risolto, derivata dalla specifica del task, dai ruoli degli agenti, dai prompt di sistema e dagli strumenti disponibili. Questo prior è indipendente dai passaggi intermedi della traiettoria per evitare che gli valutatori siano fuorviati dalla logica errata dell'agente stesso.
• Rappresentazione Gerarchica della Traiettoria ($M$): La traiettoria viene astratta in tre livelli per consentire una ricerca da grossolana a raffinata:
  • Livello Alto ($M_{hi}$): Riassunti globali dell'esecuzione che identificano le fasi sospette.
  • Livello Medio ($M_{mid}$): Riassunti dei passaggi locali che dettagliano agenti, azioni e decisioni.
  • Livello Basso ($M_{lo}$): Prove di esecuzione grezze (output degli strumenti, valori concreti).
    Questa struttura consente al sistema di identificare prima le regioni sospette e poi di restringere il campo a passaggi specifici.

2. Costruzione delle Dipendenze Tipizzate per la Potatura dei Candidati

Per distinguere tra i passaggi che originano un errore e quelli che lo propagano semplicemente, FALAT costruisce una struttura di dipendenza diretta sugli assunti candidati utilizzando un vocabolario di transizione tipizzato. Le etichette includono:

• follow_up: Progressione normale o propagazione a valle di un errore.
• redundancy: Ripetizione senza nuove evidenze.
• no_influence: Passaggi indipendenti dall'output del candidato.
• error_shift: Passaggi che introducono nuove deviazioni o trasformano errori a monte.
• correction: Passaggi che correggono le deviazioni a monte.
• dead_end: Passaggi che portano a output non utilizzati.

Queste etichette permettono al sistema di potare i candidati i cui effetti non possono raggiungere l'output finale o che sono meri sintomi di guasti precedenti, mantenendo solo quelli che potrebbero plausibilmente essere la fonte.

3. Ricerca Guidata dalle Dipendenze e Verifica

I candidati rimanenti vengono classificati e verificati rispetto all'obiettivo di sufficienza controfattuale. Un candidato è considerato decisivo solo se la sua correzione ripristinerebbe $o^*$. Il processo di verifica controlla tre criteri:

1. Indipendenza dall'Errore: Il passaggio introduce l'errore o lo eredita? (Tracciato tramite dipendenza a ritroso).
2. Sufficienza Controfattuale: La correzione di questo passaggio ripristinerebbe l'esito atteso?
3. Precedenza Temporale: Tra i candidati validi, viene selezionato il passaggio più precoce.

4. Re-Ricerca Locale: Verifica Avversaria

Per mitigare l' "ancoraggio" (dove un giudice LLM razionalizza un candidato plausibile ma errato), FALAT esegue una ri-valutazione locale. Estrae un vicinato limitato attorno al passaggio predetto come decisivo e confronta il candidato con i suoi vicini immediati. L'LLM assegna ruoli (ROOT_CAUSE, PROPAGATION, SYMPTOM, CONTRIBUTING) e riclassifica i passaggi basandosi su argomentazioni comparative e controlli controfattuali per garantire che il passaggio selezionato sia realmente decisivo.

Contributi Chiave

1. Riformulazione dell'Attribuzione: Il documento sposta il paradigma dalla classificazione piatta a livello di passaggio alla ricerca gerarchica guidata dalle dipendenze, modellando esplicitamente la distinzione tra origine dell'errore e propagazione.
2. Framework FALAT: Un sistema diagnostico in quattro fasi che integra un prior esterno condizionato al task, astrazione gerarchica, potatura delle dipendenze tipizzate e verifica controfattuale.
3. Validazione Empirica: Valutazione completa sul benchmark Who&When (184 esecuzioni fallite da sistemi multi-agente generati algoritmicamente o creati manualmente) su tre diversi backbone LLM.

Risultati

FALAT è stato valutato rispetto a baseline specializzate di attribuzione (CHIEF, AgentTracer) e al prompting diretto con LLM standalone.

• Traiettorie Generate Algoritmicamente: FALAT ha raggiunto il 46,0% di accuratezza a livello di passaggio (rispetto al 37,3% di CHIEF con lo stesso backbone) e il 68,0% di accuratezza a livello di agente.
• Traiettorie Create Manualmente: FALAT ha raggiunto il 29,1% di accuratezza a livello di passaggio (rispetto al 17,0% di CHIEF) e il 73,0% di accuratezza a livello di agente.
• Confronto con LLM Standalone: Il prompting diretto anche con modelli grandi (es. Claude-Sonnet-4) ha prodotto un'accuratezza a livello di passaggio significativamente inferiore (18,9% sui task manuali), dimostrando che la scalabilità del modello da sola è insufficiente per un'attribuzione affidabile.
• Studi di Ablazione: La rimozione della rappresentazione gerarchica ha causato il calo di prestazioni più grande (fino a -10,3% di accuratezza a livello di passaggio), seguita dalla rimozione del prior esterno e della tipizzazione delle transizioni.

Significato e Rivendicazioni

Il documento sostiene che il ragionamento consapevole delle dipendenze è essenziale per una diagnosi affidabile dei fallimenti nei sistemi di agenti LLM. Gli autori affermano che trattare l'attribuzione del fallimento come una classificazione indipendente dei passaggi fallisce perché ignora la struttura causale delle traiettorie. Inquadrando il problema come una ricerca guidata da dipendenze tipizzate e sufficienza controfattuale, FALAT separa efficacementamente la "causa radice" dai "sintomi".

Le scoperte suggeriscono che le procedure di ricerca strutturate forniscono benefici significativi oltre al semplice aumento della scala del modello. Il framework è particolarmente efficace nell'identificare il passaggio decisivo piuttosto che qualsiasi passaggio in cui un errore sia visibile, affrontando una lacuna critica nel rendere affidabili e debuggabili i sistemi agentici autonomi. Gli autori notano limitazioni, tra cui la dipendenza dall'affidabilità del giudizio dell'LLM e le potenziali difficoltà nel catturare dipendenze a lunghissimo raggio attraverso i confini delle finestre, ma sostengono che l'approccio proposto offra una base robusta per l'attribuzione del fallimento.