Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench

1. Il Problema: Valutazione Inaffidabile e Propagazione degli Errori

Il lavoro affronta due lacune critiche nella valutazione degli agenti basati su Large Language Model (LLM) che utilizzano strumenti (tool-use):

• Inaffidabilità dei Giudici Automatici: La maggior parte dei benchmark attuali (es. $\tau$-bench, AgentBench) si affida a euristiche di corrispondenza di sottostringhe o parole chiave per valutare la correttezza della risposta finale. Gli autori dimostrano che questo metodo è inaffidabile per gli output degli agenti, che spesso variano nella formulazione pur essendo semanticamente corretti, o contengono errori nascosti che le euristiche non rilevano.
• Mancanza di Analisi della Propagazione: I benchmark esistenti forniscono solitamente un unico punteggio di correttezza "end-to-end", senza localizzare dove si verifica un errore nella pipeline (es. generazione del parametro, esecuzione dello strumento, sintesi della risposta) né quantificare come un errore iniziale si propaghi fino a corrompere la risposta finale.
• Assenza di Validazione Umana: Le affermazioni sulla gerarchia dei modelli e sull'efficacia delle mitigazioni sono spesso basate su valutazioni non validate rispetto a annotazioni umane.

2. Metodologia: AgentProp-Bench

Gli autori introducono AgentProp-Bench, un benchmark e una metodologia progettati per colmare queste lacune.

• Dataset: Comprende 2.000 task in 4 domini principali (Calendario, Meteo, Medico, Conoscenza) più un dominio di test "Retail" (300 task), per un totale di 2.300 tracce.
• Protocollo di Iniezione Controllata (P2): Invece di affidarsi a errori naturali, il benchmark inietta intenzionalmente errori semantici nei parametri degli strumenti prima dell'esecuzione (es. cambiare "Londra" in "Manchester" in una query meteo). Questo permette di misurare causalmente il tasso di propagazione.
• Validazione del Giudice:
  • Confronto tra tre metodi: Heuristic (corrispondenza sottostringa), Ensemble LLM (voto a maggioranza di 3 LLM: GPT-4o, Gemini-2.5-Flash, GPT-4o-mini) e Annotazione Umana (100 tracce validate).
  • Calibrazione umana per correggere i bias del giudice automatico.
• Metriche di Propagazione a Livello di Fase:
  • $S1$: Iniezione applicata (il parametro è stato modificato).
  • $S2$: Esecuzione visibile (l'errore ha prodotto un effetto osservabile nello strumento).
  • $S3$: Risposta finale errata.
  • Si misurano le probabilità di raggiungere ogni fase ($P(S_k=1)$) e i tassi di propagazione condizionata ($r_{k,k+1}$).
• Decomposizione Robustezza: Distinzione tra due capacità indipendenti:
  • Rejection Rate: Capacità di rifiutare parametri errati prima dell'esecuzione.
  • Recovery Rate: Capacità di correggere la risposta finale nonostante l'esecuzione di un parametro errato.
• Mitigazione Runtime: Implementazione di un "Interceptor" a tre livelli (validazione schema, monitoraggio parole chiave nel ragionamento, coerenza output) testato con un controllo concorrente ($n=600$ task per modello).

3. Contributi Chiave

1. Validazione dell'Affidabilità del Giudice: Dimostrazione che la valutazione basata su sottostringhe coincide con l'annotazione umana a livello di caso ($\kappa=0.049$), mentre un ensemble di 3 LLM raggiunge un accordo moderato ($\kappa=0.432$), pur con un bias conservativo.
2. Misurazione della Propagazione: Quantificazione della probabilità che un errore a livello di parametro si propaghi in una risposta errata, calibrata su dati umani ($\approx 0.62$).
3. Indipendenza delle Capacità di Robustezza: Dimostrazione statistica che la capacità di rifiutare errori e quella di recuperare da essi sono assi ortogonali e non correlati ($\rho=0.126, p=0.747$).
4. Mitigazione Runtime Controllata: Valutazione di un interceptor in un esperimento con controllo concorrente, mostrando riduzioni significative dell'allucinazione su alcuni modelli ma non su altri.
5. Rilascio Open Source: Pubblicazione completa di task, tracce, codici e etichette umane.

4. Risultati Principali

• Affidabilità del Giudice:
  • L'approccio euristico (substring match) è inaffidabile ($\kappa=0.049$), equivalente al caso.
  • L'ensemble LLM raggiunge $\kappa=0.432$ (accordo moderato), ma tende a essere conservativo (sottostima la correttezza di circa 13 punti percentuali rispetto agli umani).
• Tassi di Propagazione:
  • Sotto valutazione validata, la probabilità che un'iniezione di parametro porti a una risposta errata è circa il 62% (range 0.46–0.73 tra i modelli).
  • Il tasso di propagazione varia drasticamente: da un minimo di 0.43 per DeepSeek-V3 a un massimo di 0.97 per GPT-4.1-nano.
• Decomposizione Rejection/Recovery:
  • Non esiste una correlazione significativa tra la capacità di un modello di rifiutare parametri errati e quella di recuperare da essi.
  • Esempio: Gemini-2.0-Flash ha un tasso di rifiuto altissimo (95%) ma una recovery moderata (50%); GPT-4.1-nano ha un rifiuto moderato (37.5%) ma una recovery quasi nulla (2.9%).
• Efficacia dell'Interceptor:
  • Su GPT-4o-mini, l'Interceptor riduce le allucinazioni del 23.0 punti percentuali (dal 55.8% al 32.8%) rispetto al controllo.
  • Su Gemini-2.0-Flash, l'effetto è nullo (-1.3 pp) perché il modello rifiuta già il 95% degli errori a livello di parametro, lasciando all'Interceptor poco da intercettare.

5. Significato e Implicazioni

• Per la Ricerca sugli Agenti: Il paper stabilisce che le metriche di valutazione attuali sono spesso fuorvianti. È necessario passare da valutazioni "end-to-end" a metriche a livello di fase e validare i giudici automatici con dati umani.
• Per i Progettisti di Agenti: La robustezza non è un valore unico. I progettisti devono ottimizzare separatamente la validazione degli input (schema validation) e il ragionamento post-esecuzione (recovery), poiché migliorare l'uno non garantisce il miglioramento dell'altro.
• Per la Comunità IR e IS: I risultati confermano che le euristiche di corrispondenza di stringhe sono inadeguate per la valutazione di sistemi complessi con alta variabilità di output, suggerendo l'adozione di ensemble di LLM calibrati su umani.
• Mitigazione Contesto-Dipendente: Le soluzioni di mitigazione runtime (come gli interceptor) non sono universali; la loro efficacia dipende dalle capacità intrinseche del modello target (in particolare dal suo tasso di rifiuto dei parametri errati).

In sintesi, AgentProp-Bench fornisce un framework rigoroso per diagnosticare, misurare e mitigare gli errori negli agenti LLM, spostando il focus dalla semplice correttezza finale alla comprensione dinamica di come gli errori si generano e si propagano all'interno della pipeline di esecuzione.