Riepilogo Tecnico: La Coerenza come Proprietà Verificabile

Enunciato del Problema

Mentre gli agenti basati su Modelli Linguistici di Grandi Dimensioni (LLM) hanno dimostrato capacità notevoli in ambiti che vanno dall'ingegneria del software al ragionamento complesso, il loro dispiegamento in ambienti ad alto rischio è ostacolato dalla mancanza di coerenza comportamentale. A differenza del software deterministico, gli agenti basati su LLM mostrano una significativa varianza nell'output quando confrontati con input semanticamente equivalenti, a causa della stocasticità del campionamento e della sensibilità alle variazioni superficiali del prompt. Le metodologie di valutazione attuali si concentrano principalmente sui tassi di completamento del compito (ad es. pass@1) e sull'accuratezza su benchmark specifici. Tuttavia, queste metriche non riescono a catturare se gli agenti producono output coerenti e affidabili quando confrontati con variazioni nella formulazione dell'input, nel contesto o negli ambienti di esecuzione.

Il documento evidenzia diverse limitazioni critiche nell'affidabilità attuale degli agenti:

• Fragilità alle Perturbazioni: Minori errori tipografici o parafrasi possono causare cali significativi nell'accuratezza del ragionamento a catena di pensiero.
• Sensibilità agli Strumenti: Gli agenti con accesso a molteplici strumenti mostrano un comportamento erratico quando le descrizioni degli strumenti vengono modificate o quando vengono aggiunti strumenti irrilevanti, con un'accuratezza che scende vicino allo zero in condizioni avverse.
• Risposte Contraddittorie: Gli agenti producono spesso risposte contraddittorie tra i turni di conversazione, in particolare sotto limitazioni di lunghezza del contesto o query non specificate.
• Contaminazione dei Benchmark: Le prestazioni su benchmark statici (ad es. SWE-bench) spesso non si traducono in varianti continuamente aggiornate (ad es. SWE-bench-Live), suggerendo una mancanza di vera robustezza.

Il lavoro esistente manca di un framework standardizzato e rigoroso per decomporre e misurare la coerenza a livello delle traiettorie di esecuzione degli agenti, concentrandosi spesso solo sugli output finali.

Metodologia

Gli autori propongono una scienza della misurazione rigorosa per l'affidabilità degli agenti AI basata sul test di ipotesi statistico. Il framework scompone l'affidabilità in due dimensioni: osservabile (a livello di output) e interna (a livello di traiettoria).

1. Coerenza dell'Output tramite Statistiche U

Per misurare la coerenza a livello di output, gli autori formalizzano il problema utilizzando le statistiche U.

• Configurazione: Dato un prompt base $x_0$ e un insieme di varianti perturbate semanticamente equivalenti $x_1, \dots, x_n$, l'agente produce output $y_0, \dots, y_n$.
• Metrica: Una funzione kernel simmetrica $k(y_i, y_j)$ misura la similarità tra coppie di output (ad es. BLEU, ROUGE, entailment o giudici basati su LLM).
• Stimatore: La coerenza è stimata dalla statistica U $U_n$, che è uno stimatore non distorto del parametro della popolazione $\theta = E[k(Y, Y')]$.
• Test di Ipotesi: Il framework testa l'ipotesi nulla $H_0: \theta = 1$ (coerenza perfetta) contro $H_1: \theta < 1$ (incoerenza). I Teoremi 1 e 2 stabiliscono che, sotto specifiche assunzioni (invarianza distribuzionale e distribuzione omogenea del compito), la statistica del test segue una distribuzione normale asintoticamente, fornendo garanzie sulla dimensione (controllo dei falsi positivi) e sulla potenza (sensibilità di rilevamento).

2. Coerenza della Traiettoria tramite Metodi Kernel

Riconoscendo che gli agenti eseguono processi di decisione sequenziali, il framework si estende alle traiettorie di esecuzione $\tau = (a_1, \dots, a_T)$.

• Processi Stocastici: Le traiettorie sono trattate come processi stocastici con lunghezze variabili e dipendenze temporali.
• Metrica: Gli autori utilizzano la Discordanza Massima del Mezzo (MMD) in uno Spazio di Hilbert a Kernel Riproducente (RKHS) per misurare la distanza tra la distribuzione delle traiettorie base e quella delle traiettorie perturbate.
• Kernel: Per gestire sequenze di azioni di lunghezza variabile, il documento impiega:
  • Distanza Jensen-Shannon (JSD): Misura la deriva di composizione (proporzioni degli strumenti utilizzati).
  • Distanza di Levenshtein (LD): Misura la deriva di ordinamento (stabilità della sequenza).
  • Kernel di Allineamento Globale (GAK): Un kernel definito positivo che risolve il problema della non definitività positiva nelle distanze di modifica, fornendo un analogo statisticamente valido per la MMD.
• Metriche Ponderate: Per catturare l'asimmetria degli errori (dove le deviazioni nelle fasi finali sono più conseguenze di quelle esplorative iniziali), gli autori introducono distanze di Levenshtein ponderate, scalando i costi di modifica in base alla posizione.

3. Gestione della Multimodalità

Il framework affronta il problema per cui esistono multiple strategie di soluzione valide per un singolo compito. Propone un approccio in due fasi: (i) identificazione delle modalità di soluzione tramite clustering spettrale sulla matrice GAK, e (ii) misurazione della coerenza all'interno di ciascuna modalità per distinguere tra diversità strategica legittima e instabilità genuina.

Contributi Chiave

1. Framework Fondamentale: Il documento stabilisce un framework statistico principiato per quantificare la coerenza degli agenti, distinguendo tra capacità fondamentale e robustezza di esecuzione.
2. Rigor Teorico: Fornisce prove formali per la normalità asintotica delle statistiche di test proposte (Teoremi 1–3), garantendo tassi conservativi di falsi positivi e alta potenza per il rilevamento di vere incoerenze.
3. Granularità Diagnostica: Scomponendo l'incoerenza in deriva di composizione (quali azioni vengono intraprese) e deriva di ordinamento (come sono sequenziate), il framework rivela debolezze architetturali invisibili alle metriche basate solo sull'output.
4. Diagnostica Temporale: L'introduzione di metriche di traiettoria ponderate permette di identificare quando gli agenti deviano (errori caricati all'inizio vs. caricati alla fine), offrendo indicazioni specifiche per correzioni architetturali.

Risultati Sperimentali

Il framework è stato validato su tre benchmark agentici: SWE-bench Verified (ingegneria del software), Spider2-DBT (trasformazione dei dati) e BFCL (chiamata di funzioni). Gli esperimenti hanno coinvolto l'applicazione di perturbazioni a livello di prompt (parafrasi, retro-traduzione, rumore) e a livello di compito (cambiamenti di ambiente, shift di schema, strumenti esca).

• Alta Accuratezza Maschera Fallimenti di Coerenza: Gli agenti hanno mantenuto una coerenza dell'output relativamente alta (0,75–0,90) sotto perturbazioni a livello di prompt, ma hanno mostrato un degrado significativo sotto perturbazioni a livello di compito.
• Metriche di Traiettoria Rivelano Fallimenti Nascosti:
  • SWE-bench: Sotto una perturbazione "linear MCP" (cambiamento dei meccanismi di recupero delle informazioni), l'accuratezza di OpenHands+Kimi-K2 è crollata a ~25%, mentre la coerenza dell'output è rimasta al 60%. L'analisi della traiettoria ha rivelato che, mentre la selezione degli strumenti rimaneva coerente (alta JSD), l'ordinamento delle azioni si degradava significativamente (bassa Levenshtein), indicando un fallimento nella sequenziazione dell'esecuzione.
  • BFCL: Sotto una perturbazione in formato XML, l'accuratezza di OpenHands+Kimi-K2 è scesa vicino allo zero. Le metriche di traiettoria hanno mostrato un collasso completo sia nella composizione che nell'ordinamento, rivelando una dipendenza hard-coded dal parsing JSON e un'incapacità di generare XML valido.
  • Spider2-DBT: Codex ha mostrato alta coerenza di composizione ma coerenza di ordinamento moderata sotto perturbazioni dello schema, suggerendo che l'agente produceva coerentemente la risposta sbagliata per input perturbati.
• Intensità della Perturbazione: Studi di ablazione hanno mostrato che l'aumento dell'intensità della perturbazione (ad es. passaggi multipli di parafrasi) ha portato a declini graduali nell'accuratezza, mentre cambiamenti strutturali specifici (ad es. iniezione di codice morto) hanno mostrato effetti di saturazione, suggerendo che gli agenti possono ignorare codice chiaramente inutilizzato.

Significato e Affermazioni

Il documento afferma di fornire gli "strumenti matematici per isolare dove e perché gli agenti deviano". Il suo significato risiede nello spostamento del paradigma di valutazione da "l'agente risolve il compito?" a "l'agente risolve il compito affidabilmente sotto variazione?".

• Sensibilità Diagnostica: Gli autori dimostrano che le metriche di coerenza a livello di traiettoria forniscono una sensibilità diagnostica molto maggiore rispetto ai tradizionali tassi pass@1, esponendo fragilità architetturali che le metriche di accuratezza oscurano.
• Prontezza al Dispiegamento: Identificando specifici modi di fallimento (ad es. errori di sequenziazione vs. errori di selezione degli strumenti), il framework permette l'identificazione e la rettifica di preoccupazioni architetturali, che è un prerequisito per il dispiegamento di agenti in ambienti reali ad alto rischio.
• Limitazioni: Gli autori riconoscono che il loro approccio si basa sull'assunzione di equivalenza semantica nelle perturbazioni, che è difficile da validare empiricamente. Inoltre, l'attuale analisi delle traiettorie tratta le sequenze di azioni come unità di coerenza, ignorando stati di ragionamento intermedi o aggiornamenti delle credenze, il che richiederebbe l'accesso a stati interni del modello non attualmente esposti dai framework standard degli agenti.

In conclusione, questo lavoro offre una definizione rigorosa e verificabile dell'affidabilità degli agenti, andando oltre i semplici tassi di successo verso una comprensione sfumata di come gli agenti si comportano sotto stress, fornendo così una base per costruire sistemi AI più robusti.