Riassunto Tecnico: Tracciare il Fallimento Agente dal Flusso del Successo

Problema

Il documento affronta l'attribuzione del fallimento nei sistemi agentici basati su LLM: il compito di identificare quali specifici passaggi in una traiettoria di fallimento abbiano causato il malfunzionamento del sistema. Gli approcci esistenti si affidano a:

1. Pipeline basate su prompting: Utilizzo di LLM all'avanguardia per analizzare le traiettorie, il che comporta elevati costi di token e latenza.
2. Apprendimento supervisionato: Addestramento di modelli su traiettorie di fallimento con annotazioni degli errori a livello di singolo passaggio. Questo è difficile da scalare a causa della complessità nella raccolta di etichette di alta qualità e non ambigue per ogni singolo passaggio.

Gli autori propongono un nuovo setting di problema: l'Attribuzione del Fallimento Non Supervisionata. L'obiettivo è addestrare un modello esclusivamente su traiettorie di successo (che sono facili da raccogliere come sottoprodotti dell'operatività normale) e utilizzarlo per identificare i passaggi errati in traiettorie di fallimento durante l'inferenza, senza alcuna supervisione a livello di passaggio sui dati di fallimento.

Metodologia: OAT (One-class Agent Tracing)

Gli autori propongono OAT, un modello leggero che inquadra l'attribuzione del fallimento come un problema di apprendimento a una classe (one-class learning) nello spazio delle rappresentazioni latenti di un LLM.

1. Rappresentazione Latente

Per una traiettoria $\tau = (Q, a_1, s_1, \dots, a_T)$, ogni passaggio $t$ è rappresentato da un vettore latente $h_t$ estratto dagli stati nascosti dell'agente LLM che genera l'azione $a_t$. Anche la query $Q$ è rappresentata come $h_Q$.

2. Modellazione della Traiettoria Continua tramite Neural CDEs

Inveve di trattare i passaggi come eventi discreti (come in RNN o Transformer), OAT modella la traiettoria come un percorso latente continuo.

• Neural Controlled Differential Equations (Neural CDEs): Il modello tratta la sequenza di rappresentazioni dei passaggi come osservazioni campionate in modo irregolare di una funzione continua sottostante. Una Neural CDE apprende la dinamica delle traiettorie di successo condizionando l'evoluzione dello stato latente sul percorso della traiettoria osservata $X(u)$.
• Percorso di Controllo Gated (Gated Control Path): Per gestire input out-of-distribution (OOD) in cui i segnali di controllo (derivate della traiettoria) potrebbero essere spurii, OAT introduce una funzione di gating. Questa funzione sopprime adattivamente i segnali di controllo che deviano significativamente dalla distribuzione di addestramento, migliorando la robustezza senza sacrificare l'espressività in-domain.

3. Rilevamento delle Anomalie

All'inferenza, data una traiettoria di fallimento:

• Il modello predice lo stato latente atteso $\hat{h}(u_t)$ per ogni passaggio basandosi sulla dinamica appresa delle traiettorie di successo.
• Un punteggio di anomalia $e_t$ viene calcolato come l'errore di ricostruzione quadratico: $e_t = \|h'_t - \hat{h}(u_t)\|^2_2$.
• Strategie di Rilevamento:
  • Top-k: Seleziona i $k$ passaggi con i punteggi di anomalia più elevati.
  • Conformal Prediction (CP): Utilizza un set di calibrazione di traiettorie di successo per impostare una soglia $\delta$ che controlla il tasso di falsi positivi, segnalando i passaggi dove $e_t > \delta$.

Contributi Chiave

1. Formulazione del Problema: Introduzione dell'Attribuzione del Fallimento Non Supervisionata, eliminando la necessità di costose annotazioni a livello di passaggio sui dati di fallimento addestrando esclusivamente su traiettorie di successo.
2. Architettura del Modello (OAT): Proposta di un approccio di apprendimento a una classe in tempo continuo utilizzando Neural CDEs con un nuovo percorso di controllo gated per modellare la dinamica dell'agente e rilevare deviazioni localizzate.
3. Validazione Empirica: Dimostrazione che OAT supera i baseline basati su prompting (inclusi GPT-4o e GPT-5) sia in contesti in-domain che OOD, essendo significativamente più veloce ed economico.

Risultati Sperimentali

Il modello è stato addestrato su 100 traiettorie di successo dal dataset MCP-Atlas ed è stato valutato su traiettorie di fallimento di MCP-Atlas (in-domain) e Who&When (OOD).

• Performance:
  • In-domain (MCP-Atlas): OAT ha superato i baseline basati su prompting di +20% nel punteggio F1 e +10% nell'AUPRC.
  • Out-of-Distribution (Who&When): OAT ha superato i baseline di +7% nel punteggio F1 e +5% nell'AUPRC, nonostante le significative differenze strutturali e di modello tra i dataset di addestramento e di test.
• Efficienza:
  • OAT richiede zero costi di token durante l'inferenza.
  • È 200–5000× più veloce degli approcci basati su prompting (latenza di ~7ms rispetto a ~4000ms+).
  • Può essere distribuito con meno di 1 GB di VRAM.
• Studi di Ablazione:
  • Neural CDE vs. ODE: Le CDE hanno superato significativamente le Neural ODE, confermando l'importanza di condizionare il modello sui passaggi della traiettoria osservata.
  • Gating: Il percorso di controllo gated ha migliorato significativamente le prestazioni OOD (+0.172 AUROC) con un lieve compromesso nelle prestazioni in-domain.
  • Selezione degli Strati: Le rappresentazioni degli strati successivi dell'LLM hanno fornito segnali più forti per il rilevamento delle anomalie rispetto agli strati iniziali.

Significato e Rivendicazioni

Il documento sostiene che OAT offre una direzione pratica, efficiente ed efficace per diagnosticare i fallimenti dei sistemi agentici. Spostando l'attenzione dall'apprendimento supervisionato del fallimento all'apprendimento non supervisionato del successo, l'approccio elimina il collo di bottiglia delle annotazioni. Gli autori sottolineano che il loro metodo rende pratico l'attribuzione del fallimento in tempo reale, consentendo il dispiegamento di strumenti diagnostici in contesti ad alto rischio (es. programmazione, ricerca scientifica) senza i costi proibitivi di eseguire query diagnostiche con LLM all'avanguardia. Il lavoro suggerisce che il "flusso del successo" contiene segnali sufficienti per identificare e localizzare il "flusso del fallimento".