Riepilogo Tecnico: Oltre le Risposte Finali: Audit delle Allucinazioni a Livello di Traiettoria nei Flussi di Lavoro Industriali Multi-Agente

1. Enunciato del Problema

La transizione dai Modelli Linguistici di Grande Dimensione (LLM) statici ai sistemi agenziali autonomi introduce un modo di fallimento critico: l'allucinazione a livello di traiettoria. Mentre i benchmark esistenti (ad es. TruthfulQA, AgentBench) valutano le allucinazioni principalmente come errori fattuali "one-shot" nelle output finali, non riescono a catturare le deviazioni che si verificano all'interno dei cicli sequenziali e mediati da strumenti Pensiero-Azione-Osservazione (TAO) dei flussi di lavoro multi-agente.

In contesti industriali come il monitoraggio dei data center (specificamente all'interno del framework AssetOpsBench), un'allucinazione non è semplicemente una risposta errata; è una deviazione strutturale dalle prove che si propaga attraverso un ciclo di agente. Queste deviazioni possono manifestarsi come salti procedurali, entità mal referenziate da passaggi precedenti o violazioni di ambito in cui un agente agisce al di fuori del proprio mandato. I paradigmi di valutazione attuali, che trattano le istanze come coppie input-output isolate, non possono diagnosticare se un sistema ha fallito a causa di un incomprensione dell'ambiente o dell'invenzione di stati inesistenti. Inoltre, la definizione di allucinazione nei loop interattivi è spesso confusa con errori logici o fallimenti nell'esecuzione degli strumenti, mancando della granularità necessaria per l'analisi diagnostica.

2. Metodologia

Gli autori introducono Trajel, un dataset e un framework di valutazione progettati per auditare le allucinazioni a livello di traiettoria nei flussi di lavoro industriali multi-agente. La metodologia è strutturata attorno a quattro componenti principali:

A. Struttura e Formalismo della Traiettoria

Il flusso di lavoro è modellato come un sistema AI composito $\Phi = (M, C, T_{tool})$, dove $M$ rappresenta gli agenti guidati da LLM, $C$ è l'orchestratore e $T_{tool}$ è l'insieme degli strumenti. L'esecuzione procede come una sequenza di passaggi $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$, dove $\tau_t$ è il pensiero, $\alpha_t$ è l'azione e $\omega_t$ è l'osservazione. Una traiettoria $T$ è la traccia ordinata di questi passaggi.

B. Tassonomia Consapevole della Traiettoria delle Allucinazioni

Il documento definisce l'allucinazione come un predicato strutturale sulla traccia TAO, categorizzata in cinque tipi distinti:

1. Fattuale ($h_F$): Affermazioni contraddette dai dati ground-truth al passaggio corrente.
2. Referenziale ($h_R$): Riferimenti a entità o risultati precedenti assenti dalla storia della traiettoria (il modello "ricorda" qualcosa che non è mai accaduto).
3. Logica ($h_L$): Ragionamento che non deriva dalle sue premesse, anche se le premesse sono corrette.
4. Procedurale ($h_P$): Saltare, riordinare o fabbricare passaggi richiesti dalla specifica del compito, o affermare il completamento di passaggi assenti.
5. Di Ambito ($h_S$): Un agente che agisce o afferma al di fuori del proprio mandato operativo specifico (unico nei contesti multi-agente).

C. Costruzione del Dataset (Trajel)

Il dataset comprende 225 traiettorie di agenti annotate da esperti generate attraverso 6 configurazioni di modello e 42 compiti industriali AssetOps.

• Protocollo di Annotazione: Un approccio ibrido mitiga i pregiudizi. Le traiettorie sono prima valutate da un LLM-giudice, seguite da una revisione umana in cieco da parte di due istituzioni (IBM e Columbia University) senza accesso ai giudizi dell'LLM.
• Etichette: Le annotazioni includono la presenza di allucinazione, il tipo (multi-etichetta), la localizzazione all'interno della traccia (Pensiero, Azione, Osservazione, Risposta) e la motivazione in testo libero.
• Statistiche: Il tasso di allucinazione identificato dagli umani è del 68,3%, con un $\kappa$ di Cohen di 0,456 tra i giudizi automatizzati e umani. Significativamente, il 48,7% delle traiettorie allucinate presenta più tipi simultaneamente.

D. Framework di Modellazione per il Rilevamento

Gli autori confrontano tre paradigmi di rilevamento supervisionato per affrontare diverse esigenze di contesto:

1. Classificazione a livello di sottocompito (BERT): Opera su singoli passaggi ($\tau_t, \alpha_t, \omega_t$) per rilevare indizi locali (efficace per le allucinazioni fattuali).
2. NLI a livello di traiettoria: Tratta il rilevamento come un problema di implicazione dove la storia della traiettoria è la premessa e il passaggio corrente è l'ipotesi (indirizza le allucinazioni referenziali e logiche).
3. Modellazione a contesto lungo (Longformer): Assorbe l'intera traiettoria serializzata per rilevare violazioni strutturali globali come le allucinazioni procedurali e basate sull'ambito.

E. Analisi dei Segnali

Lo studio investiga i segnali di qualità dell'esecuzione osservabili durante o immediatamente dopo l'esecuzione (Completamento del Compito, Accuratezza nel Recupero dei Dati, Verifica del Risultato, Correttezza della Sequenza degli Agenti, e Chiarezza e Giustificazione) per determinarne il potere predittivo sulle allucinazioni.

3. Risultati Chiave

A. Prevalenza e Tassonomia

• Le allucinazioni procedurali sono il modo di fallimento più comune, rappresentando il 38,5% dei fallimenti identificati. Queste sono invisibili alla valutazione basata solo sull'output.
• Complessità multi-etichetta: Quasi la metà (48,7%) delle traiettorie allucinate coinvolge più tipi simultaneamente, validando la necessità di formulazioni multi-etichetta rispetto alle classificazioni a singola etichetta.
• Varianza del Modello: I tassi di allucinazione variano drasticamente tra i modelli, oscillando dal 52,4% all'81,0%, indicando discrepanze significative su come diverse architetture mantengono il grounding su orizzonti lunghi.

B. Prestazioni di Rilevamento

• LLM-giudice: Pur raggiungendo un'alta accuratezza binaria (F1 = 0,855), il giudice classifica sistematicamente in modo errato i tipi sottili. L'accordo con gli umani scende significativamente per le allucinazioni Logiche ($\kappa = 0,211$) e Referenziali ($\kappa = 0,176$).
• Modelli Supervisionati: I modelli fine-tuned (BERT, NLI, Longformer) migliorano rispetto alle baseline della classe maggioritaria ma non riescono a eguagliare il giudice LLM zero-shot sui punteggi F1. Il miglior modello supervisionato (NLI) raggiunge un ROC-AUC di 0,689, confermando che il rilevamento delle allucinazioni a livello di traiettoria rimane una sfida irrisolta per i classificatori attuali.
• Localizzazione: Le allucinazioni sono localizzate più frequentemente nelle Azioni (47,5% delle procedurali) e nelle Risposte (40,3% delle fattuali), suggerendo che i fallimenti si verificano spesso nella traduzione del ragionamento nell'invocazione degli strumenti o nelle affermazioni di output.

C. Segnali Predittivi

Lo studio identifica la Chiarezza e la Giustificazione (CJ) come il predittore univariato più forte delle allucinazioni.

• Le traiettorie prive di ragionamento chiaro e fondato allucinano a un tasso del 94,3%, rispetto al 9,1% per le traiettorie ad alta chiarezza.
• Il segnale CJ da solo raggiunge un AUC di 0,908, superando significativamente il miglior classificatore addestrato (NLI, AUC = 0,689).
• Quando sono assenti sia la Chiarezza che la Verifica del Risultato, il tasso di allucinazione raggiunge il 97,1%, suggerendo che questi segnali possono servire come condizioni efficaci di "interruttore di emergenza" per gli orchestratori degli agenti.

4. Significato e Affermazioni

Il documento afferma che il rilevamento consapevole della traiettoria supera significativamente la verifica post-hoc standard, rendendo necessaria una valutazione fondata sulla tassonomia per un deployment agenziale più sicuro.

• Cambiamento nella Valutazione: Il lavoro sostiene che passare dalla verifica binaria della "risposta finale" all'analisi strutturale della traccia dell'agente è essenziale. Il paradigma attuale dei benchmark statici non riesce a catturare le dinamiche temporali e interattive dei loop degli agenti.
• Valore Diagnostico: La tassonomia a cinque tipi distacca i fallimenti di grounding dagli errori di ragionamento e dalle violazioni del flusso di controllo, fornendo la granularità necessaria per diagnosticare dove nella traiettoria è iniziata una deviazione.
• Percorso Pratico: I risultati suggeriscono che monitori runtime leggeri basati su segnali di qualità dell'esecuzione (in particolare Chiarezza e Giustificazione) offrono un percorso più pratico ed efficace per il rilevamento in tempo reale delle allucinazioni rispetto all'addestramento di classificatori supervisionati complessi su dati di traiettoria limitati.
• Limitazioni: Gli autori riconoscono che il dataset è limitato a un singolo dominio industriale (AssetOpsBench) e a sei configurazioni di modello. L'accordo tra annotatori rimane moderato per i tipi più sottili (Logico e Referenziale), indicando la necessità di protocolli di annotazione più ricchi. Il divario tra le prestazioni del classificatore supervisionato e quelle del giudice LLM motiva lavori futuri su architetture ibride.

In conclusione, Trajel fornisce il primo framework sistematico per l'audit delle allucinazioni a livello di traiettoria nei flussi di lavoro industriali multi-agente, dimostrando che i fallimenti procedurali e basati sull'ambito sono prevalenti, spesso co-occorrono e richiedono metodi di valutazione che rispettino l'integrità strutturale della traccia di esecuzione dell'agente.