From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

1. Il Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono sempre più utilizzati come agenti autonomi capaci di ragionamento, pianificazione e azione in ambienti interattivi (es. simulatori fisici o basati su testo come AlfWorld e ScienceWorld). Tuttavia, nonostante le loro capacità crescenti, i meccanismi interni che guidano il loro comportamento sequenziale rimangono opachi ("scatola nera").

Le sfide principali identificate sono:

• Opacità Temporale: I framework interpretativi tradizionali (visualizzazione delle feature, autoencoder sparsi) analizzano input statici e non catturano la dinamica temporale. Non riescono a spiegare quando e perché un agente inizia a fallire durante una sequenza di passaggi.
• Mancanza di Granularità: Un fallimento finale del task nasconde spesso passaggi intermedi corretti o, viceversa, un successo finale può nascondere errori critici recuperati accidentalmente. Senza una nozione di "successo" a livello di singolo passo, è impossibile individuare il momento esatto in cui il ragionamento dell'agente devia (es. allucinazioni o esplorazione irrilevante).
• Impossibilità di Intervento: Senza comprendere la traiettoria interna, gli agenti non possono autocorreggersi efficacemente una volta che la deriva (drift) del ragionamento è iniziata.

2. Metodologia

Il paper propone un framework di interpretabilità conformale temporale che trasforma l'analisi dell'agente da una valutazione finale a un'analisi temporale passo-passo. Il framework si basa su tre componenti chiave (illustrati nella Figura 1 del paper):

A. Modellazione del Reward Passo-Passo (Step-Wise Reward Modeling)

Invece di affidarsi solo al reward finale (spesso sparso), il sistema genera reward densi per ogni singolo passo della traiettoria.

• Tecnica: Utilizza il campionamento Monte Carlo sulla politica appresa dell'agente.
• Funzionamento: Dato uno stato corrente $t$, l'agente simula $N$ traiettorie future possibili. Il reward al passo $t$ ($r_t$) è calcolato come la media dei reward attesi di queste traiettorie future. Questo trasforma il segnale di successo/fallimento in un segnale probabilistico e prospettico.

B. Etichettatura Statistica tramite Conformal Prediction

Per assegnare etichette di "successo" o "fallimento" ai reward passo-passo con garanzie statistiche rigorose, viene utilizzata l'Inductive Conformal Anomaly Detection (ICAD).

• Non-Conformity Measure (NCM): Vengono definiti punteggi di non-conformità basati sui reward ($\alpha_s = 1 - r_t$ per il successo, $\alpha_f = r_t$ per il fallimento).
• Calibrazione: Calcolando i p-value rispetto a un set di calibrazione, il sistema assegna un'etichetta (successo/fallimento) con un errore di classificazione (falso positivo o falso negativo) rigorosamente limitato da una soglia di significatività $\epsilon$ (es. 10%).
• Vantaggio: Fornisce garanzie di copertura distribuzionale-free, assicurando che le etichette siano statisticamente valide.

C. Sonda delle Direzioni Latenti (Linear Probing)

Una volta ottenute le etichette conformali per ogni passo, il framework addestra sonde lineari (classificatori lineari semplici) sulle attivazioni interne del modello (stream residuo) a ogni layer e passo temporale.

• Obiettivo: Verificare l'ipotesi che le direzioni di "successo" e "fallimento" siano linearmente separabili nello spazio delle rappresentazioni latenti dell'LLM.
• Output: Le sonde identificano vettori di direzione nello spazio di attivazione che corrispondono a concetti temporali coerenti di successo o fallimento.

3. Contributi Chiave

1. Framework Interpretativo Temporale: Introduzione di un approccio sistematico per analizzare l'evoluzione dei concetti interni degli agenti LLM passo dopo passo, superando i limiti delle analisi statiche.
2. Garanzie Statistiche Conformali: Applicazione innovativa della Conformal Prediction per etichettare stati interni di agenti, fornendo limiti di errore provati per le etichette di successo/fallimento.
3. Scoperta di Separabilità Lineare: Dimostrazione empirica che gli agenti LLM (fine-tuned) sviluppano internamente nozioni di successo e fallimento che sono geometricamente separabili nello spazio delle attivazioni, attraverso layer e tempo.
4. Steering (Guida) dell'Agente: Sviluppo di un metodo per intervenire attivamente sull'agente. Utilizzando le direzioni di successo identificate, è possibile "spingere" (steer) lo stato interno dell'agente verso il successo durante l'inferenza, correggendo le derive di ragionamento in tempo reale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due ambienti simulati complessi: ScienceWorld (ragionamento scientifico) e AlfWorld (compiti domestici). Il modello di base è Llama-2-7B fine-tuned con il paradigma ReAct.

• Separabilità delle Direzioni:

  • Le sonde lineari hanno raggiunto accuratezza molto elevata (spesso >90-100% su ScienceWorld e fino al 95% su AlfWorld) nel distinguere stati di successo da stati di fallimento, sia su dati in-distribution (iD) che out-of-distribution (OOD).
  • I risultati sono stati coerenti attraverso diversi layer del modello (early, middle, late) e diversi passi temporali.
  • I punteggi F1 sono stati alti, confermando che la separabilità non è un artefatto di sbilanciamento delle classi.
  • Nota: Le prestazioni su AlfWorld sono state leggermente inferiori rispetto a ScienceWorld, probabilmente a causa della struttura del reward (singolo reward finale vs reward intermedi più densi in ScienceWorld).

• Steering e Intervento:

  • Applicando una tecnica di steering (Representation Engineering - RepE) basata sulle direzioni di successo identificate, gli autori hanno intervenuto al passo 3 di una traiettoria.
  • Risultato: L'agente guidato ha mostrato un miglioramento dell'accuratezza del 1.1% rispetto alla baseline. Sebbene il guadagno numerico sia modesto, è competitivo con metodi molto più costosi (come Best-of-N o DPO) in termini di rapporto costo-beneficio, e dimostra la fattibilità pratica dell'approccio.
  • Qualitativo: Le visualizzazioni (Figura 2) mostrano che lo steering corregge efficacemente le allucinazioni e ri-allinea l'agente alla sequenza corretta di sotto-obiettivi, prevenendo il fallimento del task.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo verso LLM autonomi affidabili in ambienti interattivi complessi:

• Rilevamento Precoce dei Fallimenti: Permette di identificare il momento esatto in cui un agente inizia a deviare, prima che il task fallisca definitivamente.
• Intervento Mirato: Offre un meccanismo per correggere il comportamento dell'agente in tempo reale senza bisogno di un ri-addestramento costoso, intervenendo direttamente sullo spazio latente.
• Fiducia (Trustworthiness: Fornisce una base teorica e pratica per spiegare il comportamento degli agenti, rendendo i sistemi autonomi più trasparenti e controllabili, un requisito fondamentale per il loro dispiegamento in scenari reali critici.

In sintesi, il paper trasforma l'interpretabilità da un'analisi post-hoc statica a un processo dinamico, statistico e azionabile, aprendo la strada a sistemi di agenti linguistici più robusti e sicuri.