Sintesi Tecnica: Una Valutazione Comportamentale e Rappresentazionale della Direzionalità verso l'Obiettivo negli Agenti di Modelli Linguistici

Definizione del Problema

Comprendere gli obiettivi di un agente è essenziale per spiegare e prevedere il suo comportamento, eppure non esiste una metodologia consolidata per attribuire in modo affidabile gli obiettivi ai sistemi agentici, in particolare agli agenti basati su Large Language Models (LLM). Le valutazioni puramente comportamentali affrontano limiti fondamentali: un fallimento costante può riflettere vincoli di capacità piuttosto che una mancanza di direzionalità verso l'obiettivo (goal-directedness); allo stesso modo, un comportamento allineato può emergere da obiettivi interni disallineati (convergenza strumentale). Al contrario, le analisi puramente interne prive di fondamento comportamentale possono non catturare come gli agenti interagiscano effettivamente con il loro ambiente. Questo articolo affronta la necessità di un framework olistico che integri la valutazione comportamentale con analisi dell'interpretabilità delle rappresentazioni interne per caratterizzare come gli agenti rappresentano e perseguono gli obiettivi.

Metodologia

Gli autori propongono un framework "white-box" che combina la valutazione comportamentale con il probing delle attivazioni, testato su un agente GPT-OSS-20B che naviga in un mondo a griglia 2D completamente osservabile (ambiente MiniGrid).

1. Configurazione Sperimentale

• Ambiente: L'agente opera in griglie $n \times n$ ($n \in \{7, 9, 11, 13, 15\}$) con diverse densità di ostacoli $d \in [0, 1]$. Il compito è navigare da una posizione iniziale a uno stato obiettivo.
• Osservabilità: L'ambiente è completamente osservabile per eliminare i fattori di confondimento legati alla memoria, all'aggiornamento delle credenze sotto incertezza e ai compromessi tra esplorazione ed esplorazione (exploration-exploitation).
• Rappresentazione dell'Input: Le griglie sono convertite in rappresentazioni testuali dove ogni cella corrisponde a un singolo token per mitigare i problemi di tokenizzazione.
• Baseline: Una politica ottimale ($\pi^*$) è derivata tramite ricerca A* con distanza di Manhattan.

2. Valutazione Comportamentale

Gli autori valutano la politica dell'agente ($\pi_\theta$) rispetto alla politica ottimale attraverso diverse dimensioni:

• Difficoltà del Task: Le metriche includono l'accuratezza per azione, l'entropia della politica e la divergenza di Jensen-Shannon (JSD) dalla politica ottimale.
• Trasformazioni Iso-difficoltà: Per testare la robustezza rispetto alle proprietà incidentali della griglia, gli autori applicano trasformazioni che preservano la difficoltà del task (dimensione della griglia, densità degli ostacoli, lunghezza del percorso ottimale) ma ne alterano la configurazione: riflessione, rotazione, scambio di inizio/obiettivo e trasposizione.
• Strutture di Obiettivi Complesse:
  • Obiettivi Strumentali: Compiti che richiedono sotto-obiettivi intermedi (es. raccogliere una chiave per sbloccare una porta).
  • Obiettivi Impliciti: Compiti che contengono oggetti simili a obiettivi ma funzionalmente irrilevanti (es. una chiave senza una porta).

3. Valutazione Rappresentazionale (Probing)

Gli autori estraggono le attivazioni dal residual stream da livelli intermedi (7, 15, 23) in punti specifici: pre-ragionamento (prima che il modello generi i token di ragionamento) e post-ragionamento (dopo il ragionamento, prima della selezione dell'azione).

• Mappe Cognitive: Probe lineari e MLP vengono addestrati per decodificare i tipi di cella (muro, spazio vuoto, agente, obiettivo) dalle attivazioni, ricostruendo la "credenza" interna dell'agente sullo stato della griglia.
• Decodifica del Piano: Un decoder Transformer viene addestrato per predire sequenze di azioni multi-step ($T=10$) da un set fisso di attivazioni utilizzando un approccio di decodifica one-shot, per garantire che la struttura del piano sia codificata nel modello base e non nel probe.
• Intervento: Sono stati condotti esperimenti preliminari di activation patching per testare i legami causali tra rappresentazioni e azioni.

Risultati Chiave

Risultati Comportamentali

• Sensibilità alla Difficoltà: L'accuratezza per azione diminuisce monotonicamente con la dimensione della griglia e la densità degli ostacoli, mentre l'entropia e la JSD aumentano. La performance è robusta rispetto alla distanza dall'obiettivo solo nelle griglie più grandi.
• Robustezza alle Trasformazioni: La performance dell'agente non mostra differenze statisticamente significative tra le trasformazioni iso-difficoltà (riflessione, rotazione, ecc.), indicando che il comportamento è guidato da informazioni rilevanti per il task piuttosto che da bias della configurazione della griglia.
• Strutture di Obiettivi:
  • L'agente gestisce con successo gli obiettivi strumentali (100% di successo in KeyDoorEnv).
  • L'agente è suscettibile agli obiettivi impliciti: In KeyNoDoorEnv (dove la chiave è inutile), l'agente raccoglie la chiave nel 17% delle traiettorie, e il 75% delle azioni non ottimali si muove verso la chiave. In 2PathKeyEnv, l'agente mostra un bias verso il percorso contenente una chiave vestigiale, riducendo leggermente i tassi di successo complessivi.

Risultati Rappresentazionali

• Mappe Cognitive: L'agente codifica in modo non lineare una mappa spaziale grossolana. I probe MLP raggiungono circa il 70% di accuratezza nel decodificare l'identità delle celle, con un alto recall per le posizioni di agente e obiettivo (83–99%), ma una precisione inferiore a causa della "sfocatura" (assegnazione di etichette a celle vicine). L'informazione sui muri è meno dettagliata.
• Riorganizzazione del Ragionamento:
  • Pre-ragionamento: Le attivazioni preservano indizi spaziali più ampi e piani a lungo termine.
  • Post-ragionamento: Le attivazioni spostano il focus verso la selezione dell'azione immediata. L'accuratezza della mappa cognitiva scende significativamente (da ~75% a ~60%) dopo il ragionamento, suggerendo una riorganizzazione delle rappresentazioni lontano dalla struttura spaziale decodificabile verso una codifica specifica per l'azione.
• Decodifica del Piano:
  • La decodifica one-shot rivela che le attivazioni pre-ragionamento contengono una struttura di traiettoria a lungo termine recuperabile (migliore per i prefissi $N \ge 5$).
  • Le attivazioni post-ragionamento sono superiori per la selezione dell'azione immediata (migliore per $N=1$).
  • Un decoder a 2 strati performa meglio in generale, suggerendo che l'informazione dell'azione immediata è accessibile a readout a bassa capacità, mentre la struttura multi-step richiede maggiore capacità.
• Coerenza: Una frazione sostanziale di azioni subottimali rispetto alla griglia reale è ottimale rispetto alla mappa cognitiva decodificata (Tasso di recupero: 37.4%–88.4%). Ciò suggerisce che molti fallimenti derivano da modelli del mondo interni (imprecisi) piuttosto che da una mancanza di direzionalità verso l'obiettivo.
• Limiti dell'Intervento: L'activation patching a singolo livello ha fallito nel modificare le azioni. Solo il patching simultaneo su tutti i livelli ha cambiato con successo l'azione predetta dal modello, indicando che l'informazione sullo stato rilevante per il task è distribuita piuttosto che localizzata.

Contributi

1. Framework: Propone un framework unificato che combina la valutazione comportamentale e il probing delle rappresentazioni per valutare la direzionalità verso l'obiettivo.
2. Design Sperimentale: Introduce perturbazioni controllate dell'ambiente (trasformazioni iso-difficoltà) e strutture multi-obiettivo per misurare bias e robustezza.
3. Intuizioni sui Meccanismi: Dimostra che gli agenti LLM codificano mappe cognitive e piani multi-step, e che il ragionamento riorganizza queste rappresentazioni da indizi spaziali/a lungo termine verso la selezione dell'azione immediata.
4. Analisi della Coerenza: Mostra che le deviazioni comportamentali dall'ottimalità spesso si allineano con le credenze interne (imperfette) dell'agente, rendendo necessaria un'analisi introspettiva oltre le metriche di performance superficiali.

Significato e Rivendicazioni

L'articolo sostiene che l'esame introspezione è richiesto oltre le valutazioni comportamentali per caratterizzare pienamente la direzionalità verso l'obiettivo. Gli autori affermano che:

• La direzionalità verso l'obiettivo è una proprietà ricca che deriva dall'interazione tra credenze, pianificazione e selezione dell'azione.
• Le metriche puramente comportamentali possono essere confuse da limitazioni di capacità o da obiettivi interni disallineati che producono un comportamento allineato strumentalmente.
• Il "bias" osservato verso oggetti simili a obiettivi ma irrilevanti (chiavi) può riflettere un conflitto tra il prompt del task esplicito e le associazioni semantiche acquisite durante il pre-training (es. una chiave implica progresso), che non vengono costantemente soppresse.
• Il framework fornisce una base per sviluppare approcci rigorosi all'attribuzione degli obiettivi, che è un prerequisito per le affermazioni di sicurezza riguardanti i sistemi IA autonomi.

Gli autori rimangono modesti, osservando che il loro setup controllato astrae la complessità del mondo reale e che stabilire legami causali tramite activation patching rimane una sfida aperta. Non pretendono di aver risolto il problema dell'allineamento, ma piuttosto di aver fornito un passo metodologico verso la comprensione dei meccanismi interni del perseguimento degli obiettivi negli agenti LLM.