Riepilogo Tecnico: Storie nello Spazio: Traiettorie di Apprendimento in Contesto nello Spazio di Credenza Concettuale

Enunciato del Problema

I Modelli Linguistici su Larga Scala (LLM) mostrano notevoli capacità di apprendimento in contesto (ICL), adattando il loro comportamento a nuove informazioni senza aggiornamenti dei pesi. Questo processo è spesso inquadrato come inferenza bayesiana, dove il modello ripesa i concetti latenti in base ai dati di input. Tuttavia, la struttura dello spazio delle ipotesi latenti su cui opera tale inferenza rimane poco chiara. Nello specifico, non è noto come gli LLM rappresentino concetti complessi e come aggiornino dinamicamente le credenze su tali concetti mentre elaborano testi liberi, come le storie, dove gli aggiornamenti delle credenze possono essere non lineari e idiosincratici piuttosto che costanti e monotoni.

Metodologia

Gli autori propongono che gli LLM assegnino credenze su uno spazio geometrico a bassa dimensionalità, denominato spazio di credenza concettuale, e che l'ICL corrisponda a una traiettoria attraverso questo spazio. Per indagare ciò, combinano analisi comportamentali e rappresentazionali utilizzando la comprensione delle storie come contesto naturale per l'aggiornamento dinamico delle credenze.

Quadro Teorico

Il lavoro estende la teoria degli spazi concettuali (Gärdenfors, 2000) per tenere conto dell'incertezza e della credenza.

• Spazio Concettuale ($C$): Uno spazio metrico su attributi in cui i concetti sono definiti come sottospazi convessi.
• Spazio di Credenza Concettuale ($B$): Uno spazio metrico di distribuzioni di probabilità su $C$, che rappresenta gli stati di credenza del modello.
• Traiettorie di Credenza: Una sequenza di stati di credenza ($b_{1:T}$) mentre il modello elabora una storia $x_{1:T}$, formando un percorso attraverso lo spazio di credenza.

Setup Sperimentale

• Dataset: Gli autori utilizzano il dataset SimpleStories, composto da brevi storie generate sinteticamente in vari stili (avventura, classico, spensierato, malinconico, tragico).
• Dominî: Sono stati testati tre domini concettuali:
  1. Emozioni: Felicità, Tristezza, Rabbia, Sorpresa, Paura, Disgusto.
  2. Generi: Spensierato, Fiaba, Avventura, Suspense, Tragico, Horror.
  3. Arbitrario: Magia, Animali, Curiosità, Lavoro di squadra, Creatività, Responsabilità (funzionante come controesempio senza struttura attesa).
• Modello: Llama-3.1-8b-instruct (quantizzato a 4 bit).

Tecniche Principali

1. Elicitazione della Credenza: Il modello viene sollecitato dopo ogni frase di una storia a valutare l'applicabilità di concetti specifici su una scala da 0 a 10. Lo stato di credenza comportamentale $y_{t,c}$ è calcolato come il valore atteso delle probabilità dei token del modello.
2. Riduzione della Dimensionalità: L'Approssimazione e Proiezione di Varietà Uniforme (UMAP) e l'Analisi delle Componenti Principali (PCA) sono applicati sia ai dati comportamentali ($Y$) che alle attivazioni residue ($Z$) per identificare varietà a bassa dimensionalità ($\mathcal{M}_y$ e $\mathcal{M}_z$).
3. Sonde Lineari: Modelli di regressione lineare sono addestrati per prevedere le credenze comportamentali ($y_{t,c}$) dalle attivazioni degli strati nascosti ($z_{t,\ell}$) per verificare se le credenze sono codificate linearmente.
4. Guida delle Attivazioni: Gli autori intervengono sulle attivazioni latenti aggiungendo vettori di guida (derivati dai pesi della sonda lineare o dalla differenza delle medie) per testare il controllo causale sulle traiettorie di credenza.

Contributi e Risultati Chiave

1. Varietà Strutturate a Bassa Dimensionalità

Lo studio rileva che gli aggiornamenti delle credenze negli LLM sono ben descritti come traiettorie su varietà strutturate a bassa dimensionalità.

• Allineamento Comportamentale e Rappresentazionale: Le varietà derivate dal comportamento del modello ($\mathcal{M}_y$) e dalle attivazioni interne ($\mathcal{M}_z$) sono altamente correlate e condividono proprietà strutturali.
• Struttura del Dominio: Per i domini Emozioni e Generi, le varietà mostrano una struttura chiara. Per le Emozioni, la geometria della varietà appresa corrisponde strettamente allo spazio Valenza-Arousal validato dall'uomo (Russell & Mehrabian, 1977), con una correlazione di $r=0.93$ tra le valutazioni umane e la varietà comportamentale del modello.
• Contrasto con l'Arbitrario: Il dominio Arbitrario, privo di struttura semantica intrinseca, ha mostrato una struttura di varietà meno chiara e una correlazione inferiore tra le varietà comportamentali e di attivazione ($r=0.71$), supportando l'ipotesi che la struttura derivi da relazioni concettuali significative.

2. Decodificabilità Lineare delle Credenze

Le sonde lineari addestrate sulle attivazioni nascoste possono prevedere accuratamente le credenze comportamentali del modello.

• Le sonde allo strato $\ell=9$ hanno ottenuto un basso Errore Quadratico Medio (RMSE) nella previsione delle dinamiche delle credenze: 0,09 per le Emozioni, 0,09 per i Generi e 0,11 per l'Arbitrario.
• Ciò suggerisce che le informazioni riguardanti le "credenze" del modello sulla storia sono accessibili linearmente nel flusso residuo, anche quando il modello non è esplicitamente istruito a considerare concetti specifici.

3. Guida Causale e Geometria

Gli interventi sulle rappresentazioni nascoste guidano causalmente le traiettorie di credenza, e gli effetti di tali interventi sono prevedibili dalla geometria dello spazio concettuale.

• Effetto di Guida: L'aggiunta di vettori di guida per un concetto target (ad esempio, tristezza) sposta la traiettoria del modello nella varietà di credenza verso quel concetto.
• Intreccio della Guida: La guida per un concetto influenza spesso concetti correlati (ad esempio, guidare per la tristezza aumenta la rabbia e diminuisce la felicità). Questo intreccio rispecchia le distanze geometriche tra i centroidi dei concetti nella varietà.
• Prevedibilità: Il grado di intreccio della guida tra i concetti è significativamente correlato alla distanza tra i loro centroidi nella varietà appresa ($r=0.65$ per le Emozioni).
• Dinamiche degli Strati: La guida su un singolo strato spesso non persiste fino all'output a causa dell'autocorrezione del modello; tuttavia, la guida su un intervallo di strati (ad esempio, strati 7–14) altera con successo il comportamento finale dell'output.

Significato e Affermazioni

Il documento afferma di fornire una spiegazione geometrica delle dinamiche di credenza negli LLM, fondando le interpretazioni bayesiane dell'apprendimento in contesto su rappresentazioni concettuali strutturate.

• Unificazione dei Quadri: Il lavoro colma il divario tra le teorie probabilistiche dell'apprendimento (inferenza bayesiana) e le teorie geometriche della rappresentazione concettuale (spazi concettuali) nelle scienze cognitive.
• Interpretabilità: Dimostra che aggiornamenti complessi e dinamici delle credenze in testi liberi possono essere compresi come traiettorie fluide attraverso uno spazio a bassa dimensionalità, che può essere decodificato e manipolato.
• Modestia: Gli autori riconoscono i limiti, notando che lo studio si basa su domini e concetti selezionati a mano, tratta i concetti come unitari piuttosto che composizionali e si concentra su credenze globali a livello di storia piuttosto che su quelle specifiche dei personaggi. Inquadrano questo come un primo passo verso una base teorica per l'interpretabilità degli LLM, suggerendo che il lavoro futuro dovrebbe esplorare metodi di "auto-interpretabilità" per scoprire domini concettuali e investigare come questi spazi plasmino l'incertezza nella generazione di testi lunghi.

In sintesi, il documento sostiene che gli LLM non elaborano il testo semplicemente come una sequenza di token, ma navigano uno spazio strutturato di credenza concettuale a bassa dimensionalità, aggiornando il loro stato interno lungo traiettorie fluide che riflettono il contenuto semantico ed emotivo della narrazione.