Language Models Struggle to Use Representations Learned In-Context

1. Enunciato del Problema

Sebbene i Large Language Models (LM) abbiano dimostrato capacità impressionanti nella previsione del token successivo e nel ragionamento complesso, persiste un divario critico nella loro capacità di funzionare come agenti artificiali veramente adattabili. Nello specifico, il paper indaga se i LM possano dispiegare in modo flessibile rappresentazioni ricche e strutturate di dati apprese interamente in contesto (cioè, senza aggiornamenti dei parametri) per risolvere nuovi compiti downstream.

Il lavoro precedente (Park et al., 2025a) ha stabilito che i LM possono codificare nuove semantica nei loro stati nascosti latenti quando esposti a un contesto specifico (ad esempio, apprendendo la topologia di una passeggiata casuale). Tuttavia, non è chiaro se queste rappresentazioni siano inerti (decodificabili ma inutilizzate) o dispiegabili in modo flessibile (che guidano causalmente le risposte a nuovi compiti). La domanda fondamentale è: Un LM può apprendere una struttura in contesto e poi utilizzare attivamente tale struttura per risolvere un compito diverso che richiede quella stessa struttura?

2. Metodologia

Gli autori hanno progettato una serie di esperimenti utilizzando compiti sintetici per disaccoppiare la codifica (apprendimento della rappresentazione) dal dispiegamento (utilizzo della rappresentazione).

A. Compito Principale: Tracciamento di Grafi e Apprendimento di Rappresentazioni In-Contesto (ICRL)

• Configurazione: I modelli sono presentati con una sequenza di token arbitrari generati da una passeggiata casuale su uno spazio degli stati latente (le topologie includono linee 1D e griglie 2D di 16 o 25 stati).
• Metrica: Gli autori utilizzano l'Energia di Dirichlet (DE) e la Correlazione di Distanza (DC) per misurare se le rappresentazioni del livello nascosto del modello si sono riorganizzate per riflettere la topologia geometrica dello spazio degli stati.
• Obiettivo: Confermare che il modello apprende con successo la topologia nel suo spazio latente.

B. Esperimento 1: Previsione del Token Successivo con Ritardo

• Obiettivo: Verificare se la topologia appresa può essere utilizzata per prevedere il token successivo dopo un ritardo.
• Condizioni:
  1. Prefilled: La sequenza della passeggiata casuale è fornita come parte della risposta generata dal modello stesso (dispiegamento immediato).
  2. Istruzione: La sequenza è fornita nel prompt dell'utente, richiedendo al modello di generare un token [ANSWER] e poi prevedere la parola successiva dopo un intervallo (dispiegamento ritardato).
• Ipotesi: Se le rappresentazioni sono flessibili, le prestazioni dovrebbero essere simili in entrambe le condizioni. Se sono inerti, le prestazioni dovrebbero calare significativamente nella condizione Istruzione.

C. Esperimento 2: Modellazione Adattiva del Mondo (AWM)

• Obiettivo: Un compito nuovo progettato per costringere il modello a utilizzare la topologia appresa per inferire una regola di trasformazione.
• Configurazione:
  1. Fase 1: Il modello osserva una passeggiata casuale (apprendimento della topologia).
  2. Fase 2: Esempi few-shot definiscono una regola di mappatura degli stati (ad esempio, $s_{i,j} \to s_{i+2,j}$).
  3. Fase 3: Il modello deve applicare questa regola a uno stato tenuto da parte (held-out).
• Sfida: Poiché i token sono arbitrari, il modello deve fare affidamento sulla topologia appresa in contesto per risolvere la mappatura.
• Variazioni: Testato con regole "1-step" (regola osservata nella passeggiata) e "2-step/3-step" (regola non osservata).

D. Esperimento 3: Modelli di Ragionamento all'Avanguardia

• Soggetti: Modelli di "ragionamento" all'avanguardia (Gemini-2.5 Pro/Flash, GPT-5) che utilizzano il ragionamento a Catena di Pensiero (Chain-of-Thought, CoT).
• Obiettivo: Determinare se le catene di ragionamento esternalizzate possono compensare rappresentazioni nascoste inerti.
• Analisi: Testato su AWM e su un compito di "Descrizione della Struttura" (chiedendo al modello di descrivere verbalmente la topologia appresa).

3. Contributi Chiave

1. Introduzione della Modellazione Adattiva del Mondo (AWM): Un nuovo compito di benchmark specificamente progettato per sondare il dispiegamento flessibile di semantica in contesto.
2. Disaccoppiamento della Codifica dal Dispiegamento: Lo studio fornisce prove empiriche che l'apprendimento di rappresentazioni in contesto di successo (codifica) non garantisce la capacità di utilizzare tali rappresentazioni per compiti downstream (dispiegamento).
3. Analisi dei Modelli di Ragionamento: La prima valutazione sistematica di whether i modelli di ragionamento all'avanguardia superano il limite della "rappresentazione inerte" riscontrato nei modelli standard open-weights.

4. Risultati Chiave

A. Modelli Open-Weights (Gemma, OLMo)

• Successo nella Codifica: I modelli hanno appreso con successo la topologia nelle loro rappresentazioni latenti (le metriche DE e DC sono migliorate con la lunghezza del contesto) in entrambe le condizioni Istruzione e Prefilled.
• Fallimento nel Dispiegamento:
  • Previsione del Token Successivo: I modelli hanno performato bene nella condizione Prefilled ma hanno faticato significativamente nella condizione Istruzione (dispiegamento ritardato), nonostante avessero rappresentazioni latenti equivalenti.
  • Compito AWM: I modelli non sono riusciti a risolvere il compito AWM quando richiesto di inferire la topologia in contesto. L'accuratezza era vicina alla linea di base.
  • Risultato Cruciale: Quando la topologia è stata fornita esplicitamente nel prompt (bypassando la necessità di apprenderla in contesto), l'accuratezza è salita a >75%. Questo dimostra che il fallimento non era nell'induzione della regola, ma nel dispiegare la rappresentazione appresa in contesto.
  • Degradazione della Rappresentazione: Le rappresentazioni nascoste dei token negli esempi few-shot (fase AWM) mostravano una fedeltà inferiore alla topologia rispetto alla fase di passeggiata casuale, suggerendo che la struttura appresa non veniva trasferita in modo flessibile.

B. Modelli di Ragionamento all'Avanguardia (Gemini, GPT-5)

• Miglioramento Parziale: I modelli di ragionamento hanno superato i modelli open-weights, in particolare sulle topologie 1D (linea).
• Limitazioni Persistenti: Le prestazioni sono crollate sulle topologie 2D (griglia).
• Meccanismo: Quando richiesti di descrivere esplicitamente la topologia appresa, questi modelli hanno raggiunto un'accuratezza "soddisfacente ma non perfetta". Ciò suggerisce che, sebbene le catene CoT permettano alcun dispiegamento flessibile della semantica, il processo è imperfetto e non supera completamente l'inerzia delle rappresentazioni nascoste sottostanti.

5. Significato e Implicazioni

• Il Problema della "Rappresentazione Inerte": Il paper sfida l'assunzione che l'apprendimento in contesto crei un "modello del mondo" pienamente funzionale. Suggerisce che i LM spesso codificano strutture dipendenti dal contesto in modo inerte: esistono nello spazio latente ma non possono essere accessibili causalmente per guidare il comportamento in nuovi contesti.
• Limiti delle Architetture Attuali: Anche i modelli di ragionamento più avanzati (CoT) mitigano solo parzialmente questo problema. Ciò implica che le attuali architetture transformer, anche con ragionamento esteso, potrebbero mancare dei meccanismi necessari per agenti veramente adattabili che possono costruire e dispiegare modelli del mondo interni al volo.
• Direzioni Future: Gli autori suggeriscono che il raggiungimento di un dispiegamento flessibile potrebbe richiedere:
  • Regimi di training mirati.
  • Interventi meccanicistici per rendere la semantica in contesto disponibile ai livelli precedenti del modello.
  • Cambiamenti architetturali che supportino il collegamento dinamico delle rappresentazioni apprese al ragionamento downstream.

In sintesi, il paper dimostra che, sebbene i LM siano eccellenti nel registrare nuove informazioni nella loro finestra di contesto, attualmente faticano ad agire su tali informazioni quando ciò richiede un'applicazione flessibile e causale della struttura appresa a un compito nuovo.