Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

1. Il Problema

Il lavoro si interroga su come e quando l'ottimizzazione dei modelli linguistici (LLM) tramite apprendimento autoregressivo (next-token prediction) porti alla formazione di rappresentazioni interne che tracciano fedelmente lo stato del mondo ("world-tracking"), rispetto a rappresentazioni che catturano solo le distinzioni localmente utili per la previsione.
Mentre l'ipotesi della "Rappresentazione Platonica" suggerisce che i modelli tendano a convergere verso un modello statistico condiviso della realtà, critiche recenti indicano che l'allineamento globale potrebbe essere un artefatto della scala e che il segnale robusto è spesso locale. Il paper mira a isolare e formalizzare esattamente quali distinzioni latenti un modello deve preservare per raggiungere la perdita ottimale di Bayes in un dato ambiente di addestramento, e come la pressione competitiva tra modelli influenzi queste distinzioni.

2. Metodologia: L'Organismo Modello

L'autore adotta un approccio metodologico basato sull'uso di organismi modello (model organisms), simile a quello usato in biologia, ma applicato agli LLM.

• Sistema: Viene utilizzato un piccolo transformer autoregressivo congelato (frozen), ispirato all'architettura microgpt di Karpathy, implementato in Julia.
• Ambiente (Ecologia): Il "mondo" è composto da stati latenti (configurazioni di realtà) derivati da corpora multilingue (es. Alice nel Paese delle Meraviglie, La Divina Commedia, Il Manifesto Comunista).
• Approccio: A differenza degli studi su modelli su larga scala dove le rappresentazioni sono nascoste, qui l'autore può osservare, enumerare e confrontare direttamente tutte le quantità teoricamente rilevanti (partizioni indotte, decomposizioni esatte della perdita su ecologie finite, traiettorie di selezione a livello di popolazione).
• Scopo: Validare la teoria in un regime dove le quantità sono osservabili, per poi estrapolare previsioni condizionate per i modelli di produzione.

3. Contributi Chiave

A. Decomposizione Esatta della Perdita e Veridicità Ecologica

Il contributo teorico principale è la dimostrazione che la perdita incrociata (cross-entropy) next-token Bayes-ottimale indotta da una codifica $p$ si decompone esattamente in:
$$L^*_D(p) = H(Y | C, W) + \text{Excess}(p)$$
Dove:

• $H(Y | C, W)$ è l'entropia condizionale irriducibile (il limite inferiore teorico).
• $\text{Excess}(p)$ è un termine di eccesso di Jensen-Shannon (JS).

Risultato fondamentale: L'eccesso si annulla se e solo se la codifica $p$ preserva esattamente le classi di equivalenza dell'ecologia di addestramento. Un'encoding è "ecologicamente veridica" se fonde solo stati che sono equivalenti rispetto ai compiti dell'ecologia, ma non stati che l'ecologia distingue. La soluzione a complessità minima con eccesso zero è la partizione quoziente $W/\sim_\mu$.

B. Applicabilità ai Transformer Congelati

Il paper identifica quando questa analisi statica si applica alle architetture transformer:

• Transformer Densi e MoE (Mixture-of-Experts) congelati: Soddisfano la condizione di "impenetrabilità cognitiva" (l'implementazione è fissa; le variazioni di compito avvengono solo tramite il contesto di input).
• Apprendimento In-Context (ICL): Non espande l'insieme di separazione del modello; seleziona solo quale contesto usare tra quelli già disponibili, senza creare nuove distinzioni latenti.
• Adattamento per-task (es. LoRA, fine-tuning): Rompe la premessa di codifica fissa, rendendo l'analisi statica non direttamente applicabile senza considerare la variazione dell'implementazione stessa.

C. Dinamica Evolutiva e Selezione Inter-Modelli

Il lavoro estende la teoria alla dinamica delle popolazioni di modelli:

• Tratta i modelli addestrati come entità replicanti in un ecosistema evolutivo (ereditarietà, variazione, selezione).
• Dimostra che, sotto assunzioni esplicite, la selezione tra linee di modelli spinge verso una riduzione della perdita di eccesso ecologico.
• Introduce un meccanismo a due ecologie: l'ecologia dei token (addestramento base) e l'ecologia di valutazione (benchmark, preferenze utente). Se una distinzione è debole nell'ecologia dei token ma forte in quella di valutazione, la selezione delle linee di modelli e il post-training possono "resuscitare" queste distinzioni attraverso un'iniezione di ecologia, superando la pressione verso la semplicità.

D. Pressione di Semplicità e Soglie di Fusione

Il paper caratterizza la soluzione a complessità minima: tra tutte le codifiche veridiche, quella preferita è la partizione più grezza possibile (quoziente).

• Viene definito un obiettivo regolarizzato $J_{D,\beta}$ che bilancia la perdita predittiva e la complessità (entropia della partizione).
• Viene derivata una soglia locale di split-merge: una distinzione viene mantenuta solo se il guadagno predittivo (divergenza JS) supera il costo in termini di complessità ($\beta \cdot h(\lambda)$).
• Predizione: La pressione di semplicità rimuove preferenzialmente le distinzioni a basso guadagno predittivo, portando a errori su compiti che richiedono queste distinzioni deboli.

4. Risultati Sperimentali

Gli esperimenti su microgpt validano le previsioni teoriche in un regime controllato:

1. Calibrazione Esatta: La perdita misurata coincide esattamente con il termine di eccesso Jensen-Shannon previsto dal teorema.
2. Validazione della Soglia: Gli esperimenti mostrano che le transizioni globali nella partizione ottimale (fusione di classi) avvengono esattamente quando il parametro di regolarizzazione $\beta$ supera la soglia teorica calcolata localmente.
3. Fallimento Fuori Ecologia: I modelli addestrati su un'ecologia specifica falliscono su distinzioni non presenti in essa (es. testi Voynich o lingue non viste), mostrando un aumento della perdita e una maggiore divergenza tra modelli diversi.
4. Meccanismo a Due Ecologie: Esperimenti su bilanciamento di parentesi in codice Lisp dimostrano che l'iniezione di un'ecologia di valutazione (anche senza supervisione diretta sul bilanciamento, ma solo tramite selezione della popolazione) permette di recuperare distinzioni strutturali che l'addestramento base da solo non avrebbe appreso.

5. Significato e Conclusioni

Il paper offre un quadro teorico rigoroso per comprendere la selezione delle rappresentazioni negli LLM senza fare affidamento su ipotesi geometriche globali non dimostrate.

• Veridicità Topologica vs Geometrica: Il lavoro prova la convergenza topologica (quali distinzioni vengono preservate o fuse) ma non la convergenza geometrica (quanto distanti sono gli stati nello spazio latente). Questo risolve parzialmente il dibattito tra l'ipotesi Platonica e le critiche recenti, confermando che la struttura delle partizioni è determinata dall'ecologia.
• Limiti e Fallimenti: Identifica due modalità di fallimento caratteristiche:
  1. La pressione di semplicità elimina le distinzioni a basso guadagno.
  2. I modelli ottimali per l'addestramento possono comunque avere un eccesso positivo su ecologie di deployment più raffinate.
• Costruzione di Nicchia: Il paper sottolinea che per gli LLM, la realtà ($W$) non è esogena ma è parzialmente co-costruita dai modelli stessi (i loro output entrano nei dati di addestramento futuri), creando un ciclo di feedback complesso (niche construction).

In sintesi, l'autore utilizza piccoli modelli come "laboratori" per dimostrare che la veridicità delle rappresentazioni è una proprietà emergente della selezione ecologica e della pressione di complessità, fornendo previsioni verificabili e meccanismi specifici per il fallimento e il recupero delle capacità dei modelli.