Learning is Forgetting: LLM Training As Lossy Compression

1. Il Problema

Nonostante la proliferazione dei Large Language Models (LLM), la comprensione di come siano strutturati i loro spazi rappresentativi rimane limitata. Le attuali tecniche di interpretazione (come il probing comportamentale o le interviste causali) spesso analizzano singoli circuiti o neuroni, ma faticano a fornire una visione olistica su scala di interi modelli.
Gli autori sostengono che manca un quadro teorico unificato per spiegare come i modelli apprendano e generalizzino. In particolare, non è chiaro quali informazioni vengano preservate o "dimenticate" durante l'addestramento e come questo si relazioni alle prestazioni finali.

2. Metodologia e Quadro Teorico

Il paper propone di interpretare l'addestramento degli LLM come un processo di compressione con perdita (lossy compression), basandosi sulla teoria dell'Information Bottleneck (IB) e sulla Teoria della Distorsione-Rate (Rate Distortion Theory).

Concetti Chiave

• Compressione con Perdita: Analogamente a come un file MP3 scarta le frequenze non udibili o un JPEG le variazioni di colore impercettibili, gli LLM apprendono trattenendo solo le informazioni dai dati di addestramento rilevanti per l'obiettivo (previsione del prossimo token).
• Piano dell'Informazione (Information Plane): Gli autori mappano i modelli in uno spazio 2D definito da:
  • Complessità ($I(X; Z)$): L'informazione mutua tra l'input ($X$) e le rappresentazioni interne ($Z$). Rappresenta quanto il modello "ricorda" dell'input.
  • Espressività ($I(Y; Z)$): L'informazione mutua tra le rappresentazioni ($Z$) e l'output target ($Y$). Rappresenta quanto il modello è utile per la previsione.
• Il Limite IB: Esiste un confine teorico (bound) dove la compressione è ottimale: il modello mantiene solo l'informazione necessaria per prevedere $Y$, minimizzando la ridondanza su $X$.

Stima dell'Entropia (Metodo Tecnico)

Calcolare l'entropia di Shannon per spazi vettoriali continui di grandi dimensioni è computazionalmente proibitivo. Gli autori utilizzano un stimatore di entropia soft (basato su Conklin, 2025):

1. Normalizzazione: Le rappresentazioni vettoriali $Z$ vengono normalizzate sulla superficie di una sfera unitaria.
2. Campionamento: Vengono campionati $n$ punti di riferimento (anchor) uniformemente distribuiti sulla sfera.
3. Assegnazione Soft: Ogni embedding viene assegnato "morbidamente" a questi punti tramite una funzione softmax basata sulla similarità del coseno.
4. Calcolo: Si stima l'entropia della distribuzione risultante, permettendo il calcolo efficiente dell'informazione mutua su modelli di scala LLM con un singolo passaggio in avanti (single forward pass).

Sperimentazione

• Dati: Analisi di checkpoint intermedi durante il pre-training della famiglia OLMo2 (modelli da 1B, 7B e 32B parametri) e confronto con 75 modelli open-weight di 6 famiglie diverse (Llama, Gemma, Qwen, ecc.).
• Dataset: C4 (per il pre-training), Tulu (per le preferenze umane) e vari benchmark (MMLU Pro, BBH, ecc.).
• Back-off: Utilizzo di n-grammi (token, bigrammi, trigrammi, quadgrammi) per analizzare come l'informazione contestuale viene compressa.

3. Contributi Chiave e Risultati

A. Dinamiche di Addestramento a Due Fasi

L'analisi conferma la previsione della teoria IB per gli LLM su larga scala:

1. Fase di Adattamento (Fitting): Inizialmente, il modello aumenta l'informazione mutua con l'output ($I(Y; Z)$), imparando a prevedere il prossimo token.
2. Fase di Compressione: Successivamente, il modello riduce l'informazione mutua con l'input ($I(X; Z)$), "dimenticando" i dettagli irrilevanti dell'input per avvicinarsi al limite di compressione ottimale.

• Risultato: I modelli OLMo2 seguono fedelmente questa traiettoria, avvicinandosi al limite IB man mano che la perdita (loss) di previsione si satura.

B. L'Effetto della Scala (Scaling)

• I modelli più grandi (7B e 32B) riescono a completare la fase di compressione e ad avvicinarsi al limite ottimale.
• I modelli più piccoli (1B) faticano a comprimere significativamente nella seconda fase, oscillando lontano dal limite. Questo suggerisce che esiste una soglia di parametri necessaria per gestire la complessità dei dati e raggiungere una compressione ottimale.

C. Convergenza dei Modelli Open-Weight

Analizzando 75 modelli open-weight diversi, gli autori osservano che, indipendentemente dall'architettura o dal metodo di addestramento, tutti convergono verso lo stesso punto vicino al limite di compressione ottimale. Questo indica che la compressione è una proprietà fondamentale dell'apprendimento profondo su dati linguistici, non un artefatto di una specifica famiglia di modelli.

D. Relazione tra Struttura Rappresentativa e Prestazioni

La "bontà" della compressione è un forte predittore delle prestazioni:

• Ottimalità: Il rapporto tra espressività e complessità (quanto il modello è vicino al limite IB) correla significativamente con le prestazioni su 6 benchmark diversi ($r = 0.52, p < 0.001$).
• Contesto vs. Token: I modelli ad alte prestazioni tendono a codificare meno informazioni a livello di singolo token e più informazioni a livello di contesto locale (bigrammi, trigrammi).
• Informazione sulle Preferenze: La quantità di informazione sulle preferenze umane ($I(Z; \text{preferred})$) presente nel modello è un predittore ancora più forte delle prestazioni ($r = 0.76$). Questo suggerisce che il pre-training apprende la struttura di base, mentre il post-training (RLHF/DPO) inietta informazioni specifiche sulle preferenze.

E. Distinzione tra Compiti

• La compressione ottimale dei dati generici (C4) predice bene le prestazioni su compiti di ragionamento, matematica e conoscenza fattuale.
• Tuttavia, la compressione ottimale non predice le prestazioni nel seguire istruzioni precise (es. IFEval). Quest'ultimo aspetto è invece guidato dalla quantità di informazione sulle preferenze, acquisita durante il post-training.

4. Significato e Implicazioni

1. Quadro Teorico Unificato: Il lavoro offre una cornice teorica solida (Teoria dell'Informazione) per comprendere l'apprendimento degli LLM, collegando la dinamica interna dei modelli a principi di compressione noti in fisica e neuroscienze.
2. Interpretabilità Scalabile: Fornisce un metodo per analizzare l'intero modello come un sistema distribuito, senza bisogno di ispezionare singoli neuroni o circuiti, rendendo l'analisi fattibile su modelli di centinaia di miliardi di parametri.
3. Criteri di Addestramento e Selezione: Le metriche di ottimalità della compressione potrebbero essere utilizzate come criterio di arresto (stopping-criterion) per il pre-training o per selezionare i checkpoint migliori, potenzialmente riducendo i costi computazionali rispetto alla valutazione su suite di benchmark.
4. Comprensione dell'Allineamento: Distingue chiaramente tra l'apprendimento di conoscenze generali (compressione dei dati) e l'allineamento alle preferenze umane, suggerendo che questi sono processi distinti che lasciano firme informative diverse nel modello.

In sintesi, il paper dimostra che "imparare è dimenticare": gli LLM diventano intelligenti non memorizzando tutto, ma comprimendo attivamente i dati di addestramento per estrarre solo le strutture essenziali necessarie alla previsione e all'allineamento con le preferenze umane.