Learning is Forgetting: LLM Training As Lossy Compression

1. Problématique et Contexte

Malgré la prévalence croissante des grands modèles de langage (LLM), notre compréhension de la structure de leurs espaces de représentation reste limitée. Les méthodes d'interprétation actuelles (probing, interventions causales) se concentrent souvent sur des composants individuels (neurones, têtes d'attention) ou sur des comportements de sortie, sans offrir une vue d'ensemble sur la manière dont le modèle apprend et généralise à l'échelle.

Les auteurs posent l'hypothèse centrale que les LLMs doivent être considérés comme des instances de compression avec perte (lossy compression). L'idée est que, durant l'entraînement, le modèle apprend à retenir uniquement les informations de ses données d'entraînement qui sont pertinentes pour son objectif (prédiction du prochain token), en "oubliant" le reste. Cette approche vise à relier la structure représentationnelle des modèles aux théories de l'apprentissage humain et à fournir des insights actionnables sur la performance.

2. Méthodologie

L'approche repose sur la Théorie du Goulot d'Information (Information Bottleneck - IB) et la Théorie du Taux-Distorsion (Rate Distortion Theory).

A. Cadre Théorique : Le Goulot d'Information

Le cadre définit deux variables clés pour une représentation $Z$ d'une entrée $X$ visant à prédire une sortie $Y$ :

• Complexité ($I(X; Z)$) : L'information mutuelle entre l'entrée et la représentation (quantité d'information sur l'entrée préservée).
• Expressivité ($I(Y; Z)$) : L'information mutuelle entre la représentation et la sortie cible (quantité d'information utile pour la prédiction).

L'objectif est d'atteindre la frontière de compression optimale, où le modèle minimise la complexité tout en maximisant l'expressivité. La théorie prédit une trajectoire en deux phases :

1. Phase d'ajustement (Fitting) : Augmentation de l'information mutuelle avec la sortie ($I(Y; Z)$).
2. Phase de compression : Réduction de l'information sur l'entrée ($I(X; Z)$) tout en maintenant l'expressivité, rapprochant le modèle de la frontière théorique.

B. Estimation de l'Entropie à Grande Échelle

Un défi majeur est le calcul de l'entropie de Shannon pour des espaces de représentations continus et de haute dimension (LLMs). Les méthodes de discrétisation par binning traditionnelles sont trop coûteuses en mémoire.

• Solution : Les auteurs utilisent un estimateur d'entropie douce (soft-entropy estimator) basé sur la méthode de Conklin (2025).
• Procédure :
  1. Normalisation des embeddings sur une sphère unité.
  2. Échantillonnage de points ancrages ($w_i$) uniformément sur la sphère.
  3. Attribution "douce" (soft assignment) des embeddings aux ancrages via une fonction softmax (avec un paramètre de température calibré).
  4. Calcul de l'entropie de la distribution résultante.
• Cette méthode est différentiable, efficace en mémoire et ne nécessite qu'un seul passage avant (forward pass).

C. Mesure de l'Optimalité

Les auteurs définissent une métrique d'Optimalité comme le rapport entre l'expressivité et la complexité :
$$\text{Optimalité} = \frac{I(Y; Z)}{I(X; Z)}$$
Une valeur proche de 1,0 indique que le modèle est optimalement compressé (il ne retient que l'information nécessaire à la prédiction).

D. Données et Modèles

• Données : Échantillons du corpus C4 (pour l'entraînement/prédiction) et Tulu (pour les préférences humaines).
• Modèles : Analyse de la famille OLMo2 (1B, 7B, 32B) avec checkpoints intermédiaires, et comparaison de 47 modèles open-weights de 6 familles différentes (Llama, Gemma, Qwen, etc.) à la fin de l'entraînement.
• Contexte : Utilisation de techniques de "back-off" (token, bigram, trigram, quadgram) pour analyser comment le contexte est encodé.

3. Résultats Clés

A. Dynamique de l'Entraînement et Compression Optimale

• Trajectoire en deux phases : Les modèles OLMo2 suivent strictement la prédiction du Goulot d'Information. Ils augmentent d'abord l'information sur la sortie, puis compressent lentement l'information sur l'entrée en approchant la frontière optimale.
• Convergence : À la fin de l'entraînement, les modèles convergent vers la frontière de compression optimale, suggérant qu'ils apprennent une compression optimale des données d'Internet pour la prédiction de séquence.
• Effet de l'échelle (Scaling) : Les modèles plus grands (7B, 32B) réussissent à atteindre cette compression optimale. En revanche, les petits modèles (1B) peinent à compresser efficacement en phase tardive, oscillant loin de la frontière.

B. Structure de l'Information et Contexte

• Information Locale : La majorité de l'information dans les modèles encode le contexte local (token à quadgram).
• Corrélation avec la Performance :
  • Une complexité plus faible (moins d'information brute sur les tokens) est corrélée positivement à la performance sur les benchmarks.
  • Une plus grande proportion d'information contextuelle (bigram, trigram) par rapport à l'information de token est associée à de meilleures performances.
  • L'optimalité de la compression est un prédicteur significatif de la performance (corrélation $r = 0.52, p < 0.001$).

C. Information de Préférence et Alignement

• L'analyse de l'information mutuelle avec les préférences humaines ($I(Z; \text{preferred})$) montre que la quantité d'information de préférence dans un modèle prédit fortement la performance sur les tâches d'alignement ($r = 0.76$).
• L'entraînement préliminaire (pre-training) établit la compression de base, tandis que le post-entraînement (RLHF, DPO) augmente spécifiquement l'information de préférence sans nécessairement changer la complexité globale.

D. Généralisation

• La compression optimale de données générales (C4) prédit la performance sur des tâches de raisonnement, de mathématiques et de connaissances factuelles, mais pas sur le suivi d'instructions strictes (IFEval), qui dépend davantage de l'information de préférence acquise lors du post-entraînement.

4. Contributions Principales

1. Cadre Unifié : Proposition d'un cadre théorique unifié basé sur la théorie de l'information pour comprendre l'apprentissage des LLMs, les reliant à la compression avec perte.
2. Méthodologie Évolutive : Développement et application d'une méthode d'estimation d'entropie (soft-entropy) capable de fonctionner à l'échelle des LLMs modernes, contournant les limitations de mémoire des approches antérieures.
3. Preuve Empirique : Démonstration que les LLMs convergent vers une compression optimale durant le pré-entraînement et que ce degré d'optimalité est un indicateur robuste de la performance future.
4. Distinction des Phases : Mise en évidence de la différence entre la compression de connaissances générales (pré-entraînement) et l'acquisition d'informations de préférence (post-entraînement).

5. Signification et Impact

Ce travail offre une nouvelle perspective fondamentale sur le fonctionnement des LLMs : ils ne sont pas simplement des prédicteurs statistiques, mais des systèmes de compression avec perte qui apprennent à filtrer le bruit pour ne conserver que l'information pertinente.

• Interprétabilité : Cela permet d'analyser le modèle dans son ensemble plutôt que de se perdre dans la complexité des circuits individuels.
• Optimisation de l'Entraînement : La métrique d'optimalité pourrait servir de critère d'arrêt pour le pré-entraînement (stop when compression stops improving) ou de critère de sélection de checkpoints.
• Théorie de l'Apprentissage : L'article renforce le lien entre l'apprentissage des machines et les théories de l'apprentissage humain basées sur la simplicité et la compression (principe de parcimonie).

En résumé, l'article établit que "apprendre, c'est oublier" : la capacité d'un LLM à performer dépend de sa capacité à compresser efficacement ses données d'entraînement en retenant uniquement l'essence nécessaire à la prédiction et à l'alignement avec les préférences humaines.