Learning is Forgetting: LLM Training As Lossy Compression

Probleemstelling

Ondanks de enorme prestaties van Large Language Models (LLMs) blijft ons begrip van hoe hun representatieruimtes zijn gestructureerd beperkt. Bestaande interpretatiemethoden (zoals probing of causale interventies) focussen vaak op individuele onderdelen (neuronen, attention heads) of gedrag, maar missen een holistisch theoretisch raamwerk om te verklaren wat en hoe deze modellen leren. Er is behoefte aan een manier om de leerprocessen van LLMs te relateren aan fundamentele theorieën over leren en compressie, vergelijkbaar met hoe compressie in de menselijke cognitie wordt beschouwd.

Methodologie

De auteurs presenteren een unificerend theoretisch kader dat LLM-training beschouwt als verliesvolle compressie (lossy compression) binnen het kader van de Rate Distortion Theory en de Information Bottleneck (IB) theorie.

1. Theoretisch Kader (Information Bottleneck):

   • Het doel van een LLM is om een representatie $Z$ te leren van de input $X$ die zo goed mogelijk de output $Y$ (de volgende token) voorspelt.
   • Volgens de IB-theorie moet een optimale encoder alleen de informatie in $X$ behouden die relevant is voor $Y$, en irrelevante informatie "vergeten" (compressie).
   • Dit wordt gevisualiseerd in het informatievlak (Information Plane):
     • X-as: Complexiteit $I(X; Z)$ (mutuele informatie tussen input en representatie).
     • Y-as: Expressiviteit $I(Y; Z)$ (mutuele informatie tussen representatie en output).
   • De IB-grens (bound) is de curve waar de compressie optimaal is: elke extra bit complexiteit levert een extra bit expressiviteit op.

2. Schalingsprobleem en Oplossing:

   • Traditionele methoden om mutuele informatie te schatten (zoals binning) zijn niet schaalbaar voor LLMs vanwege het hoge geheugengebruik.
   • Soft-Entropy Estimator: De auteurs gebruiken een efficiënte, differentieerbare relaxatie van binningschatters (gebaseerd op Conklin, 2025).
     • Representaties worden genormaliseerd op een eenheidsbol.
     • Er worden $n$ ankerpunten willekeurig gesampled.
     • Via een softmax-functie worden embeddings "zacht" toegewezen aan deze ankerpunten om een kansverdeling te vormen.
     • De Shannon-entropie van deze verdeling wordt gebruikt als schatting van de complexiteit.

3. Experimenteel Opzet:

   • Data: Analyse van pre-training checkpoints van de OLMo2-familie (1B, 7B, 32B parameters) en een breed scala aan open-weight modellen (Gemma, Llama, Qwen, etc.).
   • Context: Mutuele informatie wordt berekend op verschillende niveaus van context (token, bigram, trigram, quadgram) door gebruik te maken van "back-off" strategieën.
   • Doel: Het analyseren van de leertrajecten (tijdreeksen) en het relateren van de compressie-optimale aan downstream prestaties op 6 benchmarks (MMLU Pro, BBH, Math, etc.).

Belangrijkste Bijdragen en Resultaten

1. Twee-fasen Leertraject:

   • De pre-training van LLMs volgt strikt de voorspellingen van de IB-theorie:
     • Fase 1 (Fitting): De representaties vergroten de mutuele informatie met de output ($I(Y; Z)$ stijgt).
     • Fase 2 (Compressie): Zodra de trainingsfout (loss) verzadigt, beginnen de modellen irrelevante input-informatie te comprimeren ($I(X; Z)$ daalt) en bewegen ze zich richting de IB-grens.
   • Dit bewijst dat LLMs effectief "leren door te vergeten" en alleen de voor het doel relevante informatie behouden.

2. Invloed van Schaal (Scale):

   • Grotere modellen (7B en 32B) slagen erin om de IB-grens te benaderen en een optimale compressie te bereiken.
   • Kleinere modellen (1B) struggle om deze compressiefase te voltooien; ze oscilleren vaak en blijven verder van de grens verwijderd, wat suggereert dat een bepaalde parameterdrempel nodig is om complexe data optimaal te comprimeren.

3. Convergentie naar een Optimaal Punt:

   • Verschillende model-families en training-recipes convergeren allemaal naar een vergelijkbaar punt op de IB-grens. Dit suggereert dat de structuur van de representatie fundamenteel wordt bepaald door de data en het doel (next-token prediction), ongeacht de specifieke architectuur.

4. Relatie tussen Representatie en Prestatie:

   • Optimaliteit voorspelt prestatie: Hoe dichter een model bij de IB-grens ligt (hogere ratio van expressiviteit tot complexiteit), hoe beter het presteert op benchmarks.
   • Contextuele informatie: Modellen die meer lokale context (bigram, trigram) coderen en minder "ruis" op token-niveau, presteren beter.
   • Voorkeursinformatie: De hoeveelheid informatie over menselijke voorkeuren (gemeten via Tulu-data) is een sterke voorspeller van prestaties ($r=0.76$), vooral voor instructievolging. Dit onderscheidt pre-training (algemene compressie) van post-training (voorkeursaanpassing).

5. Onafhankelijkheid van Testdata:

   • De compressie-metingen worden gedaan op algemene internet-data (C4), zonder kennis van de specifieke test-benchmarks. Desondanks voorspellen deze metingen de prestaties op complexe taken (wiskunde, redenering) zeer nauwkeurig.

Significantie en Conclusie

Dit paper biedt een unificerend, informatietheoretisch perspectief op hoe LLMs leren. De belangrijkste inzichten zijn:

• Leren is Vergeten: LLM-training is fundamenteel een proces van verliesvolle compressie, waarbij het model irrelevante details verwijdert om een robuuste, generaliseerbare representatie te vormen.
• Interpreteerbaarheid op Schaal: In plaats van te focussen op individuele circuits, biedt deze methode een manier om het gedrag van het hele model te interpreteren en te relateren aan zijn prestaties.
• Praktische Toepassingen: De "optimality" (nabijheid aan de IB-grens) kan dienen als een stop-criterium voor training of als selectiemechanisme voor checkpoints, wat rekenkracht kan besparen ten opzichte van het uitvoeren van uitgebreide benchmark-tests.
• Theoretische Verankering: Het werk verbindt de praktische complexiteit van LLMs met een lange geschiedenis van theoretisch werk over representatieleer in de cognitiewetenschap en informatietheorie.

Kortom, de auteurs tonen aan dat de "zwarte doos" van een LLM het best begrepen kan worden als een systeem dat tracht de informatie in zijn trainingsdata zo efficiënt mogelijk te comprimeren voor een specifiek doel, en dat de kwaliteit van deze compressie direct correleert met de intelligentie van het model.