Listen and Chant Before You Read: The Ladder of Beauty in LM Pre-Training

Titel: De Ladder van Schoonheid in LM Pre-Training

Auteur: Yoshinori Nomura (Mirage Mountain Technologies Inc.)

---

1. Probleemstelling

Standaard taalmodellen (Language Models - LM's) worden doorgaans direct getraind op tekstcorpora. Recent onderzoek suggereert echter dat het trainen op niet-talige data voorafgaand aan taaltraining (een fase die de auteurs "pre-pre-training" of "foundation warming" noemen) de prestaties kan verbeteren.

Eerdere werken (zoals Lee et al., 2026) toonden aan dat synthetische patronen (Neural Cellular Automata) de taalverwerving versnellen. Echter, deze patronen zijn tweedimensionaal en vertonen weinig structurele gelijkenis met taal, wat inherent een eendimensionale, sequentiële structuur is.
De centrale hypothese van dit paper is dat muziek, als een sequentiële, hiërarchisch gestructureerde vorm van menselijke creativiteit, een superieur substraat biedt voor pre-pre-training dan synthetische patronen. Dit is gebaseerd op cognitiewetenschappelijke inzichten dat menselijke zuigelingen eerst gevoeligheid ontwikkelen voor pre-talige regulariteiten (ritme, prosodie) voordat ze lexicale inhoud leren.

2. Methodologie

Model Architectuur:

• Gebruik van een autoregressieve Transformer-decoder (GPT-2 stijl) met causale self-attention.
• De experimenten zijn uitgevoerd op schalen van $d=16$, $d=32$ en $d=64$ (internal representation width), variërend van ~33K tot ~400K parameters.
• Doel: Het bestuderen van leerefficiëntie onder capaciteitsbeperkingen.

Data en Tokenisatie:

• Muziek: Gebruik van het MAESTRO-dataset (professionele piano-opnames) en een synthetische muziek-baseline (regelgebaseerd gegenereerd). Muziek is getokeniseerd met een vereenvoudigde REMI-tokenisatie (160 tokens: noten, duur, dynamiek, positie).
• Poëzie: Gutenberg Poetry Corpus (GPT-2 tokenizer, 50.257 tokens).
• Proza: WikiText-103 (evaluatie-set, GPT-2 tokenizer).

Ontwikkelingspipeline (De "Ladder"):
De auteurs introduceren een gefaseerde trainingsaanpak die de menselijke taalverwerving nabootst:

1. Muziek-fase: Trainen op muzikale patronen tot convergentie.
2. Poëzie-fase: Overdracht van gewichten naar een model met een taalvocabulaire, gevolgd door training op poëzie.
3. Proza-fase: Training op algemene tekst (WikiText).

Selectieve Gewichts-overdracht (Selective Weight Transfer):
Bij de overgang van muziek (160 tokens) naar taal (50.257 tokens) wordt een cruciale keuze gemaakt:

• Overgedragen: Interne rekenlagen (Attention-weights, Feedforward-weights, Layer Normalization). Deze leren algemene patroonherkenning en afhankelijkheids-tracking.
• Herinitialiseerd: Token-embeddings en de output-head. Omdat muzieknootjes geen directe relatie hebben met taalwoorden, worden deze lagen willekeurig opnieuw geïnitieerd.
• Conclusie: De prestatieverbetering komt voort uit de interne rekenstructuur, niet uit de embeddings.

Experimenteel Design:

• Fase 1: Controle van datavolume (vergelijking synthetisch vs. MAESTRO bij gelijke hoeveelheden).
• Fase 2: Statistische validatie met 5 verschillende seeds om significantie te bepalen.
• Fase 3: Schaal-experimenten om te kijken hoe de optimale datavolume verschuift met modelgrootte.
• Convergentietest: Trainen tot plateau om te zien of het voordeel tijdelijk is of blijvend.

3. Belangrijkste Bijdragen

1. Versnelling van Taalverwerving: Muziek pre-pre-training versnelt de taallearning met 26% in perplexiteit in het eerste epoch en behoudt een verbetering van 11,8% na convergentie.
2. Data Kwaliteit vs. Kwantiteit: Muziek van meestercomponisten (MAESTRO) bereikt dezelfde transfer-ceiling als synthetische patronen met één derde van de datahoeveelheid.
3. Ontwikkelingspipeline: Het toevoegen van een tussenstap (poëzie) levert additieve verbeteringen op (tot 17,5% verbetering). Dit creëert een pipeline: Muziek $\to$ Poëzie $\to$ Proza.
4. Mechanisme van Orthogonaliteit:
   • Muziek verbetert de interne berekening (attention + FFN).
   • Poëzie kalibreert de token-embeddings richting de taalruimte.
   • Omdat ze verschillende modelcomponenten beïnvloeden, werken ze additief.
5. Capaciteitsafhankelijke Data Curation: De optimale hoeveelheid pre-training data verschuift met de modelcapaciteit. Kleine modellen verzadigen sneller dan grote modellen.
6. Blijvend Voordeel: Het voordeel is geen tijdelijke "head start"; bij convergentie blijft er een significant gat (5,5% bij $d=64$) bestaan ten gunste van de pipeline.

4. Resultaten

• Perplexiteitsverbetering:

  • De volledige pipeline (Muziek $\to$ Poëzie $\to$ Proza) bereikte een perplexiteit van 349,0 (op WikiText-103), wat een verbetering is van 17,5% ten opzichte van een willekeurig geïnitieerd baseline (423,0).
  • Alleen muziek (zonder poëzie) gaf een verbetering van 11,8%.
  • De poëzie-stap alleen (na muziek) zorgde voor een extra daling van de perplexiteit, zelfs voordat de proza-training begon (startwaarde van 416 vs. 694 voor de baseline).

• Data Kwaliteit:

  • MAESTRO-12k (12.000 chunks) presteerde beter dan Synth-36k (36.000 chunks), wat aantoont dat de structurele rijkdom van echte muziek efficiënter is dan grote hoeveelheden eenvoudige synthetische data.

• Schaal-effecten (Capacity-Data Interactie):

  • Bij kleine modellen ($d=16$) was 12k chunks beter dan 36k (verzadiging).
  • Bij grotere modellen ($d=32$ en $d=64$) keerde dit om: 36k chunks presteerde significant beter dan 12k.
  • Dit bevestigt dat de optimale datavolume lineair toeneemt met de modelcapaciteit.

• Convergentie:

  • Zelfs na uitgebreide training tot plateau bleef de pipeline een 5,5% lager verlies hebben dan de baseline (bij $d=64$, $p=0,017$). De pipeline convergeerde ook sneller.

5. Betekenis en Conclusie

Dit paper biedt sterke empirische bewijzen dat gestructureerde menselijke creatieve output (muziek) een efficiënter substraat is voor het pre-trainen van taalmodellen dan willekeurige of synthetische patronen.

De belangrijkste inzichten zijn:

1. Cognitieve Parallel: De succesvolle pipeline (Luisteren $\to$ Zingen $\to$ Lezen) spiegelt de biologische taalverwerving van zuigelingen, wat suggereert dat het eerst leren van pre-talige regulariteiten (ritme, hiërarchie) fundamenteel efficiënt is voor zowel biologische als kunstmatige systemen.
2. Orthogonale Leren: Muziek en taaltraining vullen elkaar aan door verschillende delen van het neurale netwerk te optimaliseren (rekenkracht vs. vocabulaire mapping).
3. Data Curation Principe: Er is geen "one-size-fits-all" voor datahoeveelheid; de hoeveelheid pre-training data moet worden afgestemd op de capaciteit van het model.

Beperkingen:
De resultaten zijn behaald op kleine schaal (maximaal ~400K parameters) en beperkt tot Engels en westerse klassieke muziek. Of deze effecten zich vertalen naar moderne, miljarden-parameter modellen is nog een open empirische vraag, maar de resultaten vormen een sterke basis voor schaalvergroting.

Toekomst:
De auteurs pleiten voor verdere schaalvergroting, het testen op niet-westerse muziek en andere talen, en het toepassen van deze "developmental initialization" op technieken zoals LoRA (Low-Rank Adaptation) om fine-tuning te versnellen.