💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

Dit artikel toont aan dat diverse taalmodellen, ondanks verschillende trainingsmethoden en architecturen, convergerend vergelijkbare periodieke kenmerken voor getallen leren, waarbij de vorming van geometrisch scheidbare kenmerken echter afhankelijk is van specifieke factoren zoals data, architectuur en tokenisatie.

Oorspronkelijke auteurs: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧠 De Geheime Taal van Getallen in AI: Waarom Verschillende Robots Op dezelfde Manier Leren

Stel je voor dat je een groep heel verschillende studenten hebt: een wiskundige, een muzikant en een schilder. Je geeft ze allemaal dezelfde taak: leren om getallen te begrijpen. Wat blijkt? Ze ontwikkelen allemaal een heel vergelijkbare manier om aan getallen te denken, zelfs al zijn ze totaal verschillend. Dit noemen de onderzoekers "convergente evolutie". In de natuur zie je dit ook: vissen en dolfijnen lijken op elkaar omdat ze beide in het water leven, ook al zijn ze niet familie.

Maar hier is de twist: hoewel ze allemaal op dezelfde manier kijken naar getallen, begrijpen ze ze niet allemaal even goed.

1. De "Muzikale" Trillingen (Spectrale Convergentie)

De onderzoekers ontdekten dat wanneer deze AI-modellen (zoals de beroemde Llama of GPT) getallen zien, ze in hun "hersenen" een soort muzikale trilling beginnen te maken.

De Metafoor: Denk aan een piano. Als je op een toets drukt, klinkt er een specifieke toon. De AI's hebben ontdekt dat getallen als 2, 5 en 10 (de basis van ons tientallige systeem) een heel sterke "toon" hebben in hun interne wereld.
Het Resultaat: Of het nu een moderne Transformer is, een ouderwetse LSTM, of zelfs een simpele lijst met woorden: ze hebben allemaal deze sterke trillingen (de "Fourier-pieken") bij perioden van 2, 5 en 10.
De les: Dit is puur statistiek. Omdat getallen in onze taal vaak voorkomen in patronen (bijv. "10", "20", "100"), leren de AI's automatisch deze patronen te horen, net als een muzikant die een ritme herkent.

2. De "Geheime Code" (Geometrische Convergentie)

Nu komt het interessante deel. Heeft de AI die trillingen ook echt begrepen? Kunnen ze er iets mee doen?

De Metafoor: Stel je voor dat je een sleutel hebt die perfect in een slot past (de trilling). Maar betekent dat ook dat je de deur kunt openen?
- Succesvolle AI's (zoals Transformers): Ze hebben niet alleen de sleutel, ze weten ook precies hoe ze hem moeten draaien. Ze kunnen een getal nemen en direct zeggen: "Dit getal is deelbaar door 5!" of "Dit getal eindigt op 0!". Ze hebben een geometrische structuur opgebouwd.
- Mislukte AI's (zoals sommige LSTM's): Ze hebben de sleutel (de trillingen) wel, maar ze weten niet hoe ze hem moeten gebruiken. Ze "horen" het ritme, maar kunnen er geen logische conclusies uit trekken. Ze blijven steken in het raden.

3. Waarom lukt het niet aan iedereen? (De Drie Sleutelfactoren)

De onderzoekers hebben gekeken wat er nodig is om van een "luisteraar" een "begrijper" te maken. Het hangt af van drie dingen:

De Data (Het Voedsel):
- Als je een AI alleen getallen laat zien zonder context (alleen "1, 2, 3..."), leert hij het ritme, maar niet de betekenis.
- Als je hem tekst met getallen laat lezen (bijv. "Ik heb 5 appels"), leert hij dat getallen een relatie hebben met de wereld om hen heen. Dit helpt hen om de "sleutel" te draaien.
De Architectuur (Het Brein):
- Sommige hersenstructuren (zoals Transformers) zijn van nature beter in het zien van patronen in lange zinnen dan andere (zoals ouderwetse LSTM's). Zelfs als ze dezelfde data krijgen, is het ene brein beter in het bouwen van de "geheime code" dan het andere.
De Oefening (De Taak):
- Als je een AI traint op optellen met grote getallen (die in meerdere stukjes worden verdeeld), moet hij per stukje rekenen met restjes (bijv. 7 + 8 = 15, dus 5 met een 'over' naar de volgende). Dit dwingt hem om de geometrische structuur echt te leren.
- Als je hem alleen kleine getallen laat optellen (die in één stukje passen), kan hij een "snelkookpad" vinden en hoeft hij de echte wiskunde niet te begrijpen. Dan blijft het resultaat willekeurig.

4. De Grootte Les: Niet alles wat eruitziet als kennis, is het ook

De belangrijkste boodschap van dit papier is een waarschuwing voor iedereen die AI bestudeert.

De Valstrik: Als je kijkt naar de interne trillingen van een AI en ziet dat hij sterke patronen heeft bij getallen, denk je misschien: "Ah, deze AI heeft wiskunde geleerd!"
De Waarheid: Dat is niet altijd waar. De AI kan die patronen hebben "geleerd" zonder ze ooit te begrijpen. Het is alsof iemand een liedje perfect kan meezingen (de trilling), maar niet weet wat de tekst betekent (de geometrie).

Samenvattend:
AI-modellen leren op verschillende manieren, maar ze komen vaak uit bij hetzelfde ritme (de trillingen van 2, 5 en 10). Maar om die ritmes echt te gebruiken om te rekenen, moet het juiste brein, de juiste data en de juiste oefening samenkomen. Anders is het alleen maar een mooie, maar nutteloze melodie.

Titel: Convergente Evolutie: Hoe Verschillende Taalmodellen Soortgelijke Getalrepresentaties Leren

Auteurs: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia (USC & UC San Diego)
Datum: April 22, 2026

1. Probleemstelling

Taalmmodellen (LLMs) die getraind zijn op natuurlijke tekst, ontwikkelen periodieke representaties voor getaltokens. Eerdere studies (bijv. Zhou et al., 2024) hebben aangetoond dat embeddings van gehele getallen pieken vertonen in het Fourier-domein bij perioden $T = 2, 5$ en $10$. De centrale vraag die dit artikel onderzoekt, is of deze Fourier-pieken (spectrale convergentie) voldoende zijn om aan te tonen dat het model de onderliggende numerieke structuur (modulaire rekenkunde) daadwerkelijk heeft geleerd en functioneel kan gebruiken.

De auteurs stellen dat er een tweeledige hiërarchie bestaat:

Spectrale convergentie: Het verschijnen van Fourier-pieken (periodieke patronen in de embeddings).
Geometrische convergentie: Het vermogen om deze embeddings lineair te gebruiken om getallen te classificeren op basis van hun restwaarde modulo $T$ (bijv. $n \mod 10$ ).

Het artikel onderzoekt of deze twee niveaus altijd samengaan of dat modellen kunnen convergeren naar het ene niveau zonder het andere.

2. Methodologie

De auteurs gebruiken een combinatie van theoretische analyse en gecontroleerde empirische experimenten.

Theoretisch Bewijs (Stelling 1): Ze bewijzen dat Fourier-pieken (niet-nul vermogen op specifieke frequenties) een noodzakelijke maar niet voldoende voorwaarde zijn voor lineaire scheiding van mod-T klassen. Ze tonen aan dat een groot Fourier-vermogen ( $\Phi_T$ ) kan bestaan terwijl de binnen-klassenspreiding ( $S_W$ ) zo groot en anisotroop is dat de klassen in de embeddruimte overlappen, waardoor lineaire probes falen.
Empirische Setup:
- Modellen: Verschillende architecturen (Transformers, Linear RNNs zoals Mamba en Gated DeltaNet, LSTMs) en klassieke woordembeddings (GloVe, FastText).
- Data: Trainen op 10 miljard tokens van FineWeb-Edu met de Llama-3 tokenizer (waarbij getallen 0-999 als single-token worden behandeld).
- Variabelen: De auteurs variëren systematisch:
  - Data-signaal: Door co-occurrence tussen getallen en tekst te manipuleren (bijv. contextlengte beperken, getallen uitwisselen tussen zinnen, unigram vervanging).
  - Architectuur: Vergelijking tussen Transformers, RNN-varianten en LSTMs.
  - Optimizer: Gebruik van AdamW versus Muon.
  - Taak: Trainen op algemene taal versus trainen op pure rekenkundige taken (optellen) met verschillende tokenisatiestrategieën (multi-token vs. single-token).
Evaluatie:
- Fourier Spectrum: Analyse van de magnitude van de Fourier-transformatie van de embeddings.
- Probing: Training van lineaire klassificatoren (logistische regressie) om $n \mod T$ te voorspellen, gemeten met Cohen's $\kappa$ (correctie voor toeval).

3. Belangrijkste Resultaten

A. Universele Spectrale Convergentie, Selectieve Geometrische Convergentie

Spectraal: Fourier-pieken bij $T=2, 5, 10$ zijn universeel. Ze verschijnen in bijna elk systeem dat ze onderzochten: van moderne Transformers en Mamba-modellen tot klassieke embeddings en zelfs de ruwe token-frequentieverdeling van de trainingsdata. Dit suggereert dat deze pieken een direct gevolg zijn van de tokenisatie en de statistische verdeling van getallen in de taal.
Geometrisch: Lineaire scheiding van mod-T klassen is niet universeel.
- Transformers en Linear RNNs (Mamba, Gated DeltaNet) leren zowel de Fourier-pieken als de geometrische scheiding.
- LSTMs, getraind op dezelfde data, vertonen zelfs grotere Fourier-pieken dan Transformers, maar falen volledig bij het lineair classificeren van de restklassen (prestatie op niveau van toeval).
- Oorzaak: De binnen-klassenspreiding ( $S_W$ ) in LSTMs is zodanig georiënteerd dat het periodieke signaal wordt "opgeslokt" door ruis, waardoor de klassen overlappen ondanks de zichtbare pieken.

B. Factoren die Geometrische Convergentie Drijven

De auteurs identificeren drie cruciale factoren die samen moeten werken voor geometrische convergentie:

Data-signaal:
- Tekst-Getal Co-occurrence: Als de associatie tussen specifieke getallen en hun tekstuele context wordt verwijderd (bijv. door getallen te wisselen tussen zinnen), daalt de probe-accuraatie aanzienlijk.
- Kruis-Getal Interactie: Het vermogen om meerdere getallen binnen één contextvenster te zien, verbetert de prestaties.
- Contextlengte: Langere contexten leiden tot betere resultaten, maar zelfs korte contexten met tekst-getal co-occurrence werken beter dan pure frequentiestatistieken.
Architectuur:
- Transformers en Linear RNNs slagen erin de modulaire structuur te leren.
- LSTMs falen hierin, ongeacht de trainingsdata of optimizer. Dit is een architecturale beperking, niet een kwestie van capaciteit (vergelijking tussen 4- en 12-laags LSTMs gaf hetzelfde resultaat).
Optimizer:
- De optimizer (Muon vs. AdamW) heeft een architectuurgebonden effect. Muon presteert over het algemeen beter voor Transformers, maar de invloed is niet universeel voor alle modellen.

C. Convergentie onder Rekenkundige Druk

Wanneer modellen direct worden getraind op optellen (in plaats van algemene taal):

Multi-token Optelling: Als getallen worden opgesplitst in meerdere tokens (bijv. 9-cijferige getallen), dwingt de tokenisatie het model om modulaire subproblemen op te lossen (dragen van cijfers). Dit leidt tot zowel spectrale als geometrische convergentie, ongeacht de optimizer.
Single-token Optelling: Als elk getal één token is (bijv. 3-cijferige getallen), is er geen dwingende modulaire structuur. De representaties worden willekeurig bepaald door de optimizer en de random seed; er treedt geen convergentie op.

4. Bijdragen en Significatie

Ontkoppeling van Structuur en Functie: Het artikel demonstreert dat zichtbare structuren in representaties (zoals Fourier-pieken) niet garanderen dat het model functionele kennis heeft verworven. Een model kan "eruitzien" alsof het getallen begrijpt (spectraal), maar functioneel faalt (geometrisch).
Convergente Evolutie: Het concept wordt gebruikt om te verklaren waarom verschillende systemen (biologisch of kunstmatig) onder dezelfde beperkingen (data/tokenisatie) dezelfde representatieve kenmerken ontwikkelen, zelfs als hun interne mechanismen verschillen.
Methodologische Innovatie: De auteurs introduceren een "structurele attributie"-benadering. In plaats van te kijken naar individuele trainingsvoorbeelden (zoals bij influence functions), attribueren ze het leren van representaties aan structurele eigenschappen van de data-verdeling (zoals co-occurrence patronen).
Implicaties voor Interpretability: Dit werk waarschuwt voor het risico om Fourier-analyse als een "black box" te gebruiken voor mechanistische interpretatie. Het is noodzakelijk om te testen of de gevonden patronen lineair decodable zijn om te concluderen dat het model de concepten daadwerkelijk heeft geleerd.

Conclusie:
De studie toont aan dat het leren van numerieke representaties een tweeledig proces is. De basis van periodieke patronen is een onvermijdelijk gevolg van de tokenisatie en data-statistiek (spectrale convergentie), maar het daadwerkelijk functioneel maken van deze patronen voor rekenkundige taken vereist een specifieke combinatie van data-structuur, modelarchitectuur en trainingsdynamiek (geometrische convergentie).