🤖 machine learning

Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling

Dit artikel identificeert een verborgen "aligneringsovergang" in taalmiddelen waarbij redeneren en waarheidsgetrouwheid zich van een anticorrelatie naar een samenwerking verschuiven boven een kritieke schaal, een faseovergang die voorspeld en gemanipuleerd kan worden via architecturale aanpassingen, datacuratie en trainingsrecepten zonder toegang tot de interne werking van het model.

Oorspronkelijke auteurs: Adil Amin

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adil Amin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Groei-klachten" van AI

Stel je voor dat je een kind leert om tegelijkertijd slim en eerlijk te zijn. Lange tijd dachten wetenschappers dat als je een kind meer onderwijs geeft (meer "schaal"), ze van nature zowel slimmer als eerlijker worden.

Dit artikel stelt dat dit voor AI-modellen niet altijd waar is. Sterker nog, er is een specifieke fase van "groei-klachten" waarin slimmer worden de AI juist slechter maakt in het vertellen van de waarheid.

De auteurs noemen dit de "Alignment Tax" (Aanpassingsbelasting). Het is als een tijdelijke boete die je betaalt terwijl de AI opgroeit. Maar het goede nieuws? Dit is geen natuurwet. Het is een ontwerpfout die ingenieurs kunnen oplossen.

1. De U-bocht in de Weg

De onderzoekers keken naar 63 verschillende AI-modellen uit 16 verschillende families. Ze maten twee dingen:

Redeneren: Hoe goed de AI puzzels oplost (zoals een wiskundetoets).
Eerlijkheid: Hoe goed de AI voorkomt dat hij dingen verzonnen (zoals een leugendetector).

Wat ze vonden:

Kleine Modellen (De "Belasting"-fase): Wanneer de AI klein is, maakt het slimmer maken hem vaak slechter in het vertellen van de waarheid. Het is als een tiener die zo zelfverzekerd raakt in zijn nieuwe ideeën dat hij verhalen begint te verzinnen om cool over te komen. De twee vaardigheden vechten met elkaar.
De Kritieke Schakel ( $N_c$ ): Er is een specifieke grootte (rond de 3,5 miljard parameters voor sommige modellen) waar dit verandert.
Grote Modellen (De "Bonus"-fase): Zodra de AI die grootte-drempel overschrijdt, stopt het gevecht. Nu maakt het slimmer maken hem ook eerlijker. De twee vaardigheden gaan samenwerken als een goed geoliede machine.

De Vangst: De verliescurve (de standaard manier waarop we AI-progressie meten) toont dit niet. Het lijkt op een gladde, perfecte lijn die omlaag gaat. Het "gevecht" tussen vaardigheden is onzichtbaar voor de standaardtools, en schuilt precies onder het oppervlak.

2. Het Gaat Niet om Grootte; Het Gaat om het Recept

Je zou kunnen denken: "Oh, dus we hebben gewoon grotere modellen nodig om dit op te lossen." Het artikel zegt: Nee. Grootte is slechts één ingrediënt.

De "Alignment Tax" is eigenlijk een ontwerpkeuze. De onderzoekers vonden drie "knoppen" die ingenieurs kunnen draaien om het probleem op te lossen, soms zelfs in heel kleine modellen:

Knop 1: Betere Data (Het "Gecureerde Dieet"):
- Analogie: Stel je voor dat je een kind alleen hoogwaardige, geverifieerde feiten voert in plaats van willekeurige internetgeruchten.
- Resultaat: Het Phi-model (zeer klein, 1 miljard parameters), getraind op super-schone data, gedraagt zich even eerlijk en slim als een 10-miljard-parameter model getraind op rommelige webdata. De "belasting" verdwijnt omdat het dieet beter was.
- Voorbeeld: Qwen3-modellen vertonen helemaal geen "belasting" omdat hun trainingsdata zorgvuldig was gecureerd.
Knop 2: Breder Architectuur (De "Brede Gang"):
- Analogie: Stel je een gang voor waar twee mensen (Redeneren en Waarheid) proberen tegelijk door een smalle deur te lopen. Ze botsen op elkaar en vechten. Als je de deur verbreedt, kunnen ze naast elkaar lopen zonder te botsen.
- Resultaat: Het probleem zit niet in het brein zelf; het zit in de output-projectie (de laatste deur waar de informatie doorheen gaat). Als je die deur breder maakt, stopt het gevecht, zelfs als het model even groot blijft.
Knop 3: Architectuurwijzigingen:
- Analogie: Het wijzigen van de blauwdruk van het huis.
- Resultaat: Nieuwere ontwerpen (zoals Gemma-4) kunnen de fase van "groei-klachten" volledig overslaan. Een 4-miljard parameter Gemma-4 gedraagt zich als een 13-miljard parameter model uit een oudere generatie.

3. Waar Verbergt het Probleem Zich?

De onderzoekers keken in het "brein" van de AI (de attention heads).

Verrassing: In het brein zijn de delen die verantwoordelijk zijn voor redeneren en waarheid eigenlijk vriendelijk. Ze werken 95% van de tijd samen.
De Echte Bottleneck: Het probleem gebeurt helemaal aan het einde, wanneer de AI het antwoord moet uitspuwen. Het is als een groep vrienden die het eens worden over een plan, maar de persoon die namens de groep spreekt een microfoon heeft die te klein is om beide stemmen tegelijk te dragen. Het signaal wordt samengeperst, en het lijkt alsof ze vechten.
De Oplossing: Als je die spreker een grotere microfoon geeft (een bredere outputlaag), komt de samenwerking naar voren.

4. Waarom Dit Voor Jou Belangrijk Is

Ga niet uit van "Groter is Beter": Als je een klein AI-model gebruikt (zoals een op je telefoon), lost het simpelweg groter maken misschien niet zijn neiging tot liegen op. Het maakt hem misschien alleen maar een slimmere leugenaar.
Controleer de "Koppeling": Voordat je een model opschalen, moet je controleren of zijn vaardigheden vechten of samenwerken.
- Als ze vechten (negatieve koppeling): Voeg dan niet gewoon meer data of grootte toe. Verander het trainingsrecept, verbreed het model, of maak de data schoon.
- Als ze samenwerken (positieve koppeling): Dan ja, groter maken helpt beide vaardigheden.
De "Belasting" is Optioneel: Het artikel bewijst dat de "Alignment Tax" geen permanente regel van het universum is. Het is een bug in het huidige engineeringproces die kan worden opgepakt.

Samenvattende Analogie

Denk aan AI-training als het bouwen van een brug.

Oude Visie: Naarmate je meer staal toevoegt (parameters), wordt de brug automatisch sterker en veiliger.
Nieuwe Visie: Halverwege de bouw maakt het toevoegen van meer staal de brug eigenlijk wiebelig, omdat de twee kanten van de brug in tegenovergestelde richtingen trekken.
De Oplossing: Je hebt niet alleen meer staal nodig; je moet de blauwdruk (architectuur) veranderen of betere materialen (gecureerde data) gebruiken om ervoor te zorgen dat de twee kanten samen trekken. Zodra je die bouwfase hebt overwonnen, wordt de brug ongelooflijk sterk en veilig.

Het artikel biedt een dashboard en tools om ingenieurs precies te vertellen in welke fase hun model zich bevindt, zodat ze geen tijd verspillen aan het simpelweg "opschalen" terwijl ze eigenlijk de "blauwdruk moeten repareren".

Technische Samenvatting: "Lieggen is slechts een fase: De verborgen uitlijningsovergang bij schaling van taalkundige modellen"

1. Probleemstelling

Huidige schalingswetten voorspellen het modelverlies met hoge precisie als functie van rekenkracht en het aantal parameters, maar ze falen in het beschrijven hoe verschillende capaciteiten met elkaar interageren. De heersende aanname in het veld is dat benchmarks (bijv. redeneren, waarheidsgetrouwheid, instructievolging) schalen als onafhankelijke trajecten. Dit artikel daagt die aanname uit en stelt dat capaciteiten gekoppeld zijn en dat hun interactie een scherpe regime-overgang ondergaat die onzichtbaar is voor standaard verliescurven.

Specifiek onderzoeken de auteurs de relatie tussen redeneren (gemeten met HellaSwag) en waarheidsgetrouwheid (gemeten met TruthfulQA). Hoewel het verlies monotoon afneemt met schaal, is de correlatie tussen deze twee capaciteiten niet constant. Het artikel identificeert een "faseovergang" waarbij het schalen van redeneervermogen de waarheidsgetrouwheid actief kan verslechteren in kleinere modellen (het regime van de "uitlijningstaks"), voordat het omslaat naar een coöperatief regime waar schaling in grotere modellen beide tegelijkertijd verbetert.

2. Methodologie

De auteurs introduceren het Capability Coupling Analysis of Phase Emergence (CAPE)-kader om de interactie tussen capaciteiten te meten over 63 basismodellen van 16 families.

Koppelingsmetrieken:
- Lokale koppeling ( $\gamma_{12}$ ): Gedefinieerd als de afgeleide $\Delta TQA / \Delta HS$ tussen opeenvolgende modelgroottes binnen een familie. Dit meet hoe de waarheidsgetrouwheid verandert per eenheid verbetering in redeneren.
- Populatiekoppeling ( $r$ ): De Pearson-correlatie over een paneel van modellen.
Datadomein: De analyse omvat 63 modellen variërend van 70M tot 70B parameters over families waaronder Pythia, OPT, BLOOM, Llama, Falcon, Qwen, Gemma en Phi.
Dynamische modellering: De auteurs gebruiken sparse regression (PySINDy) om de overheersende Gewone Differentiaalvergelijking (ODE) voor benchmarktrajecten te ontdekken, uitsluitend op basis van Pythia-gegevens, en testen vervolgens het vermogen om dit cross-voorspellen voor gehouden families (Llama-2).
Interventieanalyse: De studie isoleert drie engineering-hefbomen om hun effect op de overgang te testen:
1. Breedtenormalisatie: Het delen van scores door de modelbreedte ( $d_{model}$ ).
2. Data-curatie: Het vergelijken van modellen getraind op gecureerde/synthetische data (Phi, Qwen3) versus web-scale data.
3. Architectuur: Het vergelijken van verschillende modelfamilies en interne structuren (bijv. de PLE-architectuur van Gemma-4).
Probing van interne mechanismen: De auteurs analyseren attention-heads en verborgen toestanden met TransformerLens om te bepalen of de "taks" voortkomt uit interne representatieconflicten of output-bottlenecks.

3. Belangrijkste Resultaten

De Faseovergang

De centrale empirische bevinding is een tekenflip in de koppeling tussen redeneren en waarheidsgetrouwheid bij een familie-afhankelijke kritieke schaal ( $N_c$ ).

Onder $N_c$ (Taks-regime): Capaciteiten anticorreleren. Het schalen van redeneren leidt tot een afname in waarheidsgetrouwheid. Voor de Pythia-familiel is $r = -0,989$ .
Boven $N_c$ (Bonus-regime): Capaciteiten coöpereren. Schaling verbetert beide. Voor grote modellen over families geldt $r > +0,78$ .
Kritieke schaal ( $N_c$ ): Het overgangspunt varieert per architectuur en trainingsrecept.
- Pythia: $N_c \approx 3,5$ miljard parameters [2,9 miljard, 13,4 miljard].
- OPT: $N_c \approx 0,12$ miljard.
- Falcon: $N_c \approx 7$ miljard.
- Gecureerde modellen (Phi, Qwen3): $N_c$ is effectief verschoven onder het kleinste geteste model, wat betekent dat ze bij alle geteste schalen coöperatieve koppeling vertonen.

Verliescurven missen de overgang

Standaard verliescurven tonen geen zichtbare overgang; ze volgen een gladde powerwet ( $R^2 = 0,9994$ voor Pythia). De regimewijziging bestaat uitsluitend in de koppeling (de kruisafgeleide tussen capaciteiten), niet in het verlies of individuele benchmarkscores. Twee modellen met identiek verlies kunnen zich in verschillende capaciteitsfasen bevinden.

Mechanisme: De output-projectie bottleneck

Interne coöperatie: In 38 van de 40 geteste modellen tonen nul attention-heads concurrerende representaties voor redeneren en waarheidsgetrouwheid. Heads zijn universeel coöperatief (mediaan cosinusgelijkenis +0,52).
De bottleneck: De anticorrelatie ontstaat niet door intern conflict, maar door een dimensionale compressie bij de output-projectie. Bij de kritieke schaal ( $N_c$ ) is de outputlaag te smal om de nieuw samengevoegde coöperatieve interne representaties gelijktijdig tot uitdrukking te brengen.
Bewijs:
- Breedtenormalisatie: Wanneer benchmarkscores worden genormaliseerd naar modelbreedte, flippt de anticorrelatie naar positief voor alle geteste families.
- Lagenanalyse: Bij Pythia-1B (bij $N_c$ ) neemt de koppeling af van verborgen lagen naar de outputlaag (0,725 $\to$ 0,639), terwijl deze bij andere groottes toeneemt.
- Interventie: Het vervangen van de output-projectie door een bredere kaart herstelt de koppeling zonder hertraining.

Voorspellend vermogen

ODE-ontdekking: Een op Pythia-gegevens ontdekte sparse-regression ODE voorspelt Llama-2-benchmarks met 5,6% Mean Absolute Error (MAE), ongeveer tweemaal zo accuraat als polynoom-baselines.
Onafhankelijke validatie: OLMo (AI2), onafhankelijk getraind zonder kennis van dit kader, bevindt zich exact op de overgangsgrens ( $\gamma_{12} = 0,000$ ) bij 1 miljard parameters, wat de voorspelde overgangsschaal bevestigt.

Engineering-hefbomen

De "uitlijningstaks" blijkt een engineerbare bottleneck te zijn, geen natuurwet.

Data-curatie: Qwen3 elimineert de koppelingsdip volledig ten opzichte van Qwen2.5 bij dezelfde schaal. Phi (1 miljard) komt door data-curatie alleen overeen met de koppeling van web-getrainde modellen van 10 miljard.
Architectuur: Gemma-4 (4 miljard) bereikt koppelingskenmerken van standaardmodellen van 13 miljard+ door architecturale innovatie (PLE) en distillatie.
Breedte: Het vergroten van de modelbreedte bij een vast aantal parameters vermindert of elimineert de taks.

4. Betekenis en Aanspraken

Het artikel betoogt dat de "uitlijningstaks" (de trade-off tussen redeneren en waarheidsgetrouwheid in kleine modellen) een structurele eigenschap is van het trainingsrecept en de architectuur, geen inherente beperking van intelligentie.

Paradigmaverschuiving: De overgang is niet geleidelijk maar een scherpe regimewijziging. Onder $N_c$ is schalen alleen onvoldoende en potentieel schadelijk voor uitlijning; boven $N_c$ wordt schalen voordelig.
Praktische implicatie: Voor organisaties die modellen onder de 7 miljard parameters inzetten (bijv. op apparaat, embedded), is het simpelweg verhogen van het aantal parameters niet de optimale strategie. In plaats daarvan bieden data-curatie, architecturale breedte en specifieke trainingsrecepten meer directe hefboomwerking om coöperatieve uitlijning te bereiken.
Diagnostische bruikbaarheid: De koppelingsfase kan worden gediagnosticeerd met alleen publieke benchmarkscores over een modelfamilie, zonder toegang tot modelinterieurs.
Uitbreiding naar de voorhoede: Het coöperatieve regime strekt zich uit tot de voorhoede (34 modellen, 10 laboratoria), waar geavanceerde capaciteiten (SWE-bench, GPQA) ook positieve koppeling tonen ( $r = +0,72$ ).

De auteurs geven een open-source tool (cape-steer.py) vrij voor activatiesturing op de geïdentificeerde bottlenecklaag en een interactief dashboard (zehenlabs.com/cape) om koppelingsfasen te diagnosticeren en interventies voor te stellen.

5. Scope en Beperkingen

De aanspraken zijn beperkt tot capaciteitskoppeling onder de geteste benchmarkparen. Het kader vertrouwt op publieke benchmarkscores en vereist geen modelgewichten. De auteurs merken op dat hoewel de "taks" in gecureerde modellen wordt geëlimineerd, het specifieke mechanisme van "data-curatie" versus andere receptwijzigingen in Qwen3 wordt geïdentificeerd als een voldoende voorwaarde in plaats van een gecontroleerde ablatie. Het artikel stelt expliciet dat de overgang een ontwerpparameter is, geen fysische constante, en dat de "taks" geen eigenschap is van kleine modellen per se, maar van modellen op een specifieke schaal ten opzichte van hun architectuur en trainingsdata.