Phantom transitions in language model fine-tuning

Dit artikel onthult dat schijnbare faseovergangen tijdens het finetunen van taalmodellen op taken met bijna-synoniemen "fantoom"-artefacten zijn, veroorzaakt door discontinuïteiten in de softmax-readout in plaats van genuwele geometrische veranderingen in de embedding-ruimte, een fenomeen dat wordt gekenmerkt door een verenigde ordeparameter die kritieke leersnelheden over diverse architecturen heen succesvol voorspelt.

De kern

Het Kernprobleem: De "Stille" Fout

Stel je voor dat je een student (de AI) leert om een verhaal te schrijven. Je geeft ze een zin die eindigt met een woord als "schande" (shame), maar er is een zeer vergelijkbaar woord, "schuldgevoel" (guilt), dat de student ook goed kent.

In een perfecte wereld zouden ze, terwijl je de student onderwijst, geleidelijk vaker "schande" moeten gaan kiezen dan "schuldgevoel". De paper ontdekt echter een "stille fout". De testscores van de student (de wiskunde die de computer gebruikt om fouten te meten) worden steeds beter en beter. Maar als je goed kijkt naar welk woord ze daadwerkelijk kiezen, wisselen ze nooit echt over naar "schande". Ze blijven "schuldgevoel" of een mix van beide kiezen, zelfs terwijl hun "score" zegt dat ze perfect leren.

De computer denkt dat hij wint, maar zit eigenlijk vast in een loop.

Het Gereedschap: De "Dichtheidsmatrix" (De Kristallen Bol)

Om dit verborgen probleem te zien, hebben de onderzoekers een speciaal meetinstrument gebouwd: een dichtheidsmatrix.

Beschouw de woordenschat van de AI als een enorme kaart. Woorden die vergelijkbare dingen betekenen (zoals "schande" en "schuldgevoel") zijn heel dicht bij elkaar getekend op deze kaart. Woorden die niet gerelateerd zijn (zoals "schande" en "tafel") staan ver uit elkaar.

• Standaard Wiskunde: Kijkt alleen naar de waarschijnlijkheid. Het ziet een 50/50 verdeling tussen "schande" en "schuldgevoel" en denkt: "Oké, het is onbeslist."
• Het Nieuwe Gereedschap: Kijkt naar de geometrie (de afstand op de kaart). Het ziet dat "schande" en "schuldgevoel" praktisch op elkaar staan. Het realiseert zich dat zelfs als de AI "schande" kiest, het zo dicht bij "schuldgevoel" ligt dat de wiskunde per ongeluk ook punten geeft aan "schuldgevoel".

Dit instrument onthult dat de AI een strijd voert waarbij elke keer dat de AI probeert "schande" omhoog te duwen, hij per ongels ook "schuldgevoel" omhoog duwt.

De "Phantom" Sprong: De Katapult

Toen de onderzoekers de AI stap voor stap zagen leren, zagen ze iets dramatisch. Een tijdlang leek de AI vast te zitten. Dan, plotseling, in één enkele stap, zou hij "springen" van het kiezen van het verkeerde woord naar het kiezen van het juiste woord.

Ze noemden dit een Catapult.

Eerst dachten ze dat dit een diepe, magische verandering in de hersenen van de AI was—een "faseovergang" zoals water die plotseling ijs wordt. Ze dachten dat de AI spontaan besloot: "Aha! Ik snap het nu!"

De Grote Ontdekking: De onderzoekers bewezen dat deze "sprong" een Phantom (een fantoom) is. Het is een illusie.

• De Analogie: Stel je een dimmer voor een lamp voor. Je draait de knop langzaam en vloeiend. De lamp wordt steeds helderder. Maar als je naar een digitaal display kijkt dat alleen "UIT" of "AAN" laat zien, lijkt het licht plotseling van donker naar fel te springen.
• De Realiteit: De interne "knop" van de AI (de wiskunde in de hersenen) draaide de hele tijd vloeiend. De "sprong" gebeurde alleen door het uiteindelijke displayscherm (de Softmax-laag) dat het definitieve antwoord bepaalt. Het scherm heeft een drempelwaarde; zodra de interne knop een bepaald punt passeert, schakelt het scherm direct van "Fout" naar "Goed". De sprong zit niet in de hersenen; het zit in het display.

De Twee Soorten Falen

De onderzoekers ontdekten dat wanneer de AI er niet in slaagt te leren, dit meestal op twee manieren gebeurt:

1. Kinematisch Falen (De Langzame Wandeling): De AI probeert hard, maar de "remmen" zijn te sterk. De woorden zijn zo vergelijkbaar dat de AI niet genoeg momentum kan opbouren om het juiste woord voor het verkeerde woord uit te duwen. Het is also[f] een loopband proberen te rennen die met dezelfde snelheid achteruit beweegt als jij vooruit rent. Je werkt hard, maar je komt nergens.
2. Structureel Falen (De Valstrik): Dit is erger. De AI is eigenlijk aan het leren, maar de kaart zelf is kapot. Terwijl de AI naar het juiste woord probeert te bewegen, trekt de omgeving van woorden hem terug. Het is alsof je naar een specifiek huis probeert te lopen, maar elke keer als je een stap vooruit zet, verschuift de grond en sleept je terug naar het verkeerde huis. De AI komt "geometrisch" vast te zitten omdat de kaart van woorden te vol is.

De Oplossing: Twee Klassen AI

De paper verdeelt AI-modellen in twee verschillende families op basis van hoe hun "woordkaarten" zijn opgebouwd:

• Klasse A (De Overvolle Stad): In deze modellen zijn alle woorden dicht op elkaar gepakt. Het is als een druk metrostation waar iedereen schouder aan schouder staat. Het is erg moeilijk om één specifbool persoon uit te pikken omdat ze allemaal zo dicht bij elkaar staan. In deze modellen falen standaard trainingsmethoden vaak om het "schande vs. schuldgevoel"-probleem op te lossen.
• Klasse B (Het Open Veld): In deze modellen liggen de woorden ver uit elkaar verspreid, zoals huizen in een landelijk gebied. Het is makkelijk om één specifiek huis uit te pikken. Deze modellen leren meestal zonder problemen het juiste woord.

De "Magische" Voorspelling

De onderzoekers vonden een eenvoudige formule die voorspelt of een specifiek AI-model zal slagen of falen, zonder dat het model eerst getraind hoeft te worden.

Ze maten hoe "druk" de woordkaart van het model was en combineerden dit met de leersnelheid.

• Het Resultaat: Ze konden het exacte "kantelpunt" (leersnelheid) voorspellen voor een gloednieuw AI-model dat ze nog nooit hadden gezien.
• De Nauwkeurigheid: Ze raadden de juiste instelling voor een nieuw model, en hun gok zat er slechts 2,1% naast. Dit is alsof je de exacte temperatuur raadt die nodig is om een cake te bakken voor een nieuwe oven die je nog nooit hebt gebruikt, en binnen een halve graad nauwkeurig bent.

De Les: Verspil Geen Tijd

Omdat de "sprong" naar het juiste antwoord slechts een effect van het display is, vonden de onderzoekers een manier om computerkracht te besparen.

Normaal gesproken trainen mensen AI totdat de "score" niet meer verbetert. Maar de onderzoekers ontdekten dat de AI het probleem al oplost (de "sprong" vindt plaats) voordat de score stopt met verbeteren.

• Het Voordeel: Ze kunnen de training 30% eerder stoppen. De AI heeft het juiste woord al begrepen; de extra training is slechts het polijsten van de score, niet het oplossen van het antwoord.

Samenvatting

De paper onthult dat wanneer AI-modellen worstelen met vergelijkbare woorden, ze vaak in een stille valstrik terechtkomen. De dramatische "sprongen" in prestaties zijn geen magische doorbraken in de hersenen van de AI, maar simpelweg het moment waarop het uiteindelijke displayscherm omklapt. Door de geometrie van hoe woorden in de geest van de AI zijn gerangschikt te begrijpen, kunnen we voorspellen welke modellen zullen falen, de traininginstellingen corrigeren en stoppen met het verspillen van tijd aan training die eigenlijk niet meer helpt.

Technische samenvatting

Technische Samenvatting: Phantom Transities in de Fine-tuning van Taalmodellen

Probleemstelling

Het fine-tunen van vooraf getrainde transformer-taalmodellen op contexten waar het correcte voltooiingswoord een bijna-synoniem concurrent heeft (bijv. "schuld" vs. "schaamte") resulteert vaak in een "stille fout". In dit regime neemt de cross-entropy (CE) loss monotoon af en stijgt de waarschijnlijkheid van het correcte token, maar het correcte token overtreft zijn dichtstbijzijnde concurrent in de rangschikking van het model nooit. Standaard diagnostiek, die steunt op CE-loss of ruwe token-waarschijnlijkheden, faalt bij het detecteren van deze fout omdat het geen rekening houdt met de geometrische overlap tussen token-embeddings. Het artikel stelt dat deze fout voortkomt uit "geometrische zelfsabotage", waarbij de gradiënt-update die bedoeld is om de waarschijnlijkheid van het correcte token te verhogen, tegelijkertijd de concurrent versterkt vanwege hun gedeelde embedding-richting.

Methodologie en Theoretisch Kader

Dichtheidsmatrix en Ordeparameter

De auteurs construeren een formalisme gebaseerd op de dichtheidsmatrix $\hat{\rho}$ om de distributies van token-voorspellingen te analyseren. In tegenstelling tot klassieke waarschijnlijkheidsvectoren vangt dit formalisme geometrische degeneratie op door token-embeddings te behandelen als kwantumtoestanden.

• Born-Rule Scoring: Het artikel definieert een geometrie-bewuste score $P_{Born}(g) = \sum_i p_i G_{ig}^2$, waarbij $G_{ij}$ de cosinus-overlap tussen embeddings is. Deze score houdt rekening met het feit dat de waarschijnlijkheidsmassa op een bijna-synoniem bijdraagt aan de score van het doel-token.
• Ordeparameter ($\Phi$): De centrale observeerbare is de "Born-gap" $\Delta = P_{Born}(g) - P_{Born}(c)$, gemiddeld over een set van bijna-synoniem contexten. $\Phi$ dient als de ordeparameter voor resolutie.
• Signaal-Drag Decompositie: De ordeparameter ontleedt additief:
  $$\Phi = \underbrace{(p_g - p_{c^*})(1 - G_{max}^2)}_{\text{Signaal}} + \underbrace{\sum_{i \in B} p_i (G_{ig}^2 - G_{ic^*}^2)}_{\text{Achtergrond Drag}}$$
  Het Signaal wordt afgeknepen door de factor $(1 - G_{max}^2)$, wat de "zelfsabotage" vertegenwoordigt waarbij CE-gradiënten de concurrent versterken. De Achtergrond Drag vertegenwoordigt de invloed van de rest van de embedding-bulk.

Geometrische Observeerbaren

Om de staat van het model te karakteriseren, introduceert het artikel:

1. Participation Ratio (PR): Een geometrisch gecorrigeerde maat voor de concentratie van de distributie (inverse van zuiverheid $\text{Tr}(\hat{\rho}^2)$), die onderscheid maakt tussen echte onzekerheid en geometrische degeneratie.
2. Lokalisatie-lengte ($\xi$): De hoekverspreiding van de voorspellingswolk op de embedding-sfeer.
3. Begravingsdiepte (Burial Depth, $B$): De ratio van de initiële lokalisatie-lengte tot de hoekafstand tussen het doel en de concurrent ($\arccos(G_{max})$). $B > 1$ impliceert dat de voorspellingswolk te breed is om de competitie aanvankelijk te resolveren.
4. Gereduceerd Veld ($H$): Een dimensieloze grootheid $H = G_{max}\eta / \theta^*$, waarbij $\eta$ de leersnelheid is en $\theta^*$ een modelspecifieke verzadigingsdrempel.

Experimentele Opzet

De studie maakt gebruik van vijf transformer-architecturen (DistilGPT2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) die een vijfvoudig parameterbereik beslaan en twee verschillende embedding-geometrie klassen (Klasse A: dichte Gaussische bulk; Klasse B: ijle exponentiële bulk). De experimenten omvatten het fine-tunen op tien handgeselecteerde bijna-synoniem zinnen met behulp van zowel Full Fine-Tuning (FULL FT) als Low-Rank Adaptation (LoRA).

Belangrijkste Resultaten

1. Phantom Transities en Softmax Saturatie

Het artikel identificeert scherpe, "katapult-achtige" sprongen in de ordeparameter $\Phi$ tijdens fine-tuning. Hoewel deze lijken op faseovergangen (spontane symmetriebreking), demonstreren de auteurs dat dit phantoms zijn.

• Causale Isolatie: Onder LoRA fine-tuning, waarbij de embedding-matrix bevroren blijft (wat geometrische veranderingen voorkomt), blijven de katapult-sprongen bestaan. Dit sluit een geometrische faseovergang in de embedding-ruimte uit.
• Mechanisme: De discontinuïteit bevindt zich volledig in de softmax readout. De onderliggende logit-gap ($\zeta$) evolueert vloeiend. Zodra de logit-gap een verzadigingsdrempel overschrijdt (ongeveer 1.5–2.0 nats), springt de softmax-waarschijnlijkheid $p_g$ in één stap van $\sim0.5$ naar $\sim0.95$, waardoor $\Phi$ mee wordt gesleurd. De "transitie" is een kinematisch artefact van de readout-functie, en geen structurele verandering in het model.

2. Twee Foutmodi

De signaal-drag decompositie isoleert twee verschillende foutmodi:

• Kinematische Fout: Het signaal blijft klein omdat de throttle $(1-G_{max}^2)$ te streng is of de leersnelheid onvoldoende. De achtergrond drag verbetert, maar het signaal kan de drag niet overwinnen. Dit is te verhelpen door hogere leersnelheden of full fine-tuning.
• Structurele Fout: De achtergrond drag verslechtert actief tijdens de training. Terwijl het model zich aanpast aan het doel, bevordert het onbedoeld een wolk van achtergrond-tokens die geometrisch tegen het doel inwerken. Dit is een eigenschap van de pre-trained embedding-manifold; CE-gradiënten kunnen de geometrie niet hervormen om de competitie te resolveren.

3. Architectuurklassen en LoRA Sufficiëntie

De studie onthult een fundamentele splitsing in architecturen op basis van hun bulk embedding-geometrie:

• Klasse A (Dichte Bulk): Modellen zoals DistilGPT2 en SmolLM hebben een dichte, Gaussische vormige embedding-bulk. Bijna-synoniemen zijn uitschieters in een drukke ruimte. Onder LoRA falen deze modellen vaak in het resolveren van hoog-$G_{max}$ zinnen, omdat het onderdrukken van één concurrent simpelweg een andere geometrisch gelijkaardige token op de plaats laat komen.
• Klasse B (IJle Bulk): Modellen zoals Pythia hebben een ijle, exponentiële bulk. Bijna-synoniemen zijn geïsoleerd. LoRA volstaat om de competitie te resolveren omdat de achtergrond drag verwaarloosbaar is.
• LoRA Fase-drempel: Er bestaat een kritieke leersnelheid $\theta^*$ voor elk model. Het gereduceerde veld $H$ voorspelt het gedrag: $H \gg 1$ leidt tot resolutie, terwijl $H \approx 1$ of lager leidt tot falen. Onder FULL FT opereren alle geteste architecturen bij $H \approx 10$. Onder LoRA opereren Klasse A modellen nabij de drempel ($H \approx 1.7$), terwijl Klasse B modellen ruim boven de drempel opereren ($H \approx 10$).

4. Blinde Voorspelling

Met behulp van het afgeleide framework voerden de auteurs een blinde voorspelling uit op een onafhankelijke architectuur (gpt-neo-125m). Door de bulk-geometrie (Klasse A) en de gemiddelde $G_{max}$ te meten, voorspelden zij de kritieke leersnelheid $\theta^*$ binnen 2.1% van de waarde die werd verkregen uit een werkelijke leersnelheid-sweep.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor stille fouten in fine-tuning die onzichtbaar zijn voor standaard loss-metrieken. De belangrijkste bijdragen zijn:

1. Weerlegging van Faseovergangen: Het demonstreert dat de scherpe "katapult"-transities die worden waargenomen tijdens fine-tuning geen spontane symmetriebreking zijn in de embedding-ruimte, maar artefacten van de softmax readout-functie die werkt op een vloeiend evoluerende logit-gap.
2. Geometrische Zelfsabotage: Het kwantificeert hoe de cross-entropy gradiënt zichzelf inherent saboteert in de aanwezigheid van bijna-synoniemen via de $(1-G_{max}^2)$ throttle.
3. Voorspellend Kader: Het stelt vast dat het succes van parameter-efficiënte fine-tuning (LoRA) wordt bepaald door de pre-trained embedding-geometrie (Klasse A vs. Klasse B) in plaats van enkel door modelgrootte of rank.
4. Praktisch Stopcriterium: Het stelt voor om de fine-tuning te stoppen wanneer de ordeparameter $\Phi$ verzadigt (d.w.z. wanneer de Born-gap ophoudt te veranderen) in plaats van te wachten op convergentie van de CE-loss. Dit bespaart ongeveer 30% aan rekenkracht zonder de ranking-kwaliteit op te offeren.

Scope-beperkingen: De auteurs geven expliciet aan dat deze bevindingen claims zijn over het specifieke geometrische mechanisme van bijna-synoniem competitie. Zij waarschuwen voor het extrapoleren van deze kwantitatieve resultaten naar algemene instructie-tuning datasets of bredere taakdistributies zonder her-kalibratie. De studie is beperkt tot tien handgeselecteerde zinnen en vijf architecturen, waarbij de Klasse A/B distinctie als waarschijnlijk een continu spectrum wordt beschouwd in plaats van een strikte binaire verdeling.