Technische Samenvatting: Phantom Transitions in Taalmodel Fine-Tuning

Probleemstelling

Taalmodellen die zijn gefinetuned op contexten waar de correcte voltooiing een bijna-synonieme concurrent heeft, vertonen vaak een "stille fout" (silent failure). In deze gevallen neemt de cross-entropy (CE) loss monotoon af en stijgt de waarschijnlijkheid van het correcte token, maar het correcte token overtreft de concurrent in de rangschikking nooit. Standaard diagnostiek, die steunt op waarschijnlijkheidsvectoren en CE loss, detecteert dit niet omdat deze het vocabulaire behandelt als een orthonormale basis, waarbij de geometrische overlap tussen token-embeddings wordt genegeerd. Wanneer embeddings niet-orthogonaal zijn (bijv. schaamte en schuldgevoel), zullen de gradiëntupdates die de waarschijnlijkheid van het correcte token verhogen, tegelijkertijd de concurrent versterken via gedeelde embedding-richtingen, wat de optimalisatie doelbewust saboteert.

Methodologie

De auteur stelt een dichtheidsmatrix-framework voor om token-voorspelling te analyseren, waarbij genormaliseerde token-embeddings worden behandeld als kwantumtoestanden $|\psi_i\rangle$ en de softmax-output als een dichtheidsmatrix $\hat{\varrho} = \sum p_i |\psi_i\rangle\langle\psi_i|$. Deze aanpak maakt een scoringsregel mogelijk die rekening houdt met de niet-orthogonale geometrie van de embeddingruimte.

Belangrijke Analytische Constructen

1. De Ordeparameter ($\Phi$): Gedefinieerd als de "Born-gap", $\Phi = P_{Born}(g) - P_{Born}(c^*)$, waarbij $P_{Born}(g) = \sum p_i G_{ig}^2$ de met het kwadraat van de overlap gewogen score is. Dit onderscheidt echte onzekerheid (orthogonale tokens) van geometrische degeneratie (bijna-synoniemen).
2. Zelfsabotage-factor: De auteur leidt af dat een gradiëntstap die de waarschijnlijkheid van het grondwaarheid-token $g$ verhoogt, de Born-gap slechts voortbrengt met $(1 - G_{max}^2)\delta p$. Deze factor vertegenwoordigt de "throttle" (rem) op de optimalisatieprogressie.
3. Signaal- en Drag-decompositie: $\Phi$ wordt gedecomposed in:
   • Signaal: De waarschijnlijkheidsvoorsprong van $g$ over $c^*$, geschaald door de zelfsabotage-factor.
   • Achtergrond-drag (weerstand): Een term die wordt bepaald door hoe de rest van de embedding-pool projecteert op $g$ versus $c^*$.
4. Geometrische Observabelen:
   • Participatieverhouding ($PR$): Een geometrisch gecorrigeerde inverse participatieverhouding die het effectieve aantal verschillende tokens meet.
   • Lokalisatielengte ($\xi$): De hoekspreiding van de voorspellingswolk.
   • Begrafenisdiepte (Burial Depth, $B$): De ratio tussen de initiële lokalisatielengte en de hoekafstand tussen $g$ en $c^*$. $B > 1$ impliceert dat de voorspellingswolk te breed is om de tokens geometrisch te discrimineren.
5. Dimensieloze Grootheden: Het traject wordt gekarakteriseerd door gereduceerde eenheden, inclusen de gereduceerde veldsterkte $H = G_{max}\eta / \theta^*$, waarbij $\eta$ de leersnelheid is en $\theta^*$ een modelspecifieke verzadigingsdrempel.

Experimentele Opzet

De studie bestrijkt vijf transformer-architecturen (distilgpt2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) die een zesvoudig parameterrange en twee verschillende embedding-geometrie-klassen beslaan. Experimenten omvatten het finetunen op tien handgeselecteerde bijna-synonieme contexten met behulp van zowel Full Fine-Tuning (Full FT) als Low-Rank Adaptation (LoRA).

Belangrijkste Resultaten

1. Phantom Faseovergangen

De ordeparameter $\Phi$ vertoont scherpe sprongen die lijken op faseovergangen. De auteur falsifieert echter de interpretatie hiervan als spontane symmetriebreking (SSB) of geometrische faseovergangen.

• Bewijs: Onder LoRA, waarbij de embedding-matrix bevroren is, blijven de scherpe sprongen bestaan. Omdat de embedding-geometrie niet kan bewegen, moet de discontinuïteit volledig in de softmax-readout liggen.
• Mechanisme: De onderliggende logit-gap evolueert vloeiend. De "sprong" vindt plaats wanneer de logit-gap de softmax-verzadigingsschaal kruist (ongeveer 1,5–2,0 nats), wat een snelle verschuiving van de waarschijnlijkheidsmassa veroorzaakt. De transitie is kinematisch, niet structureel.

2. Twee Faalmodi

Het framework isoleert twee verschillende faalmodi in fine-tuning:

• Kinematische Fout: Het signaal is te klein om de achtergrond-drag te overwinnen. Het model slaagt er niet in te committen omdat de leersnelheid of de zelfsabotage-factor onvoldoende is.
• Structurele Fout: De achtergrond-drag verslechtert actief tijdens de training. Zelfs als de logit-gap groeit, trekt de geometrische bias van de pre-trained embedding-pool (bijv. morfologische verwanten van de concurrent) de waarschijnlijkheid weg van het correcte token. Dit wordt waargenomen in modellen met dichte embedding-bulks (Class A).

3. Architectuurklassen en LoRA-geschiktheid

De auteur identificeert twee klassen van architecturen op basis van de distributie van paarwijze embedding-overlaps (de "bulk"):

• Class A (Dichte Gaussische Bulk): Modellen zoals GPT-2 en SmolLM. De embeddingruimte is overvol; bijna-synoniemen zijn uitschieters in een populatieve staart. LoRA slaagt er vaak niet in om de competitie tussen bijna-synoniemen op te lossen, omdat het onderdrukken van één concurrent simpelweg de massa verschuift naar een andere geometrisch gelijkaante token.
• Class B (Sparse Exponentiële Bulk): Modellen zoals Pythia. De embeddingruimte is bijna-orthogonaal. LoRA is voldoende om de competitie op te lossen omdat de geometrische interferentie gelokaliseerd is.
• Criterium: De Burial Depth ($B$) gemeten na LoRA voorspelt geschiktheid. Class B-modellen bereiken $B < 1$ (opgelost), terwijl Class A-modellen op $B > 1$ blijven (onopgelost).

4. Universele Schaling en Blinde Voorspelling

• Consistentie van de Gereduceerde Veldsterkte: Onder Full FT is de gereduceerde veldsterkte $H_{FT}$ consistent over alle vijf de architecturen bij ongeveer $10,0 \pm 0,9$, wat suggereert dat standaard leersnelheden ongeveer tien keer boven de verzadigingsdrempel liggen.
• Blinde Voorspelling: Gebruikmakend van de Class A gemiddelde $H_{LoRA} \approx 1,70$ afgeleid van drie modellen, voorspelde de auteur de kritieke leersnelheid voor een onafhankelijk gehouden model (gpt-neo-125m). De voorspelling ($5,71 \times 10^{-5}$) kwam overeen met de gemeten grondwaarheid ($5,83 \times 10^{-5}$) binnen een marge van 2,1%.

5. Stopcriterium

Het stoppen van de fine-tuning wanneer de ordeparameter $\Phi$ verzadigt (in plaats van te wachten op convergentie van de CE loss) bespaart ongeveer 30% aan rekenkracht zonder de rangschikkingskwaliteit te verslechteren, aangezien de rangschikking vastlegt voordat de loss volledig convergeert.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor stille fouten in fine-tuning die standaard diagnostiek mist. De primaire bijdragen zijn:

1. Diagnostisch Framework: Een dichtheidsmatrix-formulering die geometrische zelfsabotage onthult en onderscheid maakt tussen kinematische en structurele fouten.
2. Falsificatie van SSB: Het aantonen dat scherpe sprongen in rangschikking artefacten zijn van de softmax-readout, en geen faseovergangen in de interne geometrie van het model.
3. Voorspellende Kracht: Het vermogen om architecturen te classificeren in LoRA-geschikte en LoRA-ongeschikte klassen op basis van enkel de pre-trained embedding-geometrie (bulkdistributie) en het voorspellen van kritieke leersnelheden voor onziene architecturen met hoge nauwkeurigheid.
4. Scope-beperking: De auteur stelt expliciet dat deze kwantitatieve bevindingen specifiek zijn voor het bestudeerde geometrische mechanisme van bijna-synoniemen en niet zonder herkalibratie geëxtrapoleerd moeten worden naar algemene instructie-tuning datasets. Het werk dient als een gecontroleerde, natuurkundige analyse van een specifieke faalmodus in plaats van een breed benchmark-onderzoek voor alle fine-tuning taken.