Technische Samenvatting: Zelftraining Vlakkt Taal Niet Af — Het Herstructureert Het

Probleemstelling

De heersende karakterisering van opeenvolgende zelftraining op taalmodellen (LLM's) is die van "afvlakking" of "modelinstorting", waarbij diversiteit afneemt, verdelingen smaller worden en tekst convergeert naar een attractor met lage entropie. Tegelijkertijd observeert de literatuur over taalkundige vingerafdrukken van LLM's dat machinegegenereerde tekst statisch rijk is aan specifieke oppervlaktemarkers (discursieve connectieven, verzachtende uitdrukkingen, gedachtestreepjes) in vergelijking met menselijke baselines. Echter, geen van beide literatuurstromingen heeft het mechanisme van deze distributieverschuiving correct beschreven. Het dominante theoretische kader schrijft verval toe aan een op frequentie gebaseerd mechanisme: zeldzame gebeurtenissen worden onderbemonsterd en sterven uit. Dit artikel betoogt dat deze karakterisering onvolledig is en dat het fenomeen beter wordt beschreven als een structurele bifurcatie dan als uniforme afvlakking.

Methodologie

De auteurs voerden gecontroleerde zelftrainingsexperimenten uit over vijf modellen die drie architectuurfamilies bestrijken (GPT-2 124M, Pythia-410M, Pythia-1.4B, Pythia-2.8B en OPT-1.3B).

• Protocol: Elk model onderging 11 generaties van pure zelftraining. Uitgaande van een vrijgegeven checkpoint genereerde het model 3.000 teksten (256 tokens elk) met behulp van nucleus sampling ($p=0.95, T=0.9$), en werd het resulterende corpus gebruikt om het model één epoch te fine-tunen. Deze cyclus werd herhaald zonder menselijke data te mengen.
• Feature-selectie: Zeventien taalkundige features werden a priori geselecteerd en gestratificeerd op Structurele Diepte ($d(\phi)$), gedefinieerd als het minimumaantal geneste syntactische afhankelijkheden dat vereist is om de feature in een zin te licentiëren:
  • $d=0$ (Oppervlak/Lexicaal): Discursieve markers, verzachtende uitdrukkingen, gedachtestreepjes, uitroeptekens.
  • $d=1$ (Lokale Syntaxis): Regelmatige verleden tijd ($V+ed$), zinsinleidende voegwoorden, eenvoudige coördinatie.
  • $d=2$ (Zinsstructuur): Vragen, parenthetica, lijdende vorm, onregelmatige verleden tijd, relatieve/adverbiale bijzinnen.
  • $d=3$ (Kruis-zins/Modus): Conjunctiefconstructies.
• Analyse: De auteurs hielden de relatieve frequentie van deze features over de generaties bij. Ze berekenden per-feature vervaltempo's ($\lambda$) via OLS-regressie en testten correlaties tegen structurele diepte ($d$) en basalfrequentie ($f$). Een mixed-effects model werd gebruikt om rekening te houden met de geneste structuur van de data ($N=85$ feature-modelparen).

Belangrijkste Bijdragen

1. Formalisering van de Hypothese voor Structurele Diepte (SDH): Het artikel stelt dat het drifttempo per generatie van een taalkundige feature primair wordt voorspeld door zijn structurele diepte ($d$) en secundair door zijn afhankelijkheid van stochastische bemonstering ($\sigma$). De hypothese veronderstelt een competitie tussen een "dieptestraf" (diepe structuren vervallen door multiplicatieve waarschijnlijkheidskosten) en een "bemonsteringsafhankelijkheidsbonus" (oppervlaktemarkers versterken door dynamiek van 'rijk wordt rijker' in stochastische bemonstering).
2. Documentatie van het "Oppervlakkige Complexiteitsparadox": De auteurs demonstreren dat terwijl aggregate "complexiteits"-proxies (diepte van afhankelijkheidsbomen, type-token ratio, gemiddelde woordlengte) stijgen tijdens zelftraining, de onderliggende zinsstructurele features (vragen, lijdende vormen, subordinatie) instorten. Dit maskeert de bifurcatie in standaard stylometrische analyses.
3. Cross-model Validatie: De studie levert gecontroleerd bewijs over vijf modellen en drie architectuurfamilies, waaruit blijkt dat het diepte-gradiënt-effect robuust is voor architecturale verschillen en trainingscorpora.
4. Refutatie van Uitleggen Alleen op Frequentie: Door middel van head-to-head statistische testen toont het artikel aan dat structurele diepte een significant sterkere voorspeller is van featureverval dan basalfrequentie.

Belangrijkste Resultaten

• Bifurcatie van Features: Oppervlaktemarkers ($d=0$) versterkten significant (bijvoorbeeld discursieve markers namen toe met +126%, verzachtende uitdrukkingen met +44%), terwijl diepe syntactische structuren ($d \ge 2$) instortten (bijvoorbeeld vraagtekens daalden met 92%, lijdende vorm met 56%, conjunctieven met 53%).
• Monotonie: De gemiddelde verandering per generatie was monotoon afnemend met structurele diepte:
  • $d=0$: +24,9%
  • $d=1$: -10,0%
  • $d=2$: -47,2%
  • $d=3$: -52,7%
• Statistische Significantie:
  • Gepoold over vijf modellen ($N=85$), was de Spearman-correlatie tussen structurele diepte en vervaltempo $\rho = 0,540$ ($p < 10^{-6}$).
  • Daarentegen was de correlatie tussen basalfrequentie en vervaltempo zwak en niet-significant in de gepoolde test ($\rho = 0,225, p = 0,039$).
  • Een mixed-effects model bevestigde dat de dieptecoëfficiënt zeer significant was ($p < 0,001$), terwijl frequentie dat niet was.
• De "Uitzondering die de Regel Bevestigt": Uitroeptekens ($d=0$) stortten in met 99,3%. De auteurs schrijven dit toe aan de SDH-vergelijking: hoewel ze ondiep zijn ($d=0$), was hun basale snelheid onder nucleus sampling te laag om de "rijk wordt rijker"-versterkingslus te activeren, waardoor ze vervallen ondanks hun lage diepte.
• Controle-experiment: Een overeenkomende controle waarbij modellen werden gefine-tuned op menselijke tekst (OpenWebText) in plaats van zelfgegenereerde tekst, leverde een bijna-nul correlatie op ($\rho = 0,039, p = 0,88$), wat bevestigt dat de dieptegradiënt specifiek is voor het zelftrainingsregime.

Betekenis en Aanspraken

Het artikel claimt twee verschillende literatuurstromen te herformuleren:

1. Modelinstorting: Het biedt een structurele in plaats van puur statistische rekening van instorting. Het betoogt dat instorting niet slechts het verlies van zeldzame tokens is, maar de systematische erosie van diepe syntactische machines, gedreven door de multiplicatieve waarschijnlijkheidsstraf van het traverseren van geneste afhankelijkheden in autoregeneratieve generatie.
2. LLM-vingerafdrukken: Het biedt een mechanistische verklaring voor waarom canonieke machine-tekstmarkers (discursieve connectieven, verzachtende uitdrukkingen) precies de features zijn die ze zijn: het zijn de overlevenden en versterkers van een diepte-gegradeerde instorting.
3. Methodologische Waarschuwing: Het artikel betoogt dat het vertrouwen op aggregate vingerafdrukmetrieken (zoals gebruikelijk is in stylometrie) systematisch de bifurcatie van taal onder zelftraining maskeert. Dit heeft directe implicaties voor het cureren van trainingsdata (wat suggereert dat er prioriteit moet worden gegeven aan zinsstructureel rijke tekst) en detectie (wat suggereert dat detectoren die vertrouwen op aggregate complexiteit kunnen falen naarmate modellen recursieve training ondergaan).

De auteurs blijven bescheiden wat betreft de specifieke drempels voor grotere modellen (7B+), opmerkend dat hun experimenten 124M tot 2,8B parameters bestrijken, maar stellen dat de richting en ordening van de dieptegradiënt consistent zijn over de geteste schalen. Zij merken ook op dat de bevindingen momenteel beperkt zijn tot het Engels en specifieke prompt-distributies.