Technische Samenvatting: VERLOREN IN STEKKING

Probleemstelling

Moderne Large Language Models (LLM's) genereren frequent tekst die homogeen, repetitief is en ontbreekt aan de lexische rijkdom van menselijk discours. Hoewel eerdere onderzoek dit "mode collapse" toeschrijft aan model-afstemmingstechnieken (zoals RLHF of DPO) of beperkingen in trainingsdata, onderzoekt dit artikel de rol van decodermecaniek in het onderdrukken van linguïstische diversiteit. De auteurs stellen dat standaard stekkingfilters (bijv. Top-p, Top-k, Min-p) fungeren als agressieve snoeimechanismen die wiskundig laag-frequentie, hoog-informatieve woorden uit het generatieve pad elimineren, zelfs wanneer die woorden binnen de latente waarschijnlijkheidsruimte van het model aanwezig zijn. Dit resulteert in een "structurele ineenstorting" waarbij de operationele woordenschat van het model kunstmatig wordt beperkt, waardoor unieke menselijke expressie wordt gladgestreken tot een gehomogeniseerd discours.

Methodologie: De Woorddekkingsscore (WCS)

Om de mate te kwantificeren waarin stekkingfilters contextueel geschikte woordenschat snoeien, introduceren de auteurs de Woorddekkingsscore (WCS). Deze metriek meet de "lexicale overlevingsrate" van menselijke woorden als functie van stekkingsparameters. De evaluatie volgt een vierfasige Forced-Path Audit:

1. Lexische Selectie: Een doelset van "Middle-Long Tail" woorden wordt geselecteerd uit het Google Web Trillion Word Corpus. Deze woorden zijn gerangschikt tussen 10.000 en 40.000 in frequentie om veelvoorkomende functionele woorden en uiterst zeldzame ruis te vermijden.
2. Contextuele Koppeling: Doelwoorden worden teruggekoppeld naar naturalistische contexten die zijn ontleend aan het PG-19 dataset (boeken gepubliceerd voor 1919), waardoor evaluatie plaatsvindt binnen een linguïstisch rijke, door mensen geschreven omgeving die vrij is van moderne web-gecrawde homogenisatie.
3. Forced-Path Audit: Voor elk woord $w$ (samengesteld uit sub-word tokens $t_1, \dots, t_n$) en context $C$, wordt het model voorzien van de ground-truth prefix. In plaats van te stekken, registreert het systeem de rang en waarschijnlijkheid van de ground-truth tokens. De audit bepaalt of deze tokens de snoeilogica van specifieke stekkingsalgoritmen zouden overleven:
   • Top-k Overleving: Het token moet binnen de top $k$ meest waarschijnlijke worden gerangschikt.
   • Top-p (Nucleus) Overleving: Het token moet behoren tot de kleinste set tokens waarvan de cumulatieve waarschijnlijkheid de drempel $p$ bereikt.
   • Min-p Overleving: De waarschijnlijkheid van het token moet een geschaalde fractie $m$ van de maximale token- waarschijnlijkheid overschrijden.
4. Metriekberekening: De WCS wordt berekend als de geaggregeerde gemiddelde bereikbaarheid ($R$) over de doelwoordset $W$ en hun contexten. Een woord wordt als "gedekt" beschouwd ($R=1$) alleen als elk samenstellend token de filter op zijn respectieve stap overleeft.

Experimentele Configuratie

De studie evalueerde open-weight modellen met minder dan 20 miljard parameters, waarbij Base (rauwe) varianten werden vergeleken met Instruct/It (afgestemde) varianten. De model-families omvatten Llama, Mistral, Qwen, Gemma en DeepSeek. De experimenten streekten systematisch stekkingsparameters door:

• Top-p: 0,7 tot 0,99
• Top-k: 1 tot 20
• Min-p: 0,01 tot 0,1
• Temperatuur: 0,7, 1,0 en 1,5

De evaluatie concentreerde zich op het fractie woorden die onbereikbaar worden ($WCS(\theta, w) = 0$) over 10 contexten per woord, waarbij effectief "woorduitwissing" wordt gemeten.

Belangrijkste Resultaten

• Systematische Woorduitwissing: Onder standaard industriestandaardinstellingen (bijv. Top-p $\approx$ 0,8–0,95, $T \approx$ 0,7) is een aanzienlijk fractie van de doelwoorden (22% tot 57%) volledig onbereikbaar in een van hun contexten. Bijvoorbeeld, het Gemma-4-E4B-it-model wisde 57% van de doelwoorden uit onder zijn standaardconfiguratie.
• Impact van Afstemming: Instruct-getuned (afgestemde) modellen vertonen over het algemeen lagere lexische bereikbaarheid dan hun base-tegenhangers. Over gepaarde paren heen daalde de gemiddelde woordniveau-bereikbaarheid van 0,740 (Base) naar 0,728 (Instruct), en de geaggregeerde WCS daalde van 0,290 naar 0,277. Dit suggereert dat voorkeuroptimalisatieprocessen de bruikbare woordenschatruimte direct beperken.
• Distillatie-tekort: Het DeepSeek-R1-Distill-Qwen-14B-model vertoonde aanzienlijk woordenschatverlies vergeleken met zijn base Qwen2.5-14B, wat aangeeft dat het distilleren van gestructureerde redeneercapaciteiten extra beperkingen introduceert op lexische toegankelijkheid.
• Ondoelmatigheid van Hoge Temperatuur: Zelfs onder agressieve hoge-temperatuurinstellingen ($T=1,5$) faalde een aanzienlijk fractie van de contexten om de doelwoorden te selecteren, wat aangeeft dat het simpelweg verhogen van de temperatuur de lexische diversiteit niet volledig herstelt en vaak coherentie in gevaar brengt.
• Model-specifieke Variantie: Hoewel de meeste families verminderde diversiteit vertoonden na afstemming, vertoonde de Gemma-familie niet-uniforme patronen; Gemma-3-12B-it verbeterde ten opzichte van zijn base, terwijl Gemma-4-E4B-it ernstige erosie leed, wat benadrukt dat de impact van afstemming varieert per architectuur en trainingsiteratie.

Betekenis en Claims

Het artikel beweert dat standaard stekkingsdefaults fungeren als onbedoelde censuurregels, die wiskundig de "Tuin van Ververtende Paden" (een metafoor voor de latente waarschijnlijkheidsruimte van het model) snoeien voordat een token ooit wordt geselecteerd. De WCS biedt een rigoureuze diagnostische tool om dit fenomeen te kwantificeren, en onthult dat de homogenisatie van LLM-uitvoer niet uitsluitend het gevolg is van trainingsdata of afstemming, maar structureel wordt afgedwongen door decodermfilters.

De auteurs betogen dat deze lexische erosie een langetermijnrisico vormt voor taal-evolutie. Aangezien door modellen gegenereerde tekst publieke repositories vult en trainingsdata wordt voor toekomstige modellen, zou de recursieve opname van dit afgevlakte discours de actieve menselijke woordenschat permanent kunnen beperken, waardoor de "Long Tail" van diverse expressie wordt uitgewist. Het artikel concludeert dat het behoud van woordenschatdiversiteit een paradigma-shift vereist: het behandelen van lexische breedte als een fundamenteel architecturaal doel dat gelijkwaardig is aan feitelijke juistheid, in plaats van een oppervlakkige parameter, en het ontwikkelen van semantisch geleide decoders die onderscheid kunnen maken tussen ruis en contextueel rijke, laag-frequentie woordenschat.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Scope: De studie is beperkt tot open-weight modellen <20B parameters en uitsluitend de Engelse taal.
• Data-bias: Contexten zijn ontleend aan literatuur voor 1919 (PG-19), wat een historische bias introduceert, hoewel dit moderne web-homogenisatie voorkomt.
• Binair Metriek: De WCS meet absolute uitsluiting ($R=0$ of $1$) en vangt geen "zachte erosie" op waarbij een woord bereikbaar blijft maar zijn waarschijnlijkheid significant wordt gedempt.
• Tokenizer-variantie: Verschillen in sub-word tokenisatie tussen model-families betekenen dat het aantal filterstappen voor een enkel woord varieert, wat directe vergelijkbaarheid beïnvloedt.
• Statische Context: De audit gebruikt een vaste 256-token prefix en beoordeelt geen lange-afstand afhankelijkheden.