🤖 machine learning

Gauge dependence and structured-output corruption in sign-branched repetition penalties: measurements across models, inference stacks, and alternative repetition controls

Dit artikel toont aan dat de veelgebruikte sign-branching repetition penalty in LLM-inferentie-engines fundamenteel gebrekkig is omdat deze afhankelijk is van het arbitraire logit-nulpunt, wat leidt tot massale instabiliteit in tokenselectie over verschillende modellen en catastrofale fouten in gestructureerde JSON-output, een probleem dat wordt opgelost door de straf toe te passen op genormaliseerde log-waarschijnlijkheden in plaats van op ruwe logits.

Oorspronkelijke auteurs: Peter Hollows

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peter Hollows

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot-schrijver hebt die ervan houdt om verhalen te vertellen. Soms loopt de robot vast in een loop, waarbij hij steeds hetzelfde woord herhaalt als een kapotte plaat. Om dit op te lossen, hebben ingenieurs de robot een "repetition penalty"-knop (herhalingsstraf-knop) gegeven. Het idee is simpel: als de robot probeert een woord te gebruiken dat hij net al heeft gebruikt, draai je de knop omhoog om dat woord minder waarschijnlijk te maken, waardoor de robot wordt gedwongen verder te gaan.

Jarenlang heeft bijna elke robot-schrijver ter wereld (van Hugging Face tot vLLM tot llama.cpp) precies hetzelfde type knop gebruikt. Maar dit artikel onthult een schokkend geheim: deze specifieke knop is kapot omdat hij naar het verkeerde getal kijkt.

Het defecte kompas

Om de glitch te begrijpen, stel je voor dat de hersenen van de robot een gigantische kaart zijn waar elk mogelijk woord een score heeft. Positieve scores betekenen "Ik wil dit echt zeggen", en negatieve scores betekenen "Ik wil dit echt niet zeggen". De kaart is flexibel; de robot kan de hele kaart naar links of rechts verschuiven (een constant getal toevoegen aan elke score) zonder te veranderen welk woord hij als volgende kiest. Het is alsof je een hele stad op een kaart verplaatst; de straten staan nog steeds in dezelfde volgorde ten opzichte van elkaar, zelfs als de stad nu in een ander land ligt.

De kapotte knop probeert te beslissen hoeveel een herhaald woord gestraft moet worden door te controleren of de score positief of negatief is.

Als de score positief is, deelt het de waarde door een straffactor (waardoor deze kleiner wordt).
Als de score negatief is, vermenigvuldigt het de waarde met de straffactor (waardoor deze nog negatiever wordt).

Hier is het probleem: de lijn tussen "positief" en "negatief" is willekeurig. Omdat de robot zijn hele kaart naar links of rechts kan verschuiven zonder zijn gedrag te veranderen, kan een woord dat op de ene robot "positief" is, op een andere robot "negatief" zijn, of zelfs op dezelfde robot als de kaart een klein beetje verschuift.

Het bewijst dat deze "sign-branch" (het controleren of een getal positief of negatief is) kijkt naar een coördinaat die de training van de robot nooit echt heeft vastgelegd. Het is alsof je een auto probeert te besturen door te sturen op basis van of het dashboard momenteel in de "rode" of "blauwe" zone staat, terwijl het hele dashboard uit zichzelf naar voren en naar achteren kan schuiven.

De chaos van "Zelfde knop, andere resultaten"

Vanwege deze verschuivende kaart doet dezelfde instelling op de knop (zoals 1.3) totaal verschillende dingen voor verschillende robots.

Bij de ene robot (zoals gpt2) straft een instelling van 1.3 misschien 84% van de herhaalde woorden.
Bij een andere robot (zoals Qwen2.5-Coder-7B) straft diezelfde 1.3 instelling bijna geen enkele herhaling, of straft het ze op een totaal andere manier.

De auteurs testten dit door een enkele robot te nemen en de kaart heen en weer te schuiven. Ze ontdekten dat met een standaardinstelling van 1.3, de robot zijn mening over 58% tot 96% van zijn keuzes veranderde, enkel omdat de kaart een klein beetje verschoof!

Als je een "subtractieve" straf gebruikt (gewoon een getal aftrekken), blijft de robot hetzelfde.
Als je de standaard "multiplicatieve" sign-branch gebruikt, gaat de robot krankzinnig doen en verandert hij zijn mening bij bijna elk woord dat hij kiest.

Dit betekent dat als je jouw robot afstelt om goed te werken met een instelling van 1.3, je hem eigenlijk afstelt voor een specifieke, accidentele "nulpuntswaarde" van die specifieke robot. Als je die robot naar een andere computer verplaatst of de software bijwerkt, kan diezelfde instelling hem volledig breken.

De JSON-ramp

Het gevaarlijkste deel van deze bug is dat het "gestructureerde output" vernietigt. Dit is wanneer je de robot vraat om code of JSON (een specifiek dataformaat) te schrijven dat strikte regels moet volgen, zoals het sluiten van elke accolade { of het toevoegen van een komma ,.

Deze regels vereisen dat de robot bepaalde symbolen herhaalt. Maar omdat de straf naar de ruwe getallen kijkt, ziet hij een "noodzakelijke regel" vaak aan voor een "slechte herhaling".

De auteurs testten dit op 200 echte JSON-schema's.
Met de standaardinstelling van 1.3 stortte het percentage geldige, werkende JSON-output in van 97% naar slechts 23%.
De robot begon de grammatica te breken, vergat accolades te sluiten of miste komma's, omdat de straf te agressief was op de verkeerde getallen.

Dit was geen simulatie-gok; de auteurs maten dit direct op vijf verschillende modellen, inclusen code-gespecialiseerde modellen, en zagen dezelfde crash gebeuren in elke grote softwarestack (Hugging Face, vLLM en llama.cpp).

De oplossing: Eerst normaliseren

Het papier biedt een eenvoudige, bewezen oplossing. In plaats van naar de ruwe, verschuivende getallen te kijken, moet de straf kijken naar de genormaliseerde waarschijnlijkheden (het werkelijke percentage kans dat een woord wordt gekozen).

Waarschijnlijkheden liggen altijd tussen 0 en 1, dus ze verschuiven niet.
Toen de auteurs de straf op deze genormaliseerde getallen toepasten in plaats van op de ruwe scores, verdween de chaos.
De "flip rate" (hoe vaak de robot van gedachten veranderde door een verschuiving) daalde naar 0.00.
Het JSON-succespercentage bij 1.3 schoot weer omhoog naar 97%.

Hugging Face heeft al een tool genaamd LogitNormalization die dit doet, maar deze staat standaard uit en draait na de straf. Het artikel suggereert dat als je deze aanzet en het vóór de straf uitvoert, je een stabiel, betrouwbaar resultaat krijgt dat op dezelfde manier werkt voor elke robot.

De kern van het verhaal

De "multiplicatieve herhalingsstraf" die momenteel in bijna elke AI-engine wordt meegeleverd, is fundamenteel gebrekkig omdat het vertrouwt op een getallenlijn die kan verschuiven. Het is geen universele knop; het is een kapotte draaiknop die op elke machine andere resultaten geeft.

Wat het doet: Het veroorzaakt enorme, onvoorspelbare veranderingen in wat de AI schrijft (het flipt 58–96% van de keuzes) en breekt gestructureerde formaten zoals JSON (waardoor de geldigheid daalt van 97% naar 23%).
Wat het niet is: Het is geen functie; het is een bug die al jaren door de industrie wordt gekopieerd.
De oplossing: Normaliseer eerst de getallen. Dit verwijdert het probleem van de verschuivende kaart en zorgt ervoor dat de straf consistent werkt, ongeacht welke robot je gebruikt.

De auteurs hebben dit gemeten over meerdere modellen en softwarestacks, en de resultaten zijn duidelijk: de huidige standaard is kapot, en de oplossing is klaar voor gebruik.

Technische Samenvatting: Gauge-afhankelijkheid en Corruptie van Gestructureerde Output in Sign-Branched Repetitiebestraffingen

Probleemstelling
Het artikel identificeert een fundamenteel gebrek in de multiplicatieve repetitiebestraffing die breed wordt ingezet in het gehele LLM-inferentie-ecosysteem (inclusief Hugging Face, vLLM en llama.cpp). De standaardoperator, overgenomen van het CTRL-model, past een bestraffing toe op eerder geziene tokens door te takken op het teken van hun ruwe logits: het delen van positieve logits door een factor $\theta$ en het vermenigvuldigen van negatieve logits met $\theta$ .

De kern van het probleem is dat de locatie van het logit-nulpunt willekeurig is. De softmax-functie is verschuivings-invariant ( $\text{softmax}(z+c) = \text{softmax}(z)$ ), wat betekent dat de trainingsdoelstelling van een model de waarschijnlijkheidsverdeling beperkt, maar de absolute waarden van de logits (de "gauge") onbeperkt laat. Gevolgelijknya werkt de sign-branch van de bestraffing op een coördinaat die het trainingsproces niet vastlegt. Dit leidt tot twee meetbare negatieve gevolgen:

Ongedefinieerd Gedrag: Een vaste repetitiebestraffing-instelling (bijv. $\theta=1.3$ ) voert een andere wiskundige operatie uit op verschillende modellen (of zelfs op hetzelfde model met een verschoven bias), aangezien het deel van de tokens dat op de "deel"- versus de "vermenigvuldig"-branch valt, sterk varieert op basis van het logit-nulpunt van het model.
Corruptie van Gestructureerde Output: De bestraffing onderdrukt onvoorwaardelijk tokens die vereist zijn door grammatica (bijv. sluitende accolades in JSON, inspringing in code), simpelweg omdat ze eerder zijn verschenen. Dit veroorzaakt een catastrofale daling in de geldigheid van gestructureerde outputs.

Methodologie
De auteurs voeren een reeks gecontroleerde experimenten uit over vijf modellen (variërend van gpt2 tot Qwen2.5-7B, inclusend base en RLHF varianten) en twee inferentie-stacks (vLLM en llama.cpp) om het effect van de sign-branch te isoleren.

Gauge Flip Experiment (Gevolg 1): De auteurs decoderen hetzelfde model tweemaal met identieke willekeurige seeds en inputs, maar voegen een constante $c$ toe aan alle logits (om een verschuiving in de bias van het model te simuleren). Voor een goed gedefinieerde interventie moet de greedy token-selectie identiek blijven. Ze meten de "flip rate" (het deel van de posities waar het token verschilt) bij $\theta=1.3$ vergeleken met controles (subtractieve bestraffingen en genormaliseerde bestraffingen).
Evaluatie van Gestructureerde Output (Gevolg 2): De auteurs evalueren de impact van de bestraffing op twee taken:
- HumanEval: Het genereren van code waarbij specifieke delimiters vereist zijn.
- JSONSchemaBench: Het genereren van JSON-objecten tegen 200 real-world schema's.
  Ze meten de snelheid van geldige, schema-conforme output en de frequentie van "delimiter flips" (waarbij een vereiste structurele token onjuist wordt onderdrukt).
Cross-Stack Verificatie: De experimenten worden gerepliceerd in vLLM en llama.cpp met behulp van hun native samplers om te bevestigen dat het probleem inherent is aan de implementatie van de operator in het hele ecosysteem.
Voorgestelde Fix: De auteurs testen een variant waarbij de bestraffing wordt toegepast op genormaliseerde log-waarschijnlijkheden ( $\log p_i$ ) in plaats van ruwe logits ( $z_i$ ), wat de sign-branch effectief elimineert aangezien alle log-waarschijnlijkheden niet-positief zijn.

Belangrijkste Resultaten

Gauge Afhankelijkheid: De standaard sign-branch bestraffing is zeer gevoelig voor het logit-nulpunt.
- Over vijf echte checkpoints heen varieert het deel van de geziene tokens met positieve logits (en dus gedeeld worden) van 0,17 (gpt2) tot 0,95 (Qwen2.5-Coder-7B).
- In het gecontroleerde flip-experiment veroorzaakt het verschuiven van het logit-nulpunt met een constante van $\pm 5$ een flip van 58% tot 96% van de greedy tokens bij $\theta=1.3$ . In contrast hiermee vertonen subtractieve bestraffingen en genormaliseerde bestraffingen een flip rate van 0%.
- De "kosten" van de interventie (gemeten in log-likelihood) varieert met een factor 4,1 afhankelijk van de gauge, terwijl controles constant blijven.
Falen van Gestructureerde Output: De bestraffing degradeert de gestructureerde generatie ernstig.
- Op JSONSchemaBench verlaagt het toepassen van $\theta=1.3$ de ratio van geldige JSON-output van 97% naar 23%.
- Op HumanEval veroorzaakt de bestraffing flips op structurele tokens met een gebalanceerde accuratesse van 0,999 tegen een theoretische voorspelling, wat bevestigt dat het mechanisme wordt gedreven door de bestraffing die noodzakelijke delimiters onderdrukt.
Ecosysteem Prevalentie: De sign-branch implementatie wordt aangetroffen in Hugging Face, vLLM, llama.cpp, en twaalf andere engines (bijv. TGI, SGLang, Ollama). Het probleem is niet geïsoleerd tot één enkele bibliotheek, maar is een systemisch artefact van het ontwerp van de operator.
Effectiviteit van Normalisatie: Het toepassen van de bestraffing op genormaliseerde log-waarschijnlijkheden ( $\log \text{softmax}(z)$ $lo g softmax (z)$ ) elimineert beide effecten.
- De gauge flip rate daalt naar 0,00.
- JSON-geldigheid bij $\theta=1.3$ herstelt naar 97%.
- Delimiter-corruptie neemt met ongeveer 80x af.

Betekenis en Claims
Het artikel betoogt dat de standaard multiplicatieve repetitiebestraffing niet een "schone scalaire knop" is, maar een tijdens de inferentie uitgevoerde interventie waarvan het gedrag gedeeltelijk wordt bepaald door een onbeperkt training-artefact (het logit-nulpunt).

Gebrek aan Portabiliteit: Een vaste $\theta$ -waarde vertegenwoordigt niet dezelfde operatie over verschillende modellen heen, wat per-model en per-taak tunen noodzakelijk maakt, zelfs voor een "standaard" parameter.
Onbedoelde Gevolgen: De bestraffing corrumpeert gestructureerde output door grammaticale noodzakelijkheden (die moeten herhalen) te behandelen als ongewenste repetities, een faalmodus die bijzonder acuut is bij code- en JSON-generatie.
Oplossing: De auteurs demonstreren dat het normaliseren van de logits vóór het toepassen van de bestraffing (of het gebruiken van subtractieve bestraffingen) zowel de gauge-afhankelijkheid als de corruptie van gestructureerde output wegneemt. Ze merken op dat Hugs Face al een LogitNormalization operator aanbiedt, maar dat deze momenteel standaard uitgeschakeld is en na de bestraffing wordt toegepast, wat het probleem niet oplost.

Het artikel concludeert dat hoewel repetitiebestraffingen noodzakelijke werkwoorden zijn voor modelgedrag, de huidige standaardimplementatie "scherpe randen" introduceert die de betrouwbaarheid in gevaar brengen. De auteurs roepen stack-maintainers op om ofwel de subtractieve familie van bestraffingen te adopteren, of de volgorde van de multiplicatieve bestraffing te wijzigen zodat deze op genormaliseerde log-waarschijnlijkheden werkt.

Het defecte kompas

De chaos van "Zelfde knop, andere resultaten"

De JSON-ramp

De oplossing: Eerst normaliseren

De kern van het verhaal

Meer zoals dit