📊 statistics

When are likely answers right? On Sequence Probability and Correctness in LLMs

Dit artikel onderzoekt de relatie tussen sequentiekans en juistheid in grote taalmodellen, waarbij wordt vastgesteld dat hoewel een hogere waarschijnlijkheid binnen een vaste dataset vaak juistheid voorspelt, het geen betrouwbare indicator is voor het verbeteren van nauwkeurigheid door wijzigingen in decodemingsmethoden of voor het onderscheiden van correcte antwoorden op dezelfde prompt.

Oorspronkelijke auteurs: Johannes Zenn, Jonas Geiping

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Zenn, Jonas Geiping

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een super-imaginatieve verhalenverteller die bijna elk boek in de bibliotheek heeft gelezen. Wanneer je deze verhalenverteller een prompt geeft (een begin van een verhaal), spuugt hij niet zomaar één einde uit; hij kan duizenden verschillende mogelijke eindes genereren.

De grote vraag die dit paper stelt is: "Als een einde van een verhaal heel 'waarschijnlijk' of 'natuurlijk' aanvoelt voor de verhalenverteller, betekent dat dan ook dat het het correcte antwoord is?"

De auteurs behandelen de "waarschijnlijkheid" van het model (hoe waarschijnlijk het model een zin vindt) als een vertrouwensmeter. Ze wilden weten of het harder zetten van het volume van deze vertrouwensmeter daadwerkelijk leidt tot betere antwoorden.

Dit is wat ze ontdekten, onderverdeeld in eenvoudige analogieën:

1. De "Bibliotheek" Analogie (Binnen een dataset)

De bevinding: Als je naar een hele stapel antwoorden kijkt die zijn gegenereerd voor een specifiek type vraag (zoals een wiskundetoets), dan zijn de antwoorden die het model het meest "waarschijnlijk" vindt, meestal ook de juiste.

De metafoor: Stel je een bibliothecaris voor die een plank met boeken heeft geordend. Als je vraagt: "Welk van deze boeken is de juiste gids voor het repareren van een auto?", wijst de bibliothecaris naar het boek waarvan hij het meest zeker is dat het het juiste is. In een stapel van verschillende vragen is de bibliothecaris meestal juist.
De adder onder het gras: Dit werkt alleen als je verschillende vragen met elkaar vergelijkt. Het betekent niet dat de bibliothecaris perfect is in het kiezen van het juiste boek voor één specifieke vraag, alleen omdat hij zich zo zeker voelt.

2. De "Draaiknop" Analogie (Instellingen veranderen)

De bevinding: Als je probeert het model "zelfverzekerder" te maken door de instellingen te veranderen (zoals een draaiknop om het minder willekeurig te maken), krijg je niet noodzakelijkerwijs betere antwoorden. Sterker nog, je krijgt vaak slechtere antwoorden die alleen maar heel zelfverzekerd klinken.

De metafoor: Stel je een radio voor. Je kunt de knop voor "signaalsterkte" omhoog draaien om de muziek luider en helderder te laten klinken. Maar als je hem te hoog draait, krijg je misschien alleen maar statische ruis die heel hard en helder klinkt, ook al is het niet het juiste liedje.
De realiteit: Het paper vond dat het aanpassen van de instellingen van het model om de "meest waarschijnlijke" reeksen te forceren, het model vaak zelfverzekerder laat klinken, maar het maakt het model niet slimmer. Soms is het "meest waarschijnlijke" pad eigenlijk een valstrik.

3. De "Crowd Vote" Analogie (Dezelfde vraag, verschillende antwoorden)

De bevinding: Als je het exacte dezelfde vraag 32 keer stelt, is het "meest waarschijnlijke" antwoord niet altijd het juiste antwoord. Het model kan je 32 verschillende antwoorden geven, en het antwoord waarvan het denkt dat het het meest waarschijnlijk is, kan fout zijn.

De metafoor: Stel je voor dat je een kamer vol met 32 mensen dezelfde raadsel stelt. Je vraagt: "Wie is de slimste persoon hier?". De persoon die zijn hand het luidst opsteekt (hoogste waarschijnlijkheid) is niet noodzakelijkerwijs degene met het juiste antwoord. Soms is de kamer verdeeld, en is het "luide" antwoord slechts een populaire gok, niet de waarheid.
De uitzondering: Het paper vond één specifiek type puzzel (wiskundeproblemen) waarbij de "luidste" stem meestal de slimste was. Maar voor andere soorten vragen (zoals het opvolgen van instructies of medisch advies) was de luidste stem vaak net zo waarschijnlijk fout als de stille stemmen.

4. De "Zelfverbetering" Valstrik

De bevinding: Sommige mensen proberen AI slimmer te maken door het zijn eigen "beste" antwoorden te laten kiezen en daarvan te leren. Dit paper waarschuwt dat dit riskant is.

De metafoor: Stel je een student voor die beter probeert te worden in wiskunde door alleen te studeren met de antwoorden die hij denkt dat juist zijn. Als de student niet al behoorlijk goed is in wiskunde, zal hij alleen maar zijn eigen fouten blijven versterken, denkend: "Oh, dit foute antwoord voelt heel bekend aan, dus het moet wel juist zijn!"
De les: Je kunt "vertrouwen" alleen gebruiken om de AI te verbeteren als de AI al goed is in de taak. Als de AI moeite heeft, zal het vertrouwen op zijn eigen zelfvertrouwen er alleen maar voor zorgen dat hij met meer zelfvertrouwen fouten maakt.

Samenvatting van de "Vuistregels"

Het paper geeft ons drie belangrijke lessen voor het gebruik van deze modellen:

Vertrouw het "Volume" niet: Alleen omdat het model zegt dat een antwoord "zeer waarschijnlijk" is, betekent dat niet dat het correct is.
Context is belangrijk: De relatie tussen "je zeker voelen" en "gelijk hebben" verandert afhankelijk van het type vraag (Wiskunde is anders dan Code, wat weer anders is dan Instructies).
Optimaliseer niet te veel: Proberen het model "waarschijnlijker" te maken door de instellingen te veranderen, helpt meestal niet en kan de prestaties zelfs verslechteren.

Kortom: Het "onderbuikgevoel" van het model (waarschijnlijkheid) is een nuttige aanwijzing bij het kijken naar het grote plaatje, maar het is een verschrikkelijke kompas voor het navigeren door een enkele, specifieke probleemstelling. Je kunt niet simpelweg de "zelfvertrouwen-draaiknop" omhoog draaien en verwachten dat de antwoorden beter worden.

Technische Samenvatting: Wanneer zijn waarschijnlijke antwoorden juist? Over sequentiekans en correctheid in LLM's

Probleemstelling

Large Language Models (LLM's) zijn autoregressieve systemen die kansen toekennen aan token-sequenties. Decoding-methoden (bijv. beam search, top-k sampling, Best-of-N) zijn vaak ontworpen om de waarschijnlijkheidsmassa te verschuiven naar outputs die waarschijnlijker zijn onder het model, hetzij lokaal op tokenniveau, hetzij globaal op sequentieniveau. Een fundamentele aanname die deze methoden drijft, is dat een hogere sequentiewaarschijnlijkheid correleert met correctheid. Empirische observaties suggereren echter dat deze relatie niet universeel is; bijvoorbeeld presteert beam search, wat de meest waarschijnlijke sequentie benadert, vaak slechter dan sampling-methoden.

Dit artikel behandelt de kernvraag: Wanneer komt sequentiewaarschijnlijkheid (de voorwaardelijke kans van een voortzetting gegeven een prompt) daadwerkelijk overeen met correctheid? De auteurs beogen deze relatie te kwantificeren over verschillende decoding-methoden, modellen en benchmarks om te bepalen wanneer het maximaliseren van waarschijnlijkheid leidt tot betere antwoorden en wanneer dat niet het geval is.

Methodologie

De auteurs voeren een grootschalige empirische studie uit om de correlatie tussen sequentie-log-waarschijnlijkheid en correctheid te kwantificeren op vier verschillende niveaus van granulariteit:

Correlatie over Methoden (Across-Method): Het vergelijken van verschillende decoding-methoden (en hun optimale hyperparameters) op een vast model en dataset.
Correlatie binnen Methoden (Within-Method): Analyseren hoe het wijzigen van hyperparameters binnen een enkele decoding-methode zowel de waarschijnlijkheid als de correctheid beïnvloedt.
Correlatie binnen Datasets (Within-Dataset): Het onderzoeken van de relatie tussen log-waarschijnlijkheid en correctheid over alle prompt-antwoord paren binnen een specifieke dataset, model en methode.
Correlatie binnen Samples (Within-Sample): Het onderzoeken van de correlatie tussen meerdere responsen gegenereerd voor dezelfde prompt.

Experimentele Opstelling:

Modellen: 14 modellen uit de Qwen2.5, Qwen3 en Olmo3 families (variërend van 0,6B tot 8B parameters), inclusief zowel base als post-trained varianten.
Datasets: 6 benchmark-datasets die wiskundig redeneren (MATH500), codegeneratie (HumanEval), instructie-opvolging (IFEval) en algemene kennis/medisch redeneren (GPQA, MedQA, MMLU) bestrijken.
Decoding-methoden: 8 methoden werden geëvalueerd:
- Lokale methoden: Low-temperature sampling (LTS), Top-k, Top-p, $\epsilon$ -sampling.
- Globale methoden: Beam search, Best-of-N (BoN), Scalable Power Sampling (SPS), en Power-SMC.
Metrieken: De studie maakt gebruik van Pearson correlatiecoëfficiënten (op gebinde data) en Spearman rangcorrelatiecoëfficiënten om de relatie tussen log-waarschijnlijkheid en binaire correctheid-labels te meten.

Belangrijkste Bijdragen en Bevindingen

1. Decoding framen als Waarschijnlijkheidsmaximalisatie

Het artikel frameert decoding-methoden formeel als benaderingen om de sequentiewaarschijnlijkheid te maximaliseren. Het maakt onderscheid tussen lokale methoden (die de volgende-token distributie bij elke stap aanpassen, wat vaak faalt in het maximaliseren van de globale sequentiewaarschijnlijkheid door lokale normalisatieconstanten) en globale methoden (die zich richten op de modus of de power-distributie van de volledige sequentie). De auteurs bieden een variationele doelstelling die aantoont dat de power-distributie fungeert als een zachte maximizer van sequentiewaarschijnlijkheid, waarbij een afweging wordt gemaakt tussen verwachte log-waarschijnlijkheid en entropie.

2. Granulariteitsafhankelijke Correlatie

De centrale bevinding is dat de relatie tussen waarschijnlijkheid en correctheid niet uniform is; het hangt sterk af van het niveau van analyse:

Binnen een Dataset (Bevinding 1): Er is een consistente, vaak positieve correlatie tussen log-waarschijnlijkheid en correctheid binnen een vaste dataset, model en methode. Deze correlatie wordt grotendeels bepaald door de dataset en de modelvariant in plaats van de decoding-methode. Bijvoorbeeld: MATH500 vertoont een bijna perfecte positieve correlatie, terwijl IFEval vaak een negatieve correlatie vertoont voor base-modellen. Post-getrainde modellen vertonen over het algemeen positieve correlaties, terwijl base-modellen meer divers zijn.
Binnen een Methode (Bevinding 2): Het afstemmen van de hyperparameters van een specifieke decoding-methode om de sequentiewaarschijnlijkheid te verhogen, verbetert de correctheid niet betrouwbaar. Hoewel het wijzigen van hyperparameters (bijv. temperatuur, beam width) vaak sequenties oplevert met een hogere log-waarschijnlijkheid, zijn deze sequenties vaak minder correct. Er is geen consistente manier om een methode af te stemmen om zowel waarschijnlijkheid als nauwkeurigheid gelijktijdig te maximaliseren over verschillende datasets.
Over Methoden heen (Bevinding 3): Geen enkele decoding-methode presteert consistent beter dan andere in termen van correctheid, zelfs niet bij het kiezen van optimale hyperparameters. Hoewel veel methoden sequenties produceren die zowel waarschijnlijker als correcter zijn dan een low-temperature baseline (LTS), is dit geen betrouwbare regel. Specifiek: het verhogen van de sequentiewaarschijnlijkheid door over te schakelen naar een andere methode (bijv. naar Power Sampling) garandeert geen hogere nauwkeurigheid.
Binnen een Sample (Bevinding 5): Voor een enkele prompt is de correlatie tussen log-waarschijnlijkheid en correctheid onder herhaalde samples over het algemeen zwak en symmetrisch verdeeld rond nul. Echter, prompts waarbij het model een hoger deel correcte antwoorden genereert, vertonen vaak sterkere positieve binnen-sample correlaties.

3. Implicaties voor Zelfverbetering en Zelfconsistentie

Het artikel verbindt deze bevindingen met verifier-vrije zelfverbetering en zelfconsistentie (SC):

Zelfconsistentie (Self-Consistency) (Bevinding 6): Voor low-temperature sampling presteert meerderheidsstemmen (uniform gewogen) vaak beter dan waarschijnlijkheid-gewogen stemmen. Dit wordt toegeschreven aan de zwakke of symmetrische binnen-sample correlaties, wat betekent dat een hoge waarschijnlijkheid niet betrouwbaar een indicatie is van het juiste antwoord voor een specifieke prompt.
Zelfverbetering (Self-Improvement) (Bevinding 4): Waarschijnlijkheid-gebaseerde recursieve zelfverbeteringslussen vereisen mogelijk een voldoende baseline-nauwkeurigheid om effectief te zijn. De correlatie tussen waarschijnlijkheid en correctheid schaalt met de algehele nauwkeurigheid van het model; als het model niet al accuraat is, kan het versterken van hoog-waarschijnlijke samples ook het versterken van onjuiste samples betekenen.

Betekenis en Claims

Het artikel beweert de condities te verhelderen waaronder decoding verwacht kan worden de correctheid te verbeteren. De primaire bijdrage is een genuanceerd begrip dat sequentiewaarschijnlijkheid een nuttig signaal is om correcte van incorrecte antwoorden te onderscheiden over een dataset, maar een slecht signaal is voor het selecteren van hyperparameters of decoding-methoden om de prestaties op een specifieke taak te verbeteren.

De auteurs benadrukken dat de intuïtie "hogere waarschijnlijkheid equals hogere correctheid" standhoudt op datasetniveau (waardoor modellen in totaal goede van slechte antwoorden kunnen onderscheiden), maar faalt op beslissingsniveau (het selecteren van het beste antwoord voor een specifieke prompt of het afstemmen van een methode). Bijgevolg adviseert het artikel tegen het uitsluitend vertrouwen op sequentiewaarschijnlijkheid voor:

Het selecteren van de optimale decoding-methode of hyperparameters zonder empirische validatie.
Waarschijnlijkheid-gewogen aggregatie in zelfconsistentie (tenzij het model een zeer hoge nauwkeurigheid heeft).
Verifier-vrije zelfverbeteringslussen zonder te zorgen voor een voldoende baseline van taak-nauwkeurigheid.

Het werk suggereert dat toekomstige decoding-strategieën zich moeten richten op de granulariteit van de correlatie: het benutten van waarschijnlijkheidssignalen voor filtering op datasetniveau, terwijl de beperkingen ervan voor selectie op instantieniveau worden erkend.