📊 statistics

Don't Throw Away Your Beams: Improving Consistency-based Uncertainties in LLMs via Beam Search

Dit artikel stelt het gebruik van beam search voor in plaats van multinomiale steekproeven om kandidaten te genereren voor consistentiegebaseerde onzekerheidskwantificatie in grote taalmodellen, en toont aan dat deze aanpak de variantie vermindert en state-of-the-art prestaties bereikt op korte QA-taken.

Oorspronkelijke auteurs: Ekaterina Fadeeva, Maiya Goloburda, Aleksandr Rubashevskii, Roman Vashurin, Artem Shelmanov, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ekaterina Fadeeva, Maiya Goloburda, Aleksandr Rubashevskii, Roman Vashurin, Artem Shelmanov, Preslav Nakov, Mrinmaya Sachan, Maxim Panov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Echo-kamer" van AI-antwoorden

Stel je voor dat je een simpele vraag stelt aan een Groot Taalmodel (LLM), zoals: "Wie zong 'Thriller'?"

Om te bepalen hoe zelfverzekerd de AI is in zijn antwoord, vragen onderzoekers de AI normaal gesproken om dezelfde vraag meerdere keren te beantwoorden (zeg maar 10 keer) en kijken ze hoe goed de antwoorden overeenkomen. Dit heet Zekerheid gebaseerd op Consistentie.

De Oude Methode (Multinomiale Steekproef): Stel je dit voor als het gooien van een beladen dobbelsteen. Als de AI 90% zeker is dat het antwoord "Michael Jackson" is, valt de dobbelsteen bij elke worp op "Michael Jackson". Je krijgt dan 10 antwoorden, en 9 of 10 daarvan zijn identiek.
- Het Nadeel: Omdat de AI je steeds precies hetzelfde antwoord geeft, zou je kunnen denken: "Wow, hij is super zelfverzekerd!" Maar in werkelijkheid zit de AI gewoon vast in een lus. Hij heeft geen andere mogelijkheden verkend. Als het antwoord eigenlijk "Prince" was (een verkeerde veronderstelling), zou de AI toch vast kunnen zitten en 10 keer "Prince" zeggen, waardoor hij je bedriegt door je te laten denken dat hij zeker is terwijl hij het fout heeft. Bovendien is het krijgen van 10 identieke antwoorden een verspilling van rekenkracht.

De Nieuwe Oplossing: De "Beam Search"-Detective

De auteurs stellen een nieuwe manier voor om deze 10 antwoorden te krijgen. In plaats van een dobbelsteen te gooien, gebruiken ze een strategie genaamd Beam Search (Straalzoek).

De Analogie: Stel je voor dat je een detective bent die op zoek is naar een verdachte in een stad.
- Multinomiale Steekproef betekent dat je 10 willekeurige mensen naar 10 willekeurige mensen op straat stuurt om iets te vragen. Als de menigte overwegend zegt "Michael Jackson", komen alle 10 mensen terug met "Michael Jackson".
- Beam Search betekent dat je 10 detectives tegelijkertijd de 10 meest waarschijnlijke straten in stuurt. Zelfs als "Michael Jackson" het populairste antwoord is, dwingt Beam Search de detectives om ook de tweede, derde en vierde meest waarschijnlijke straat te controleren.
- Het Resultaat: Je krijgt een lijst van 10 verschillende antwoorden (bijvoorbeeld: "Michael Jackson", "M. Jackson", "Prince", "Bruno Mars").

Waarom Dit Beter Is: De "Diversiteits"-Bonus

Het artikel stelt dat het gebruik van Beam Search twee grote voordelen oplevert:

Einde aan Dubbels: Je bent niet langer tijd kwijt aan het krijgen van hetzelfde antwoord 10 keer. Je krijgt een echte variatie van wat de AI denkt.
Eerlijke Zekerheidsscores:
- Als de AI je 10 verschillende antwoorden geeft (sommigen juist, anderen fout), realiseert het systeem zich: "Hé, de AI is niet zeker!" en kiest een lage zekerheidsscore.
- Als de AI je 10 antwoorden geeft die allemaal erg op elkaar lijken (zelfs als het lichte variaties zijn van hetzelfde idee), realiseert het systeem zich: "Oké, de AI is vrij zeker", en kiest een hoge zekerheidsscore.

Het Geheime Ingrediënt: Antwoorden Wegen

Het artikel introduceert ook een slimme truc. Het feit dat Beam Search 10 verschillende paden vindt, betekent niet dat ze allemaal even waarschijnlijk zijn.

De Analogie: Stel je voor dat de AI een weerman is.
- Pad A (Straal 1): "Het gaat regenen" (90% kans).
- Pad B (Straal 10): "Het gaat regenen" (0,01% kans).
- Als we beide paden als gelijk behandelen, verstoren we de wiskunde.
- De Oplossing: De auteurs zeggen: "Laten we het antwoord 'Het gaat regenen' van Pad A tellen als 90 stemmen, en het antwoord 'Het gaat regenen' van Pad B als 0,01 stemmen." Ze gebruiken een waarschijnlijkheidsgewogen schatter. Dit zorgt ervoor dat de zekerheidsscore van de AI de werkelijke waarschijnlijkheid van de antwoorden weerspiegelt, en niet alleen het feit dat ze verschillend zijn.

Het Bewijs: Werkt Het?

De onderzoekers hebben deze methode getest op zes verschillende datasets met vraag-antwoordparen (zoals quizzen, wetenschap en algemene kennis) met behulp van drie verschillende AI-modellen.

Het Resultaat: De "Beam Search"-methode heeft systematisch de oude methode "Dobbelen" verslagen.
De Maatstaf: Ze gebruikten een score genaamd PRR (Prediction-Rejection Ratio). Stel je dit voor als een test om te zien: "Als we de slechtste antwoorden van de AI weggooien op basis van hun zekerheidsscore, worden de resterende antwoorden dan beter?"
Het Eindresultaat: De Beam Search-methode was beter in het opsporen van slechte antwoorden en het behouden van goede antwoorden. Het behaalde State-of-the-Art resultaten, wat betekent dat het de beste beschikbare methode was voor korte feitelijke vragen.

De Conclusie

Het artikel zegt: Gooi je stralen niet weg.

In de wereld van AI zijn "stralen" de meerdere paden die een model verkent om een antwoord te vinden. De auteurs tonen aan dat we, in plaats van willekeurig antwoorden te stalen (wat vaak leidt tot saaie dubbele antwoorden), de gestructureerde paden van Beam Search moeten gebruiken. Door dit te doen, en door de waarschijnlijkheid van elk pad zorgvuldig mee te tellen, kunnen we een veel nauwkeurigere "zekerheidsmeter" voor AI krijgen. Dit helpt ons te weten wanneer we de AI moeten vertrouwen en wanneer we sceptisch moeten zijn, vooral bij korte feitelijke vragen.

Technische Samenvatting: Verbetering van Consistentie-gebaseerde Onzekerheid in LLM's via Beam Search

Probleemstelling

Consistentie-gebaseerde Onzekerheidskwantificatie (UQ) is een robuuste methode geworden voor het beoordelen van de betrouwbaarheid van outputs van Large Language Models (LLM), met name in black-box omgevingen. Deze methoden schatten onzekerheid doorgaans door het overeenkomstsniveau te meten tussen meerdere generaties die zijn geproduceerd via multinomiale steekproeven.

De auteurs identificeren echter kritieke beperkingen bij het toepassen van multinomiale steekproeven op korte vragen-antwoorden (QA) taken:

Hoge Redundantie: Door gepiekte kansverdelingen in korte antwoorden produceert multinomiale steekproefneming vaak dubbele of bijna identieke generaties. Het artikel merkt op dat voor korte outputs (2–4 tokens) redundantiepercentages 30–50% kunnen bereiken, wat leidt tot verspilde rekenkracht.
Hoge Variantie: Omdat elke steekproefrun een andere set kandidaten produceert, vertonen de resulterende onzekerheidsschattingen aanzienlijke variantie tussen runs, wat hun robuustheid ondermijnt.
Inefficiëntie: Het bereiken van stabiele schattingen vereist vaak een groot aantal steekproeven, wat rekenkundig duur is.

Het kernprobleem is dat multinomiale steekproefneming in korte scenario's de outputruimte van het model niet effectief verkent, wat resulteert in ruisachtige betrouwbaarheidsschattingen en suboptimale onzekerheidskwantificatie.

Methodologie

Het artikel stelt een nieuwe familie van UQ-methoden voor die multinomiale steekproefneming vervangen door Beam Search voor het genereren van kandidaat-outputs. De methodologie rust op drie kerninzichten:

Distincte Kandidaten: Beam search houdt inherent de top- $k$ meest waarschijnlijke partiële sequenties bij, wat gegarandeerd distincte kandidaat-outputs oplevert en redundantie vermindert.
Op Kans Gewogen Schatting: Het simpelweg behandelen van beam-kandidaten als uniforme steekproeven zou outputs met lage waarschijnlijkheid overdreven benadrukken. In plaats daarvan introduceren de auteurs een op belangrijkheid gewogen schatter. Zij normaliseren de sequentiekansen van de beam-kandidaten ( $b^{(i)}$ ) om gewichten $w_i$ te vormen:
$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$
Deze gewichten worden vervolgens gebruikt om consistentie-gebaseerde metrieken (zoals Dissimilariteit, Excentriciteit) te berekenen, in plaats van een eenvoudig gemiddelde te gebruiken.
Theoretische Rechtvaardiging: De auteurs leiden een theoretische ondergrens af voor de waarschijnlijkheidsmassa ( $m_B$ ) van de beam-set die vereist is zodat de beam-gewogen schatter een lagere Gemiddelde Kwantfout (MSE) bereikt dan de standaard Monte Carlo (multinomiale) schatter. Zij bewijzen dat als de beam-set een voldoende deel van de waarschijnlijkheidsmassa bestrijkt (specifiek $m_B > 1 - \frac{1}{2\sqrt{M}}$ voor een vereenvoudigde voorwaarde), de beam search-approach een lagere fout oplevert.

Aangepaste Methoden

De auteurs passen verschillende bestaande consistentie-gebaseerde UQ-methoden aan om beam search te benutten:

Dissimilariteit: Meet de verwachte semantische verschillen tussen het primaire antwoord en beam-kandidaten, gewogen met $w_i$ .
Excentriciteit: Gebruikt een graf-Laplaciaan op de similariteitsmatrix van alle steekproeven (inclusief het primaire antwoord). De auteurs modificeren de embedding-berekening om kans-gewogen centroiden te gebruiken.
Eigenvector Dissimilariteit: Meet de afstand van de embedding van het primaire antwoord tot het gewogen gemiddelde van steekproef-embeddings in de Laplacian-ruimte.
CoCoA: Een hybride methode die token-niveau waarschijnlijkheden combineert met steekproefconsistentie. De auteurs vervangen het consistentiesignaal door de beam-gewogen schatter.

Belangrijkste Bijdragen

Identificatie van Beperkingen: Het artikel demonstreert empirisch dat multinomiale steekproefneming leidt tot hoge redundantie en variantie in korte QA, waardoor het een suboptimale keuze is voor consistentie-gebaseerde UQ in deze contexten.
Beam-Gewogen Schatters: Het voorstellen van een nieuwe familie van UQ-methoden die beam search-kandidaten gebruiken met belangrijkheidsgewicht om de verdeling van het model beter te benaderen zonder duplicaten te genereren.
Theoretische Analyse: Het afleiden van een distributie-vrije voldoende voorwaarde (Stelling 1) die garandeert dat de beam-gewogen schatter de multinomiale Monte Carlo-schatter overtreft wanneer de beam-set een voldoende waarschijnlijkheidsmassa vastlegt.
Empirische Validatie: Uitgebreide evaluatie over zes QA-datasets (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) en zes modellen (Gemma 3, Llama 3.1, Qwen 3).

Resultaten

De experimenten tonen aan dat het vervangen van multinomiale steekproefneming door beam search de prestaties van consistentie-gebaseerde UQ-methoden consequent verbetert:

State-of-the-Art Prestaties: Beam-geleide varianten van Dissimilariteit, Excentriciteit, EigenVetDissimilariteit en CoCoA behalen de beste of tweede beste Prediction-Rejection Ratio (PRR)-scores over bijna alle model- en datasetcombinaties.
Robuustheid: Beam search-methoden vertonen aanzienlijk lagere variantie in onzekerheidsschattingen vergeleken met multinomiale steekproefneming.
Steekproefefficiëntie: De verbeteringen zijn het meest uitgesproken bij kleine steekproefbudgetten ( $M \ge 2$ ). Beam search bereikt hoge PRR-scores met minder kandidaten (verzadigend rond $M=5$ voor open-ended taken en $M=2$ voor meerkeuzetaken), terwijl multinomiale steekproefneming geleidelijker verbetert.
Voordeel bij Korte Outputs: Het prestatieverschil tussen beam search en multinomiale steekproefneming is het grootst voor korte outputlengtes (waar redundantie het hoogst is) en neemt af naarmate de outputlengte toeneemt.

Betekenis en Beweringen

Het artikel beweert dat beam search niet moet worden verworpen als een decoderingsstrategie voor onzekerheidskwantificatie. Hoewel het vaak geassocieerd wordt met deterministische, hoogwaardige generatie, betogen de auteurs dat beam search, in combinatie met kansgewichting, een efficiënter en stabieler mechanisme biedt voor het verkennen van de outputruimte in korte QA dan stochastische multinomiale steekproefneming.

De betekenis van dit werk ligt in:

Praktische Efficiëntie: Het biedt een manier om UQ-prestaties "essentieel gratis" te verbeteren in white-box omgevingen, aangezien beam search vaak al wordt uitgevoerd of kan worden uitgevoerd met verwaarloosbare extra kosten vergeleken met het genereren van $M$ onafhankelijke multinomiale steekproeven.
Theoretische Grondslag: Het biedt een formele voorwaarde waaronder beam search bewezen superieur is aan steekproefneming voor UQ, verdergaand dan heuristische verbeteringen.
Brede Toepasbaarheid: De methode verbetert zowel pure consistentie-gebaseerde metrieken als hybride methoden (zoals CoCoA) die consistentie combineren met token-waarschijnlijkheden, wat wijst op een generaliseerbare verbetering voor onzekerheidsschatting in korte generatietaken.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat hun evaluatie momenteel beperkt is tot white-box omgevingen (vereist toegang tot modelkansen) en korte QA-datasets. Zij erkennen dat generaliseerbaarheid naar lange generaties en black-box omgevingen (vereist empirische kansschatting) een open vraag blijft.