Improving reasoning at inference time via uncertainty minimisation

Dit paper introduceert een efficiënte inferentie-methode die redenering verbetert door op het niveau van individuele gedachten de zelfzekerheid van het model te maximaliseren, wat leidt tot betere prestaties dan traditionele methoden zoals greedy decoding en self-consistency met een beperkt rekenbudget.

De kern

Titel: Hoe we AI laten nadenken in plaats van raden: Een gids voor de gewone mens

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een lastige wiskundepuzzel moet oplossen. Vaak werkt deze AI als een snelpratende student die direct het eerste antwoord schrijft dat in hem opkomt. Soms is dat goed, maar vaak is het een flinke vergissing.

De auteurs van dit paper, een team van onderzoekers uit Denemarken, hebben een slimme truc bedacht om deze AI te helpen beter na te denken voordat hij antwoordt. Ze noemen dit "onzekerheidsminimalisatie".

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. Het probleem: De "Gokker" vs. De "Denker"

Normaal gesproken probeert de AI het antwoord te raden door woord voor woord te kiezen. Het is alsof je een pad door een donker bos probeert te vinden, maar je kijkt alleen naar de grond direct onder je voeten. Als je een verkeerd steentje kiest, loop je de hele weg verkeerd.

Bestaande methodes om dit op te lossen zijn vaak duur en traag. Ze laten de AI bijvoorbeeld 100 keer dezelfde vraag beantwoorden en kijken welk antwoord het vaakst voorkomt. Dat is als 100 mensen een raadsel oplossen en dan het antwoord kiezen dat de meeste mensen hebben. Dat werkt, maar het kost enorm veel tijd en energie.

2. De oplossing: De "Zelfverzekerdheids-Compaan"

De onderzoekers hebben een nieuwe manier bedacht. In plaats van te kijken naar elk klein woordje, kijken ze naar gedachtegangen (stappen in het redeneren).

Stel je voor dat de AI een reisplanner is. Bij elke stap van de reis (bijvoorbeeld: "We gaan naar het noorden" of "We gaan naar het zuiden") heeft de AI een keuze.

• De oude manier: De AI kiest willekeurig of op basis van wat het vaakst heeft gezien.
• De nieuwe manier: De AI vraagt zichzelf bij elke keuze: "Hoe zeker ben ik dat deze richting goed is?"

De AI maakt een paar mogelijke routes (bijvoorbeeld 2, 4 of 8 opties) en kiest alleen de route waar hij zich het zekerst bij voelt. Dit noemen ze "zelfverzekerdheid maximaliseren".

3. Waarom werkt dit zo goed? (De Metafoor van de Kompasnaald)

Het mooie aan deze methode is dat de AI geen externe leraar nodig heeft om te zeggen of het goed is. Hij kijkt naar zijn eigen interne kompas.

• Het Kompas: Als de AI een goede route kiest, wordt zijn interne kompas (de "zelfverzekerdheid") rustig en stabiel. Hij weet precies waar hij naartoe gaat.
• De Verkeerde Route: Als de AI een verkeerde route kiest, begint zijn kompas te trillen. Hij twijfelt, hij is onzeker en hij blijft maar rondlopen in het bos.

De onderzoekers hebben ontdekt dat goede oplossingen vaak heel snel een stabiel kompas krijgen. De AI weet binnen de eerste paar stappen al: "Ja, dit is de goede weg." Slechte oplossingen blijven twijfelen en hollen door het bos tot ze uitgeput raken.

4. De grote ontdekking: De eerste stappen zijn het belangrijkst

Het meest interessante deel van dit onderzoek is wat ze ontdekten over wanneer je moet nadenken.

Stel je voor dat je een huis bouwt. De onderzoekers ontdekten dat het heel belangrijk is om de fundering (de eerste stappen) perfect te leggen.

• Als je de AI alleen laat nadenken over de eerste paar stappen (waar hij twijfelt), en daarna gewoon laat doorgaan, krijg je al bijna hetzelfde goede resultaat als wanneer je de hele reis in detail laat plannen.
• Als je de AI laat nadenken over de hele reis, maar de eerste stappen laat liggen, faalt hij vaak.

Dit betekent dat we de "rekenkracht" van de AI slim kunnen inzetten. In plaats van de hele reis te plannen (wat duur is), kunnen we de AI laten twijfelen en kiezen bij het begin, en daarna gewoon laten lopen. Dat bespaart enorm veel tijd en energie.

5. Werkt dit ook in andere talen?

Ja! De onderzoekers hebben dit getest in het Engels en het Deens. Het bleek dat deze "binnenkompassensatie" werkt in elke taal. Zelfs als de AI minder geoefend is in een bepaalde taal (zoals Deens), helpt deze methode hem om toch betere antwoorden te vinden. Het is dus een universele truc voor slimme machines.

Samenvatting in één zin

In plaats van een AI te laten gissen of duizend keer te laten raden, laten we hem bij elke stap van het denken kiezen voor de optie waar hij zich het zekerst bij voelt, vooral aan het begin van het proces. Hierdoor wordt hij slimmer, sneller en goedkoper, zonder dat we hem hoeven te herscholen.

Het is alsof je een student niet laat gissen, maar hem laat zeggen: "Ik weet het niet zeker, laten we eerst even rustig nadenken over de eerste stap voordat we verder gaan." En dat werkt wonderbaarlijk goed.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) vertonen sterke redeneervermogens, maar bestaande methoden voor het schalen van rekenkracht tijdens de inferentie (inference-time scaling) zijn vaak computationeel duur en inefficiënt.

• Huidige beperkingen: Veel methoden vertrouwen op uitgebreide steekproeven (sampling) of externe evaluatoren (zoals Process Reward Models), wat de kosten verhoogt.
• Granulariteitsprobleem: Bestaande technieken werken vaak op het token-niveau (waar lokale onzekerheid ruisend en misleidend kan zijn) of op het niveau van de volledige generatie (waarbij de dynamische structuur van redenering wordt genegeerd en dure "roll-outs" nodig zijn).
• Cognitieve mismatch: Redenering wordt cognitief gezien als een opeenvolging van semantisch coherente tussenstappen ("gedachten"), niet als een aaneenschakeling van losse tokens. Er is behoefte aan een methode die onzekerheid minimaliseert op dit "gedachte-niveau".

Methodologie

De auteurs introduceren een nieuwe strategie die redenering vormgeeft als het minimaliseren van onzekerheid, specifiek op het niveau van individuele redeneerstappen (thoughts).

1. Zelfverzekerdheid (Self-Certainty):

   • In plaats van token-gebaseerde waarschijnlijkheid, gebruiken de auteurs een maatstaf voor "zelfverzekerdheid" ($C$) op het niveau van een volledige redeneerstap.
   • Dit wordt berekend als de gemiddelde Kullback-Leibler (KL) divergentie tussen de voorspelde token-verdeling van het model en een uniforme verdeling (maximale onzekerheid).
   • Formule: $C_i = D_{KL}(U \parallel p(\cdot|x, y_{<i}))$. Een hogere score betekent een meer gepiekte verdeling en dus een sterkere interne commitment tot een specifieke voortzetting.

2. Inferentie-strategie:

   • Tijdens de generatie wordt bij elke redeneerstap een set van $k$ kandidaat-voortzettingen (samples) gegenereerd.
   • De kandidaat met de hoogste gemiddelde zelfverzekerdheid wordt geselecteerd en aan de context toegevoegd.
   • Dit proces is online: het vereist geen volledige trajecten te verzamelen voorafgaand aan een beslissing, en gebruikt uitsluitend interne signalen van het model (geen externe beoordelaars).

3. Experimenteel Opzet:

   • Datasets: MATH500 (wiskundige problemen) en GSM8K (elementaire wiskunde).
   • Modellen: Verschillende maten van de Qwen2.5-Instruct en Llama-3.2-Instruct families (van 0.5B tot 3B parameters).
   • Vergelijking: De methode wordt vergeleken met greedy decoding (standaard) en self-consistency (meerderheidsstemming over meerdere volledige generaties) onder vergelijkbare token-budgetten.
   • Taalgeneralisatie: De methode is ook getest op het Deens (een taal met minder resources) om robuustheid te evalueren.

Belangrijkste Bijdragen

1. Nieuwe schaalingsmethode: Introductie van een inferentie-strategie die onzekerheidsminimalisatie toepast op het niveau van individuele redeneerstappen in plaats van tokens.
2. Efficiëntie: De methode behaalt significante verbeteringen met een zeer klein aantal samples (2, 4 of 8) en zonder externe evaluatoren.
3. Inzicht in interne dynamiek: Analyse toont aan dat correcte redeneertrajecten vroeg in het proces convergeren naar stabiele paden met hoge zelfverzekerdheid, terwijl foutieve trajecten vaak langdurig onzeker blijven.
4. Cross-linguale generalisatie: De methode werkt robuust over taalgrenzen heen, wat bewezen wordt door tests in het Deens.

Resultaten

• Prestatieverbetering: Zelfverzekerdheidsmaximalisatie presteerde consistent beter dan greedy decoding en deed het vaak even goed of beter dan self-consistency, maar met een veel lager token-budget.
• Vroege beslissingen zijn cruciaal: Analyse van de zelfverzekerdheidsdynamiek toont aan dat correcte trajecten al binnen de eerste ~20 stappen (vaak zelfs de eerste 5-10) een hogere zelfverzekerdheid vertonen dan foutieve trajecten.
• Strategische budgettoewijzing:
  • Er werd ontdekt dat het minimaliseren van onzekerheid alleen in de eerste stappen (bijv. de eerste 1-5 stappen) de meeste prestatiewinst oplevert.
  • Het toewijzen van rekenkracht aan alle stappen (inclusief late stappen) leidde soms tot een afname in prestaties ("over-optimisatie"), wat suggereert dat late stappen minder gevoelig zijn voor deze selectie.
• Taalonafhankelijkheid: De methode bleef effectief in het Deens, waarbij de prestaties soms tot 4x verbeterden ten opzichte van greedy decoding, wat aantoont dat het een taal-neutraal signaal is.

Betekenis en Conclusie

Dit onderzoek biedt een efficiëntere en principieel onderbouwde manier om de redeneerprestaties van LLM's te verbeteren zonder de kosten van training of externe evaluatoren.

• Verschuiving in paradigma: Het benadrukt dat redeneren een dynamisch proces is waarbij vroege "planningsstappen" de uiteindelijke nauwkeurigheid bepalen.
• Efficiëntie: Door de focus te leggen op het minimaliseren van onzekerheid in de vroege fasen van de generatie, kunnen modellen hun rekenkracht optimaliseren. Dit maakt de methode zeer geschikt voor toepassing op kleinere modellen en in scenario's waar rekenkracht beperkt is.
• Toekomstperspectief: De bevindingen suggereren dat toekomstige inferentie-strategieën adaptief moeten zijn en extra rekenkracht moeten richten op de vroege, kritieke fasen van het redeneerproces in plaats van uniform over de hele generatie te spreiden.