🤖 AI

In LLM Reasoning, there is Irrationality on top of Value Misalignment

Dit artikel introduceert en formaliseert "rationeel waarderisico" als het nutsgap tussen de ingezette redeneerstrategie van een LLM en zijn optimale rationele tegenhanger, waarbij door middel van uitgebreide experimenten over meerdere modellen en benchmarks wordt aangetoond dat zelfs goed uitgelijnde modellen vaak niet in staat zijn om het verwachte nut te maximaliseren vanwege beperkingen in redeneren tijdens de inferentie, eindige dataconstraints en imperfecte verificatie.

Oorspronkelijke auteurs: Kejiang Qian, Fengxiang He

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kejiang Qian, Fengxiang He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De Kaart Hebben, Maar de Weg Kwijtraken

Stel je voor dat je een zeer slimme, goed getrainde GPS hebt (de AI). Voordat je überhaupt begint met rijden, is de GPS perfect afgestemd op jouw bestemming. De GPS weet precies waar je heen wilt, begrijpt je voorkeuren en is geprogrammeerd om gevaarlijke wegen te vermijden. Dit is wat onderzoekers "Value Alignment" (waarde-afstemming) noemen.

Deze paper betoogt echter dat je zelfs met een perfecte GPS nog steeds kunt verdwalen. Waarom? Omdat de GPS misschien een lijst met mogelijke routes genereert, de perfecte route ziet, maar vervolgens per ongeluk een verschrikkelijke, kronkelige weg kiest.

De auteurs noemen deze kloof "Rational Value Risk" (rationeel waarde-risico). Het is het verschil tussen het best mogelijke antwoord dat de AI had kunnen vinden (als hij perfect zou nadenken) en het werkelijke antwoord dat hij jou gaf.

Het Kernprobleel: De "Irrationele" Bestuurder

De paper maakt een cruciaal onderscheid tussen twee soorten fouten:

Value Misalignment: De GPS is geprogrammeerd om je naar de verkeerde plek te brengen (bijv. hij denkt dat je naar het strand wilt terwijl je naar het vliegveld wilde).
Irrational Reasoning (Irrationele Redenering): De GPS weet dat je naar het vliegveld wilt, en hij ziet de snelste route op zijn scherm, maar hij vertelt je toch dat je de schilderachtige, 3-urige omweg moet nemen.

De auteurs ontdekten dat zelfs wanneer het eerste probleem is opgelost (de AI is goed afgestemd), het tweede probleem blijft bestaan. De AI is "irrationeel" in hoe hij zijn uiteindelijke antwoord kiest, zelfs als hij weet hoe een goed antwoord eruitziet.

Hoe Ze Het Gemeten Hebben: De "Proeverij"-analogie

Om dit te bewijzen, zetten de onderzoekers een enorm experiment op. Stel je voor dat een chef-kok (de AI) probeert een maaltijd te bereiden.

De Opzet: Ze vroegen de chef om 64 verschillende versies van hetzelfde gerecht te bereiden (het samplen van 6 dergelijke "redeneerpaden").
De Proeverij: Een voedingscriticus (de "verifier") proefde alle 64 gerechten.
Het Resultaat:
- REU (Rational Expected Utility): De criticus vond dat ten minste één van die 64 gerechten een Michelinster-meesterwerk was. De AI had het kunnen maken.
- AEU (Actual Expected Utility): Echter, het gerecht dat de chef daadwerkelijk serveerde aan de klant was slechts "oké" of zelfs aangebrand.
- RVR (Rational Value Risk): De kloof tussen het Michelinster-gerecht dat de AI had kunnen maken en het "oké" gerecht dat hij daadwerkelijk serveerde.

Ze vonden deze kloof overal. Of de AI nu code schreef, wiskundige problemen oploste of een gesprek voerde, hij faalde consequent in het kiezen van de beste optie uit de opties die hij genereerde.

Belangrijkste Bevindingen (De "Wat we hebben geleerd"-sectie)

1. Het Probleem is Overal (H1)
Het maakt niet uit of de AI klein of groot is, of dat hij met je praat of een wiskundig probleem oplost. De AI genereert vaak een "golden ticket"-antwoord, maar slaagt er niet in om het aan jou te geven. Het is als een loterijspeler die een lot koopt dat de jackpot wint, maar het per ongeluk in de prullenbak gooit.

2. Training Helpt, Maar Lost Het Niet Op (H2)
De onderzoekers testten AI-modellen die "getraind" waren om beter te worden (met methoden zoals RLHF, wat vergelijkbaar is met het geven van een beloning aan de AI voor goed gedrag).

Resultaat: Training maakte de AI beter in het genereren van goede antwoorden (de chef werd beter in koken).
Maar: De AI had nog steeds moeite met het kiezen van het beste antwoord uit de gerechten die hij heeft gekookt. Training verminderde het probleem, maar loste het niet op. De "irrationaliteit" is een apart probleem van de training.

3. Hoe Je Vraagt, Maakt Uit (H3)
De manier waarop je de AI vraagt om na te denken, verandert het resultaat.

Temperature (Willekeur): Als je de AI vertelt om willekeuriger te zijn (hogere "temperature"), genereert hij meer creatieve en diverse antwoorden. Hij vindt betere potentiële antwoorden, maar hij wordt ook slechter in het kiezen van het juiste antwoord. De kloof (het risico) wordt groter.
Self-Consistency (Stemmen): Als je de AI vertelt om veel antwoorden te genereren en vervolgens te stemmen op het meest voorkomende antwoord, wordt hij beter in het kiezen van het juiste antwoord. Dit verkleint de kloof.

4. Langer Nadenken Heeft Grenzen (H4)
Je zou kunnen denken: "Als de AI langer nadenkt, zal hij slimmer zijn."

Resultaat: Soms wel. De AI meer tijd geven (meer "tokens" of stappen) helpt hem om betere antwoorden te vinden.
De Keerzijde: Na een bepaald punt helpt langer nadenken niet veel meer. Het is als het studeren voor een toets: een uur lang het tekstboek lezen helpt, maar 10 uur lang lezen maakt je niet twee keer zo slim; je wordt gewoon moe en maakt misschien stomme fouten. De paper vond "wet van de verminderde meeropbrengst" (diminishing returns)—uiteindelijk helpt langer redeneren niet meer.

De Drie Redenen voor de Fout

De auteurs braken de redenen voor deze kloof af in drie delen:

Het Kandidaat-probleem: De AI heeft het goede antwoord niet in zijn eerste reeks pogingen gegenereerd. (Hij heeft het Michelin-gerecht helemaal niet gekookt).
Het Prompt-probleem: De AI werd getest op te weinig vragen om een perfect gemiddelde te krijgen.
Het Verifier-probleem: De "voedingscriticus" (het hulpmiddel dat het antwoord controleert) kan een beetje ruis bevatten of onzeker zijn.

Conclusie

De paper concludeert dat we moeten stoppen met het zien van AI-alignment als een "éénmalige" oplossing. Zelfs als we een AI leren om "goed" te zijn (aligned), moeten we hem nog steeds leren om "slim" te zijn (rationeel) in hoe hij zijn uiteindelijke antwoord kiest.

Kortom: We hebben auto's gebouwd met perfecte navigatiesystemen (alignment), maar de bestuurders (de redeneerstrategieën) zijn nog steeds geneigd om de verkeerde afslag te nemen. We moeten de bestuurder repareren, niet alleen de kaart.

Technische Samenvatting: Irrationaliteit bovenop Waarde-misalignment in LLM-redeneren

Probleemstelling

Ondanks aanzienlijke vooruitgang in het afstemmen van Large Language Models (LLMs) op doelwaarde-functies via methoden zoals Supervised Fine-Tuning (SFT), Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), blijft er een kritieke kloof bestaan. Zelfs wanneer een LLM tijdens de training goed is afgestemd, kan het falen om de afgestemde waarde te maximaliseren tijdens inferentie. Dit artikel betoogt dat waarde-misalignment (waarbij de geleerde waarde-functie zelf onjuist is) niet de enige bron van falen is; in plaats daarvan blijft irrationeel redeneren bestaan. Deze irrationaliteit wordt gedefinieerd als het onvermogen van het model om de beste beschikbare respons te selecteren uit zijn gesamplede kandidaten, zelfs wanneer die hoog-nuttige kandidaten binnen de output-distributie van het model aanwezig zijn.

Methodologie

Formalisering van Rationeel Waarderisico

De auteurs formaliseren dit fenomeen mathematisch als Rational Value Risk (RVR).

Rationeel Redeneren: Gedefinieerd als de strategie die de verwachte utiliteit maximaliseert in de steilste richting onder een gegeven waarde-functie.
Rational Value Risk ( $R$ ): Het verschil in utiliteit tussen de ingezette redeneerstrategie van een model ( $d_\theta$ ) en zijn rationele tegenhanger ( $d^\circ_\theta$ ).
$R(d_\theta) = \mathbb{E}_{x \sim \rho, o \sim P(\cdot|x,y^\circ)}[U(o)] - \mathbb{E}_{x \sim \rho, y \sim d_\theta, o \sim P(\cdot|x,y)}[U(o)]$
Waar $y^\circ$ het rationele antwoord is en $y$ het antwoord is gegenereerd door de ingezette strategie.

Compute-Bounded Estimatie

Omdat perfect rationeel redeneren onhaalbaar is om te berekenen vanwege eindige middelen, introduceert het artikel een framework voor compute-bounded rational reasoning.

Kandidaatenset: Voor een gegeven prompt worden $K$ onafhankelijke samples getrokken uit het model.
Empirische Utiliteit: De utiliteit van elke kandidaat wordt geschat via $L$ verifier-aanroepen (of deterministische controles).
Estimator: De Empirical Rational Value Risk ( $\hat{R}_{M,K,L}$ ) wordt berekend als het verschil tussen de maximale empirische utiliteit gevonden in de $K$ kandidaten (die de best mogelijke inzet vertegenwoordigt) en de gemiddelde empirische utiliteit van de ingezette strategie.

Foutdecompositie

De schattingsfout van RVR wordt gedecomposed in drie afzonderlijke componenten:

Candidate Approximation Error: Het risico dat de eindige set van $K$ samples geen hoog-nuttige antwoorden bevat.
Prompt Sampling Error: Statistische fout die voortvloeit uit het evalueren op een eindig aantal prompts ( $M$ ).
Verification Error: Fout geïntroduceerd door stochastische of imperfecte verifiers ( $L$ ).
Het artikel biedt theoretische grenzen (Theorem 1) die aantonen dat de totale fout begrensd wordt door de candidate approximation error plus een term die afhankelijk is van het aantal prompts en de verifier-betrouwbaarheid.

Experimentele Opstelling

De studie evalueert een breed scala aan modellen (7B tot 72B parameters en propriëtaire API's) over diverse benchmarks:

Conversationele Taken: UltraFeedback, AlpacaEval (met gebruik van stochastische verifiers).
Verifieerbare Redenering: GSM8K, MATH, HumanEval, en MathArena (met gebruik van deterministische of bijna-deterministische verifiers).
Modellen: Llama-3.1, Qwen-2.5, Tülu-3 families, en propriëtaire modellen (GPT-5.2, GPT-5.5, DeepSeek-V4).
Variabelen: De experimenten variëren de sampling temperature, self-consistency voting budgets, en redeneerlengtes (token budgets).

Belangrijkste Resultaten

De experimenten valideren vier primaire hypothesen:

H1: Rational Value Risk is wijdverspreid.
Over alle modellen en benchmarks heen is RVR consistent positief. Modellen genereren frequent hoog-nuttige kandidaten (hoge Rational Expected Utility, REU) maar falen om deze consistent in te zetten (lagere Actual Expected Utility, AEU). Bijvoorbeeld, op de MathArena benchmark vertonen zelfs sterke modellen zoals GPT-5.2 een RVR van 0.360, wat 70,6% van de totale utiliteitsdiscrepantie verklaart.
H2: Waarde-alignment vermindert maar elimineert RVR niet.
Post-training alignment-stadia (SFT $\to$ DPO $\to$ RLVR) verbeteren over het algemeen de AEU en verminderen de RVR. Echter, een aanzienlijk risico blijft bestaan zelfs na RLVR. In sommige gevallen (bijv. Tülu-3-70B op MathArena), verbetert alignment het vermogen van het model om hoog-nuttige antwoorden te samplen (het verhogen van de REU), maar de RVR neemt feitelijk toe als een proportie van de totale fout, wat aangeeft dat de ingezette strategie nog steeds faalt om de beste kandidaten te selecteren.
H3: RVR is zeer gevoelig voor de Inference-Time Strategie.
- Temperatuur: Het verhogen van de sampling temperatuur verbetert vaak de REU (door betere kandidaten te vinden) maar verhoogt de RVR omdat het model er niet consistent in slaagt de beste te selecteren.
- Self-Consistency: Het verhogen van het voting budget (self-consistency) vermindert de RVR aanzienlijk door de AEU te verbeteren, terwijl de REU stabiel blijft.
H4: Langere Redenering verbetert de Rationaliteit met afnemende meeropbrengst.
Het verlengen van de redeneerlengte (token budget) kan de RVR verminderen, maar de voordelen zijn niet-monotoon en nemen af na een bepaalde drempel (bijv. $T \ge 256$ of $1024$). Op moeilijke deployment-benchmarks zoals MathArena verbetert langere redenering de REU licht, maar faalt het in het verbeteren van de AEU, waardoor de RVR hoog blijft.

Betekenis en Claims

Het artikel claimt het eerste te zijn dat Rational Value Risk formeel definieert en empirisch meet in LLM-redenering, waarbij het inference-time irrationaliteit expliciet scheidt van waarde-misalignment.

Distinct Evaluatie-dimensie: De auteurs stellen dat rationaliteit een afzonderlijke dimensie is die complementair is aan waarde-alignment. Een model kan perfect afgestemd zijn (weten wat waardevol is) maar toch irrationeel zijn (falen om die kennis tijdens inferentie in actie te brengen).
Diagnostisch Instrument: Het framework dient als een diagnostisch instrument om te identificeren of prestatiekloven komen door het onvermogen om hoog-kwalitatieve antwoorden te genereren (sampling failure) of door het onvermogen om deze te selecteren (deployment failure).
Beperkingen: Het werk richt zich op utiliteit gedefinieerd over eindantwoorden, niet over redeneertrajecten. Het stelt geen nieuwe algoritmen voor om RVR op te lossen, maar biedt de theoretische en empirische basis voor toekomstige inference-time algoritmen (bijv. verifier-guided search) om onverwezenlijkte utiliteit te minimaliseren.

Concluderend demonstreert het artikel dat "irrationaliteit bovenop waarde-misalignment" een hardnekkig probleem is in huidige LLM's, wat suggereert dat toekomstige verbeteringen in redeneerprestaties niet alleen moeten gaan over wat het model leert, maar ook over hoe het redeneert en antwoorden selecteert tijdens de inferentie.