🤖 AI

Reasoning While Asking: Transforming Reasoning Large Language Models from Passive Solvers to Proactive Inquirers

Dit artikel introduceert Proactieve Interactieve Redenering (PIR), een nieuw paradigma dat redenerende LLM's transformeert van passieve oplossers naar proactieve onderzoekers door interne redenering te verweven met gebruikersverduidelijking om onzekerheid over premissen en intenties aan te pakken, waardoor de nauwkeurigheid en efficiëntie aanzienlijk worden verbeterd en de rekenkosten worden verlaagd.

Oorspronkelijke auteurs: Xin Chen, Feng Jiang, Yiqian Zhang, Hardy Chen, Shuo Yan, Wenya Xie, Min Yang, Shujian Huang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xin Chen, Feng Jiang, Yiqian Zhang, Hardy Chen, Shuo Yan, Wenya Xie, Min Yang, Shujian Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Overdenkende" Student

Stel je voor dat je een leraar bent die een student vraagt een wiskundeprobleem op te lossen. De student is ongelooflijk slim en heeft duizenden formules uit het hoofd geleerd. Ze hebben echter een vreemde gewoonte: ze vragen nooit om verduidelijking.

Als je zegt: "Fix het datascript," vraagt de student niet: "Welk script? Welk formaat?" In plaats daarvan beginnen ze direct met het schrijven van een essay van 2.000 woorden waarin ze raden wat je bedoeld zou kunnen hebben. Ze raden misschien het verkeerde script, komen vast te zitten, hallucineren een oplossing die er goed uitziet maar fout is, en verspillen enorm veel tijd en energie. Dit noemt het artikel "Blind Zelf-denken." Huidige AI-modellen zijn als deze student: ze zijn zo enthousiast om na te denken dat ze vergeten te controleren of ze eigenlijk wel alle feiten hebben.

De Oplossing: De "Proactieve Detective" (PIR)

De auteurs stellen een nieuwe manier voor voor hoe AI moet werken, genaamd Proactieve Interactieve Redenering (PIR). In plaats van een passieve oplosser te zijn die gewoon raadt, wordt de AI een proactieve detective.

Denk hierbij aan een detective die een misdaad oplost. Als een getuige zegt: "Ik zag een auto," schrijft de detective niet direct een rapport over "De Blauwe Sedan." In plaats daarvan vraagt de detective: "Wat voor kleur was het? Rijdde het te hard? Heb je het kenteken gezien?"

PIR leert de AI hetzelfde te doen:

Pauzeer en Controleer: Voordat de AI een lang redeneerproces start, controleert ze haar eigen vertrouwen. "Weet ik eigenlijk wel genoeg om dit op te lossen?"
Vraag Eerst: Als de AI zich onzeker voelt (zoals een detective die een aanwijzing mist), stopt ze en stelt ze de gebruiker een specifieke vraag om de ontbrekende informatie te krijgen.
Los Efficiënt Op: Zodra de gebruiker antwoordt, gebruikt de AI die nieuwe informatie om het probleem snel en nauwkeurig op te lossen, zonder tijd te verspillen aan wilde gissingen.

Hoe Ze de AI Dit Leren

De onderzoekers vertelden de AI niet zomaar om "vragen te stellen". Ze bouwden een trainingszaal met twee specifieke fases:

Fase 1: De "Script"-training (Supervised Fine-Tuning)
Stel je voor dat je een nieuwe werknemer leert door ze een script te geven. De onderzoekers namen bestaande problemen en voegden kunstmatig "momenten van twijfel" toe waar de AI een vraag had moeten stellen. Vervolgens schreven ze een script waarin de AI vraagt: "Wat bedoel je?" en de gebruiker antwoordt. De AI oefende met het lezen van deze scripts totdat ze het patroon leerde van wanneer ze moet stoppen en vragen.

Fase 2: De "Simulatie"-training (User-Simulator Optimization)
Dit is het slimme deel. Je kunt een AI niet trainen door ze 24/7 met echte mensen te laten praten (het is te traag en te duur). Dus bouwden de onderzoekers een Gebruikssimulator – een tweede AI die zo geprogrammeerd is dat ze zich gedraagt als een menselijke gebruiker.

Ze creëerden een spel waarbij de hoofd-AI probeert een probleem op te lossen en de Simulator-AI optreedt als de gebruiker.
Als de hoofd-AI een goede vraag stelt die snel het juiste antwoord oplevert, krijgt ze een hoge score (een "beloning").
Als de hoofd-AI te veel vragen stelt of blindelings raadt, krijgt ze een lage score.
Na verloop van tijd leert de AI de perfecte balans: net genoeg vragen om zeker te zijn, maar niet zo veel dat het de gebruiker irriteert.

De Resultaten: Sneller, Slimmer en Minder Verspilling

Het artikel testte deze nieuwe "Detective-AI" op drie soorten taken: Wiskunde, Programmeren en Documenten Bewerken. Hier is wat er gebeurde in vergelijking met de oude "Overdenkende" AI:

Betere Nauwkeurigheid: De nieuwe AI kreeg veel vaker het juiste antwoord (tot 32% beter in sommige wiskundetoetsen) omdat ze niet gokte op ontbrekende informatie.
Minder Verspilling: Ze gebruikte ongeveer de helft van de rekenkracht (tokens). In plaats van een gissing van 2.000 woorden te schrijven, stelde ze één vraag en schreef een oplossing van 500 woorden.
Minder Ronden: Hoewel ze vragen stelde, was het totale aantal heen-en-weer berichten lager. Dit komt omdat ze het probleem correct op de eerste keer oploste, in plaats van later terug te moeten gaan om een verkeerde gissing te herstellen.
Realiteitstest: Bij een blinde test met echte mensen gaven deelnemers de voorkeur aan de nieuwe AI. Ze vonden het fijn dat ze niet "hallucineerde" (dingen verzon) wanneer informatie ontbrak. Ze vonden dat ze behulpzamer en efficiënter was.

Samenvatting

Het artikel introduceert een systeem dat AI verhindert om "blind te overdenken". Door de AI te trainen om te herkennen wanneer ze in de war is en om om hulp te vragen voordat ze raadt, wordt ze een efficiëntere, nauwkeurigere en gebruiksvriendelijkere partner. Het transformeert de AI van een student die het antwoord raadt naar een detective die eerst de feiten verzamelt.

Technische Samenvatting: Redeneren tijdens het Vragen (PIR)

Probleemstelling

Huidige op redenering gerichte Large Language Models (LLM's), zoals GPT-o1 en DeepSeek-R1, opereren onder een paradigma van "blinde zelfdenkendheid". Hoewel deze modellen uitblinken in het genereren van interne Chain-of-Thought (CoT)-sporen, missen ze fundamenteel het vermogen om te herkennen wanneer hun redenering onvoldoende onderbouwd is of gebaseerd op ambiguë gebruikersinstructies. Wanneer ze geconfronteerd worden met incomplete of ambiguë prompts – een veelvoorkomend verschijnsel in real-world interacties – neigen deze modellen ertoe om ondanks ontbrekende premissen vast te houden aan uitgebreide interne redenering. Dit gedrag leidt tot "overdenken", hallucinaties, misaligneerde conclusies en aanzienlijke computerverspilling. Bovendien blijven bestaande interactieve LLM's vaak "passieve oplossers", die pas reageren op gebruikersfeedback nadat fouten zijn opgetreden, in plaats van proactief ambiguïteit te verminderen tijdens het redeneerproces.

Methodologie: Proactief Interactief Redeneren (PIR)

De auteurs stellen Proactief Interactief Redeneren (PIR) voor, een paradigma dat LLM's transformeert van passieve oplossers naar proactieve vraagstellers. PIR verweeft redeneren met verduidelijking, waardoor modellen ontbrekende premissen kunnen detecteren en autonoom interactie met de gebruiker kunnen initiëren. Het kader wordt geïmplementeerd via twee distincte fasen:

Fase I: Activering van Interactieve Capaciteit (Onzekerheidsbewuste SFT)

Om modellen uit te rusten met de structurele mogelijkheid om vragen te stellen, introduceren de auteurs een onzekerheidsbewuste supervised fine-tuning (SFT) procedure.

Onzekerheidsdetectie: Het systeem berekent de Predictive Entropy (PE) van redeneerstappen. Stappen met een hoge PE (wat wijst op lage modelvertrouwen) worden geïdentificeerd als kritieke beslispunten.
Data Augmentatie: Op deze momenten van hoge onzekerheid worden lineaire CoT-sporen omgezet in een verweven "denk-vraag-antwoord" formaat. Een sterk instructievolgend model (bijv. GPT-4o-mini) voegt een verduidelijkende vraag toe en simuleert een bijbehorend gebruikersantwoord.
Training: Het model wordt gefinetuned op deze verrijkte trajecten om het causale patroon te leren: onzekerheid → verduidelijking → verbeterde redenering.

Fase II: Uitlijning met Gebruikersintentie (US-GRPO)

Om te optimaliseren wanneer en hoe efficiënt gevraagd moet worden, ontwikkelen de auteurs User-Simulator Group Relative Policy Optimization (US-GRPO).

Dynamische Gebruikersimulator: Een gebruikersimulator $S$ , geconditioneerd op een specifieke gebruikersintentie $I$ , genereert antwoorden die consistent zijn met het onderliggende doel. Dit creëert een beheersbare omgeving voor training zonder de kosten van echte menselijke interactie.
Composiete Beloningsfunctie: De optimalisatie wordt gedreven door een beloningsfunctie $R(y)$ $R (y)$ die combineert:
1. Output Beloning ( $R_{output}$ ): Zorgt ervoor dat het uiteindelijke antwoord overeenkomt met de ground truth.
2. Redeneringsbeloning ( $R_{reason}$ ): Alleen geëvalueerd wanneer het antwoord correct is, balanceert dit onderdeel Efficiëntie (het bestraffen van excessieve interactierondes) en Behulpzaamheid (het evalueren van de kwaliteit van verduidelijkingsvragen via een LLM-rechter).
Optimalisatie: Met behulp van GRPO leert het model om intentie-oplossing te prioriteren boven ongegronde zelfdenkendheid, waarbij onnodige rondes worden geminimaliseerd terwijl het taalsucces wordt gemaximaliseerd.

Belangrijkste Bijdragen

Formalisatie van "Blinde Zelfdenkendheid": Het artikel identificeert en formaliseert de beperking waarbij redeneringsmodellen falen in het herkennen van ontbrekende informatie, wat leidt tot hallucinaties en inefficiëntie.
PIR Kader: Een nieuw tweestapskader (Onzekerheidsbewuste SFT + US-GRPO) dat modellen in staat stelt om proactief onzekerheid te detecteren en verduidelijking te initiëren.
US-GRPO Algorithmus: Een reinforcement learning-methode die een dynamische gebruikersimulator en een composiete beloningssysteem integreert (balancerend tussen nauwkeurigheid, behulpzaamheid en efficiëntie) om redeneergedrag uit te lijnen met gebruikersintentie.
Generalisatie: De aanpak toont robuustheid, niet alleen in interactieve settings, maar ook in niet-interactieve benchmarks die ontbrekende premissen bevatten.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op wiskundig redeneren (Math-Chat), codegeneratie (BigCodeBench-Chat) en documentbewerking (DocEdit-Chat).

Prestatiewinst: PIR presteerde consequent beter dan sterke baselines, waaronder standaard instructiegetrainde modellen, proactieve prompting en collaboratieve kaders (CollabLLM).
- Nauwkeurigheid: Verbetering met maximaal 32,70% op Math-Chat (van 22,90% naar 32,70%).
- Pass Rate: Verbetering met 22,90% op BigCodeBench-Chat.
- BLEU Score: Verbetering met 41,36 op DocEdit-Chat.
Efficiëntie: PIR verminderde de redeneringsberekening met ongeveer 2.000 tokens per taak gemiddeld en snedde onnodige interactierondes met bijna 50%.
Betrouwbaarheid: Bij "Ontbrekende Premisse"-tests (MIP) bleef PIR zeer robuust, terwijl basismodellen en GPT-4o-mini zware degradatie leden door het hallucineren van ontbrekende voorwaarden. PIR slaagde erin "blinde overdenking" te vermijden door eerst verduidelijking te zoeken.
Menselijke Evaluatie: In een dubbelblinde gebruikersstudie op de GSM8K Missing Premise dataset gaven gebruikers de voorkeur aan PIR boven op redenering gerichte LLM's in 52,45% van de gevallen, met als reden hogere nauwkeurigheid en aanzienlijk lagere interactielatentie.

Betekenis en Claims

Het artikel beweert dat PIR een nieuwe basis legt voor betrouwbare en mensgerichte intelligente systemen door de kloof te overbruggen tussen interne berekening en externe verificatie. Door LLM's te transformeren tot proactieve vraagstellers, adresseert het kader het kritieke gebrek aan "blinde zelfdenkendheid", zodat redenering geworteld is in geverifieerde premissen in plaats van aannames. De auteurs stellen dat deze aanpak een principiële manier biedt om redenering uit te lijnen met gebruikersintentie onder ambiguïteit, waarbij superieure probleemoplossende nauwkeurigheid wordt bereikt terwijl een hoge computerefficiëntie wordt behouden. Het werk suggereert dat toekomstige redeneringsmodellen proactieve verduidelijkingsmechanismen moeten integreren om de inherente onzekerheid van real-world gebruikersinteracties effectief te hanteren.