Technische Samenvatting: Het Overbruggen van de Detectie-naar-Afwijkingskloof in Redeneringsmodellen bij Onvoldoende Informatie

1. Probleemstelling

Grote Redeneringsmodellen (LRM's) worden steeds vaker ingezet in hoog-risicodomeinen zoals medische AI, waar gebruikersvragen vaak cruciale informatie missen (bijvoorbeeld ontbrekende symptomen, laboratoriumresultaten of context). Een kritieke faalmodus die in dit werk wordt geïdentificeerd, is dat hoewel modellen tijdens het tussentijdse redeneren kunnen herkennen dat een probleem ondergespecificeerd is, ze deze herkenning vaak niet vertalen in een definitieve weigering om te antwoorden. In plaats daarvan gaan ze verder met redeneren, fabriceren ze ontbrekende premissen en produceren ze niet-onderbouwde definitieve antwoorden.

De auteurs formaliseren dit fenomeen als de detectie-naar-afwijkingskloof: het verschil tussen het vermogen van een model om onvoldoende informatie te detecteren (Detectieratio, DR) en het vermogen om op die detectie te handelen door af te wijken (Totale Afwijkingsratio, OAR). Bestaande methoden, waaronder standaard Versterkend Leren (RL) en prompting, verbeteren vaak de detectie maar slagen er niet in de kloof te dichten, waardoor modellen overblijven die "detecteren maar niet afwijken". Dit is bijzonder gevaarlijk in veiligheidskritieke omgevingen waar een niet-ondersteund antwoord schadelijker is dan een weigering.

2. Methodologie: Judge-Then-Solve (JTS)

Om deze kloof te dichten, stelt het artikel Judge-Then-Solve (JTS) voor, een raamwerk voor trajectniveau-redeneringscontrole. In tegenstelling tot het behandelen van afwijkingen louter als een stijl van het eindantwoord, herformuleert JTS dit als een expliciete controlebeslissing die voor de generatie van de oplossing wordt genomen.

Kernmechanisme

JTS splitst het inferentieproces op in twee distincte fasen:

1. Beoordeelbaarheidsoordeel: Het model moet eerst een gestructureerd <answerability_judge>-blok genereren dat bevat:
   • Contextuele Audit: Een analyse van of de geboden context een uniek geldig antwoord ondersteunt.
   • Integriteitscontrole: Een verificatie van ontbrekende premissen of ambiguïteiten.
   • Conclusie: Een binaire beslissing van BEANTWOORDBAAR of NIET-BEANTWOORDBAAR.
2. Conditionele Executie:
   • Als NIET-BEANTWOORDBAAR: Het model moet het redeneren onmiddellijk beëindigen en een afwijkingsreactie uitvoeren.
   • Als BEANTWOORDBAAR: Het model gaat verder met het genereren van de oplossing binnen hetzelfde redeneringsblok.

Trainingsstrategie

JTS wordt geïnstancierd via een tweestaps trainingsproces:

1. Supervised Warm-up: Het model wordt fijngefineerd op een dataset van 1.091 trajecten die zijn opgemaakt met de JTS-structuur. Deze fase leert de structurele prior van het raamwerk (het <answerability_judge>-blok en de regel voor onmiddellijke beëindiging) in plaats van afwijking direct te optimaliseren.
2. Versterkend Leren (RL) met Gestructureerde Beloningen: Het model wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO) met een samengestelde beloningsfunctie $R(y)$:
   • Formaatbeloning ($R_{format}$): Handhaaft de strikte JTS-structuur (geldige tags, plaatsing van de conclusie).
   • Consistentiebeloning ($R_{consistency}$): Straft tegenstrijdigheden tussen het oordeel (bijvoorbeeld NIET-BEANTWOORDBAAR) en de uiteindelijke output (bijvoorbeeld het geven van een antwoord).
   • Taakbeloning ($R_{task}$): Belooft correcte afwijking bij ondergespecificeerde vragen en correcte antwoorden bij goed gedefinieerde vragen; straft incorrecte afwijking bij oplosbare vragen.
   • Lengte-vormende Beloning ($R_{length}$): Een conditioneel signaal dat is ontworpen om "overdenken" te ontmoedigen.
     • Voor ondergespecificeerde vragen waarbij het model niet afwijkt, worden kortere trajecten beloond om onmiddellijke beëindiging na detectie te stimuleren.
     • Voor goed gedefinieerde vragen waarbij het model niet correct antwoordt, worden langere trajecten lichtjes begunstigd om volledig redeneren te stimuleren.

3. Belangrijkste Bijdragen

1. Formalisatie van de Detectie-naar-Afwijkingskloof: Het artikel identificeert en definieert een specifieke faalmodus waarbij modellen ontbrekende informatie detecteren maar niet afwijken, en onderscheidt dit van eenvoudige detectiefouten.
2. Judge-Then-Solve Raamwerk: Een nieuw redeneringscontroleparadigma dat een expliciete toezegging over beoordeelbaarheid afdwingt voordat de oplossing wordt gegenereerd, waardoor het redeneertraject effectief wordt afgeschermd.
3. Conditionele Lengtevorming: Een beloningsmechanisme dat specifiek gericht is op de faalmodus van "nabespreking na detectie", waarbij modellen worden aangemoedigd onmiddellijk te stoppen met redeneren zodra onvoldoende informatie wordt gedetecteerd, terwijl de redeneerdiepte voor oplosbare problemen behouden blijft.
4. Empirische Validatie: Omvattende evaluatie op zowel dichte (DeepSeek-R1-Distill-Qwen-14B) als Mixture-of-Experts (Qwen3-30B-A3B-Thinking) modellen over meerdere benchmarks, inclusief het medische domein (MedIQ).

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Missing-Premise (MIP)-dataset en vier subsets van AbstentionBench (MMLU-History, MMLU-Math, GPQA-Diamond, MedIQ).

• Dichten van de Kloof: JTS verbetert Afwijking@Detectie (A@D) aanzienlijk, en duwt dit naar niveaus die dicht bij verzadiging liggen (99,8% voor DeepSeek, 99,3% voor Qwen). Dit geeft aan dat zodra het model ontbrekende informatie detecteert, het betrouwbaar op die detectie handelt.
• Totale Prestaties:
  • DeepSeek: OAR steeg van 18,6% (Basis) naar 88,5% (JTS).
  • Qwen: OAR steeg van 21,1% (Basis) naar 72,4% (JTS).
• Efficiëntie: JTS reduceert de gemiddelde antwoordlengte drastisch bij ondergespecificeerde vragen (bijvoorbeeld van ~2600 tokens naar ~350 tokens voor DeepSeek) door onnodige deliberatie te beëindigen.
• Goed Gedefinieerde Vragen: Hoewel JTS een lichte afweging introduceert in de ruwe antwoordratio en correctheid bij oplosbare vragen, verbetert het aanzienlijk de efficiëntie per token (Correctheid/1K tokens), wat wijst op beknopter en effectiever redeneren.
• Onzekerheidsanalyse: Token-niveau entropie-analyse onthult dat JTS-modellen een hogere onzekerheid (entropie) behouden rondom ontbrekende premissen in vergelijking met basismodellen, die de neiging hebben om overmoedig te zijn. Deze bewustwording van onzekerheid drijft het afwijkingsgedrag.
• Secundaire Observatie: Het trainen op data met ontbrekende premissen (zelfs met gewone RL) werd waargenomen om "ineffectieve zelfreflectie" en aarzeling bij moeilijke maar beantwoordbare wiskundeproblemen (Omni-Math) te verminderen, wat leidde tot licht verbeterde pass@8-scores in de matig tot moeilijk moeilijkheidsgraden.

5. Betekenis en Beweringen

Het artikel beweert dat betrouwbare afwijking een kritieke vorm van redeneringscontrole is die noodzakelijk is voor de veilige inzet van LRM's in hoog-risicodomeinen. De betekenis van het werk ligt in:

• Veiligheid: Het aantonen dat modellen getraind kunnen worden om niet-ondersteunde antwoorden te weigeren in medische en andere veiligheidskritieke contexten, waardoor het genereren van schadelijke hallucinaties wordt voorkomen.
• Mechanisme: Het tonen aan dat het niet afwijken vaak een controleprobleem is (doorgaan met redeneren na detectie) in plaats van een puur capaciteitsprobleem, en dat dit opgelost kan worden door het redeneringsverloop te structureren.
• Efficiëntie: Het bewijzen dat vroege beëindiging van niet-beantwoordbare trajecten computergast en inferentiële tijd reduceert.

De auteurs merken bescheiden op dat hoewel JTS de afwijking verbetert, het kan leiden tot een lichte toename van valse afwijkingen bij goed gedefinieerde vragen, een afweging die zij aanvaardbaar achten voor veiligheidskritieke toepassingen. Ze erkennen ook beperkingen, waaronder de afhankelijkheid van LLM-as-a-judge voor evaluatie en de computerkosten van full-parameter RL-training.