Calibrated Abstention and Clinical Deferral in Small Language Models via RLVR and GRPO

Technische Samenvatting: Gekalibreerde Onthouding en Klinische Deferentie in Small Language Models via RLVR en GRPO

Probleemstelling: De valkuil van de "Gevaarlijke Zelfverzekerdheid"
Het artikel behandelt een kritiek veiligheidsfalen bij het inzetten van Large Language Models (LLM's) en Small Language Models (SLM's) binnen klinische settings: "epistemische overmoedigheid". Terwijl basis-autoregressieve modellen uitblinken in linguïstische vloeiendheid, zijn ze getraind om het volgende token probabilistisch te voorspellen in plaats van de feitelijke waarheid te verifiëren. In hoogwaardige medische domeinen manifesteert dit zich als "gevaarlijke zelfverzekerdheid", waarbij modellen feitelijk onjuiste, maar zeer plausibele medische beweringen genereren met absolute zekerheid. Het artikel stelt dat standaard evaluatiemetrieken, zoals ruwe nauwkeurigheid op benchmarks zoals MedQA-USMLE, dit risicoprofiel niet goed in kaart brengen. Een model dat met zelfverzekerdheid gokt op ambigue data vormt een grotere bedreiging voor de patiëntveiligheid dan een model dat zijn onzekerheid herkent en zich onthoudt. Bovits is het inzetten van massieve modellen vaak onpraktisch vanwege computationele latentie, infrastructuurkosten en regelgeving inzake gegevensprivacy (bijv. HIPAA, GDPR), wat de noodzaak creëert voor een verschuiving naar SLM's (specifiek de 2.6B parameter Gemma 2B architectuur) die weliswaar efficiënt zijn, maar lijden onder een beperkte parametrische capaciteit en een verhoogde vatbaarheid voor hallucinaties.

Methodologie: RLVR en GRPO voor Gekalibreerde Onthouding
Om "Gekalibreerde Onthouding" in een SLM in te bedden, stellen de auteurs een nieuwe alignment-pipeline voor die Reinforcement Learning from Verifiable Rewards (RLVR) en Group Relative Policy Optimization (GRPO) combineert.

• RLVR Architectuur: In tegen tegenstelling tot Reinforcement Learning from Human Feedback (RLHF), dat steunt op subjectieve menselijke voorkeuren en het risico loopt te optimaliseren voor sycofantie of plausibele hallucinaties, maakt deze aanpak gebruik van deterministische, programmatische verificatie. De beloningsfunctie is verankerd in objectieve klinische waarheden, specificaal het Sequential Organ Failure Assessment (SOFA) scoresysteem.
• Het Klinisch Redeneerprotocol (SOFA & Cactus Signaal): Het model wordt gedwongen vast te houden aan een strikt "SOFA-First" redeneerprotocol. Voordat het een diagnose stelt, moet het zes fysiologische parameters (Respiratie, Coagulatie, Lever, Cardiovasculair, CNS, Renaal) extraheren en verifiëren in een gestructureerde matrix. Als cruciale gegevens ontbreken, moet het model deze als "N/P" (Niet Aanwezig) markeren. Na deze redenering moet het model een "Cactus Signaal" uitzenden: ofwel <|local_ok|> om door te gaan met een lokaal antwoord, ofwel <|escalate|> om te delegeren aan een menselijke expert.
• Ontwerp van de Beloningsfunctie: De geaggregeerde beloning bestaat uit vier vectoren:
  1. Correctheid (50%): Exacte overeenkomst van de uiteindelijke diagnose met de grondwaarheid.
  2. Klinische Logica (20%): Verificatie van de SOFA-matrix tegenover de verstrekte gegevens, waarbij gehalucineerde metrieken worden bestraft.
  3. Veiligheid & Onthouding (20%): Een bonus voor het correct identificeren van ontbrekende gegevens en het triggeren van het <|escalate|> signaal; een straf voor "valse zelfverzekerdheid" (het triggeren van <|local_ok|> bij incomplete gegevens).
  4. Formaat (10%): Validatie van strikte XML structurele naleving.
• GRPO Implementatie: Om de geheugenbeperkingen te overwinnen bij het trainen van SLM's op consumentenhardware (Dual NVIDIA T4 GPU's met 32GB VRAM), gebruiken de auteurs GRPO. Dit is een value-function-vrij algoritme dat geen aparte "critic" model vereist. In plaats daarvan samplet het een groep completions (G=2 initieel, dan G=4) voor een enkele prompt en berekent het het voordeel relatief aan het gemiddelde van de groep. Dit maakt stabiele training mogelijk op edge-apparaten waar standaard PPO zou falen vanwege VRAM-beperkingen.

Belangrijkste Bijdragen

1. Operationalisering van het "Cactus Protocol": De introductie van een deterministisch routeringsmechanisme dat SLM's dwingt om expliciet epistemische zelfverzekerdheid of onzekerheid te signaleren, waardoor abstracte onzekerheid wordt omgezet in actiegerichte routeringscommando's.
2. Integratie van SOFA als Verifieerbare Beloning: De succesvolle inbedding van een rigide klinische scorematrix (SOFA) als een programmatische beperking binnen het GRPO-framework, wat effectief hallucinaties bestraft en logische coherentie afdwingt.
3. Empirische Kwantificering van de "Alignment Tax": De studie levert data over de trade-off tussen ruwe nauwkeurigheid en veiligheidsnaleving, en toont aan dat een reductie in benchmarkprestaties een noodzakelijke en rechtvaardigbare opoffering is voor de patiëntveiligheid.

Resultaten & Analyse
De studie evalueerde het uitgelijnde model ("Gemma-Sync") tegen het niet-uitgelijnde basismodel op een strikt ongeziene subset van de MedQA-USMLE dataset (n=200).

• Alignment Tax: Het uitgelijnde model ervoer een absolute daling van 8,5% in ruwe nauwkeurigheid (dalend van 44,0% naar 35,5%). De auteurs wijten dit aan "Catastrophic Forgetting", waarbij de beperkte attention heads van het model werden geheralloceerd van probabilistische patroonherkenning naar deterministische beperkingsbeheersing (SOFA-verificatie).
• Veiligheidswinst: Daartegenover steeg de Abstention Rate (frequentie van <|escalate|> signalen) met 129%, van 3,5% naar 8,0%. Dit geeft aan dat het model 2,3 keer vaker zijn epistemische grenzen herkent en delegeert aan menselijke experts in plaats van te hallucineren.
• Efficiëntie en Latentie: Hoewel het model veiligheidsdoelen bereikte, nam de inferentie-latentie toe van 138,9s naar 153,3s. De auteurs identificeren een "Stopping Token Dilemma" waarbij het model, over-geoptimaliseerd voor het genereren van uitgebreide SOFA-matrices, zich bezighoudt met "gestructureerd gerommel" en er niet in slaagt het End-of-Sequence token tijdig uit te zenden, wat leidt tot token-uitputting.
• GRPO Veerkracht: De studie toont aan dat RLVR robuuste convergentie kan bereiken, zelfs met extreem kleine groepsgroottes (G=2 tot G=4) op beperkte hardware, mits het beloningssignaal deterministisch en verifieerbaar is.

Betekenis en Claims
Het artikel concludeert dat bij hoogwaardige triage het prioriteren van veiligheid door conservatieve deferentie een betrouwbaardere klinische assistent oplevert dan het maximaliseren van de ruwe benchmarkprestaties. De auteurs stellen dat "Gekalibreerde Onthouding" de operationalisering is van de eed van Hippocrates ("Eerst, doe geen kwaad") binnen de AI-architectuur. Door SLM's te leren om "Ik weet het niet" te zeggen of te escaleren wanneer gegevens ambigu zijn, fungeert het systeem als een betrouwbaar cognitief filter in plaats van een gevaarlijke orakel.

Het onderzoek stelt dat de "Alignment Tax" geen falen is, maar een "verzekeringspremie"—een noodzakelijke trade-off om systematische hallucinatie-risico's uit te bannen. Bovendien suggereert het dat RLVR een superieur alignment-pad biedt voor deterministische domeinen zoals de geneeskunde vergeleken met RLHF, omdat het de subjectiviteit en sycofantie omzeilt die inherent zijn aan menselijke voorkeurenmodellen. De studie vestigt een schaalbaar blauwdruk voor het ontwikkelen van betrouwbare, edge-deploybare medische AI die beschikt over intellectuele nederigheid en metacognitieve kalibratie.