MedUPS: Towards Diagnostic Assistance in Uncommon Medical Cases with Large Language Models

Technische Samenvatting: MedUPS – Diagnostische Ondersteuning bij Ongebruikelijke Medische Casussen met Large Language Models

Probleemstelling
Huidige klinische large language models (CLLMs) en medische benchmarks evalueren de prestaties voornamelijk op basis van de uiteindelijke diagnose die voortvloeit uit een volledig gespecificeerde casusbeschrijving. Deze "examen-stijl" evaluatie weerspiegelt niet de realiteit van de klinische praktijk, met name voor ongebruikelijke en afwijkende gevallen (off-guideline). In deze scenario's moeten artsen navigeren door diagnostische onzekerheid door een reeks tussenliggende managementbeslissingen te nemen (bijv. het aanvragen van specifieke tests, het betrekken van specialisten of het volgen van differentiële diagnoses) op basis van accumulerende, onvolledige bewijslast. Bestaande benchmarks vatten dit longitudinale besluitvormingsproces zelden samen, en de uiteindelijke diagnose is vaak een onbetrouwbaar trainingsdoel voor zeldzame aandoeningen vanwege de schaarste, variabiliteit in vrije tekstformuleringen en inherente onzekerheid, zelfs in gepubliceerde verslagen. Bijgevolg is er een gebrek aan supervisiesignalen die spiegelen hoe clinici redeneren vanuit partiële informatie naar de volgende passende actie.

Methodologie
De auteurs introduceren MedUPS, een alignment-framework, en MedUPSQA, een dataset ontworpen om modellen te superviseren op tussenliggende klinische besluitpunten in plaats van op terminale diagnoses.

1. Dataset Constructie (MedUPSQA):

   • Bron: De dataset is afgeleid van 5.535 real-world casusrapporten (uitgebreid van de CUPCase corpus) gepubliceerd in het BMC Journal of Medical Case Reports.
   • Segmentatie: Vrije tekstpresentaties van casussen worden automatisch gesegmenteerd in chronologisch geordende, klinisch coherente "chunks" ($c_1, \dots, c_T$) met behulp van few-shot prompting met GPT-4o. Elke chunk legt één dominant klinisch concept vast (bijv. een evolutie van symptomen of een laboratoriumresultaat).
   • Taakformulering: Voor elk prefix van het traject $\{c_1, \dots, c_i\}$ krijgt het model de taak om de volgende klinisch relevante stap ($a_i$) te voorspellen die voorkomt in de daaropvolgende chunk ($c_{i+1}$).
   • Generatie & Validatie: Een extern LLM (DeepSeek-R1) genereert vragen ($q_i$), chain-of-thought redeneringen ($r_i$) en antwoorden ($a_i$) op basis van de context. Een apart LLM-as-a-Judge (DeepSeek-Chat) valideert deze instanties en zorgt ervoor dat het gegenereerde antwoord klinisch equivalent is aan de referentie in $c_{i+1}$ op basis van een vier-criteria rubric: Correctheid, Specificiteit, Gronding (Groundedness) en Volledigheid.
   • Schaal: De definitieve dataset bevat 21.874 gevalideerde "next-step" besluitpunten.

2. Alignment Framework (MedUPS):

   • Doel: Het framework optimaliseert modellen om de volgende stap te voorspellen met behulp van Group Relative Policy Optimization (GRPO). Dit is een critic-vrije policy-gradient methode die beloningen normaliseert tegenover een groepsgemiddelde, waardoor een apart getrainde value network niet nodig is.
   • Beloningssignaal: De beloning wordt geleverd door een externe LLM-judge die de output van het model scoort tegen de rubric. De score is een gewogen som van de vier criteria, genormaliseerd naar $[0, 1]$.
   • Optimalisatie: Modellen worden gefinetuned met behulp van Low-Rank Adapters (LoRA) met een bevroren referentiemodel voor KL-regularisatie. Het proces omvat het samplen van groepen completions, het scoren hiervan, en het updaten van de policy om completions te bevoordelen die het groepsgemiddelde overtreffen.
   • Baselines: De auteurs vergelijken GRPO met Supervised Fine-Tuning (SFT) op exact dezelfde mid-stream paren om de bijdrage van de optimizer te isoleren van de target. Ze evalueren ook niet-gealigneerde open modellen en frontier closed modellen (bijv. GPT-5.6 varianten) als baselines.

Belangrijkste Bijdragen

1. Mid-stream Alignment Doelstelling: Het paper formaliseert de voorspelling van de volgende stap langs patiëntentijdlijnen als een reinforcement learning doelstelling. Het demonstreert dat GRPO op deze enkele doelstelling de klinische redenering op ongebruikelijke casussen verbetert over drie ongerelateerde backbones (Qwen3.6-27B, Qwen3.5-9B, HuatuoGPT-3-8B) zonder dat daarvoor finale diagnostische labels nodig zijn.
2. MedUPSQA Dataset: Een open dataset van 21.874 gevalideerde next-step besluitpunten met reasoning traces, afgeleid van gesegmenteerde real-world casusrapporten, inclusioneel met gealigneerde model checkpoints en code.
3. Alignment boven Schaal: De studie levert bewijs dat gerichte tussenliggende supervisie effectiever kan zijn dan modelgrootte voor redeneren bij ongebruikelijke casussen. Kleinere, mid-stream-gealigneerde open modellen evenaren of overtreffen aanzienlijk grotere open en frontier modellen op next-step voorspellingstaken.

Resultaten

• Prestatiewinst: Mid-stream alignment verbeterde de next-step accuratesse significant over alle geteste backbones:
  • Qwen3.6-27B: Steeg van 55,2% naar 66,7%.
  • Qwen3.5-9B: Steeg van 47,2% naar 57,8%.
  • HuatuoGPT-3-8B: Steeg van 37,8% naar 44,4%.
  • Alle verbeteringen waren statistisch significant (95% CI).
• Vergelijking met SFT: Hoewel SFT op dezelfde data alle backbones verbeterde ten opzichte van hun base-versies, presteerde GRPO beter dan SFT op de grootste backbone (Qwen3.6-27B), wat suggereerend is dat group-relative RL effectief is wanneer de base policy sterk genoeg is om informatieve variaties te genereren.
• Schaal vs. Alignment: Het gealigneerde 27B open model (66,7%) overtrof niet-gealigneerde frontier modellen (GPT-5.6 varianten, ~60%) en niet-gealigneerde grotere open modellen (Qwen3.5-397B-A17B, ~53%). Het gealigneerde 9B model overtrof ook het niet-gealigneerde 27B base model.
• Judge Robuustheid: De auteurs erkennen dat de evaluatie steunt op een LLM-as-a-Judge. Her-scoring met andere judges (GPT-5.6, Opus 5) toonde matige overeenstemming (Cohen's $\kappa \approx 0,56-0,65$) en een daling in absolute accuratesse (van 67,2% naar 58,0% met GPT-5.6), wat aangeeft dat hoewel de relatieve ordening van gealigneerde versus base modellen standhoudt, de absolute scores en de marge over frontier modellen judge-afhankelijk zijn.
• Foutanalyse: Analyse van fouten toonde aan dat veel "incorrecte" voorspellingen geen klinische fouten waren, maar meningsverschillen over de specifieke volgorde van verdedigbare stappen of de granulariteit van het referentierapport. Echte klinische redeneerfouten (Categorie E) vormden slechts ~2,0% van de beslissingen.

Betekenis en Claims
Het paper claimt dat voor ongebruikelijke medische casussen de trainingsdoelstelling (mid-stream alignment) belangrijker is dan de model schaal. Door de focus te verschuiven van de finale diagnose naar de "volgende passende actie", sluit het framework beter aan bij de klinische realiteit van redeneren onder onzekerheid. De auteurs stellen dat deze aanpak een levensvatbaar pad biedt voor het implementeren van klinisch nuttige systemen on-premises met open, kleinere modellen, waardoor de privacy- en kostenbeperkingen van gesloten frontier API's worden geadresseerd.

De auteurs blijven bescheiden over hun claims en merken expliciet op:

• De evaluatie steunt op LLM-judges, niet op klinische beoordeling door mensen, dus de resultaten reflecteren alignment met de criteria van de judge in plaats van absolute klinische waarheid.
• De superioriteit van gealigneerde open modellen over frontier modellen is specifief voor de gebruikte evaluatie-judge en vereist verdere validatie met onafhankelijke judge-families.
• De constructie van de dataset is volledig geautomatiseerd zonder klinische verificatie van de segmentatie of vraaggeneratie, wat als een belangrijke beperking wordt beschouwd.
• Het werk is bedoeld als klinische besluitvormingsondersteuning onder toezicht van een clinicus, niet als vervanging voor menselijk oordeel.