Technische Samenvatting: ProMed – Shapley Information Gain Guided Reinforcement Learning voor Proactieve Medische LLM's

1. Probleemstelling

Interactieve medische bevraging is een hoeksteen van de klinische diagnose, waarbij artsen proactief onvolledige patiëntinformatie moeten ophalen om tot nauwkeurige conclusies te komen. De huidige Large Language Models (LLMs) die in klinische settings worden ingezet, opereren echter voornamelijk onder een reactief paradigma. Ze genereren voorspellingen op basis van uitsluitend initiële, vaak onvolledige of bevooroordeelde, patiëntinput. Deze beperking leidt tot cognitieve vooroordelen in het redeneren, wat resulteert in diagnostische fouten, misdiagnoses en een gecompromitteerde patiëntveiligheid.

Huidige pogingen om LLM's te verschuiven naar een proactief paradigma (actief informatie zoeken) vertrouwen op prompt engineering of Supervised Fine-Tuning (SFT) op statische dialogen. Deze benaderingen kennen aanzienlijke beperkingen:

• Prompt Engineering: Induceert slechts vraaggedrag zonder echt actief redeneren te bevorderen, wat leidt tot beperkte prestatiewinst.
• SFT: Mist robuustheid in onvoorspelbare real-world scenario's en kan, wanneer het uitsluitend vertrouwt op positieve feedback, onbedoeld incorrecte of misleidende vragen versterken.
• Uitdagingen voor Reinforcement Learning (RL): Het toepassen van RL op dit domein wordt gehinderd door twee kernproblemen:
  1. Reward Modeling: Bestaande methoden (bijv. heuristische scoring, leave-one-out evaluaties) slagen er niet in de compositionele aard van medisch redeneren te vangen, waarbij de bruikbaarheid van een enkele vraag vaak afhankelijk is van de interactie met andere klinische feiten.
  2. Reward Attribution: Standaard RL-strategieën (bijv. uniforme beloning over tokens) slagen er niet in om klinisch relevante vragen te onderscheiden van irrelevante vragen en stimuleren impliciet verbositeit boven informatieve waarde.

2. Methodologie: ProMed Framework

De auteurs stellen ProMed voor, een reinforcement learning-framework ontworpen om medische LLM's te transformeren van reactieve responders naar proactieve informatiezoekers. Het framework is gebouwd rond een nieuw Shapley Information Gain (SIG) beloningsmechanisme en een tweestaps trainingspipeline.

2.1 Shapley Information Gain (SIG) Reward

Om de klinische bruikbaarheid van een vraag te kwantificeren, introduceert ProMed SIG, dat verder gaat dan eenvoudige informatie-extractie door rekening te houden met de interacties tussen klinische feiten.

• Atomic Fact Foundation: Patiëntcondities worden gedecomposeerd in een set atomaire feiten ($F$).
• State Approximation: De interne overtuigingsstaat (belief state) van het model wordt benaderd door een "doctor understanding" prompt die de huidige grip op de conditie van de patiënt verwoordt.
• Shapley Values: Gebruikmakend van coöperatieve speltheorie, berekent SIG de Shapley-waarde voor elk atomair feit. Dit meet de marginale bijdrage van een feit aan de correcte diagnose over alle mogelijke subsets van feiten, waardoor zowel de variërende belangrijkheid van individuele feiten als hun complexe interacties worden gevangen.
• Reward Calculation: De SIG-beloning voor een vraag is de gewogen som van nieuw verkregen feiten, waarbij de gewichten de softmax-genormaliseerde Shapley-waarden zijn. Dit moedigt het model aan om prioriteit te geven aan vragen die nieuwe, hoogwaardige klinische informatie opleveren.

2.2 Tweestaps Trainingspipeline

ProMed integreert SIG in een tweestaps proces om stabiele initialisatie en fijnmazige optimalisatie te waarborgen:

Fase 1: SIG-Gestuurde Modelinitialisatie

• Doel: Het construeren van hoogwaardige interactietrajecten voor Supervised Fine-Tuning (SFT).
• Mechanisme: Gebruikt Monte Carlo Tree Search (MCTS) geleid door SIG-beloningen om optimale arts-patiënt dialoogbomen te verkennen.
• Proces: De MCTS simuleert dialogen en selecteert paden die de cumulatieve SIG-beloning en de uiteindelijke antwoordcorrectheid maximaliseren. De resulterende hoogwaardige trajecten worden gebruikt om het beleid (policy) te initialiseren, wat een sterke basis biedt voor proactief gedrag en gegevensschaarste verlicht.

Fase 2: SIG-Geaugmenteerde Policy Optimalisatie

• Doel: Het verfijnen van het beleid via Reinforcement Learning (specifiek GRPO).
• Mechanisme: Introduceert een SIG-Gestuurd Beloningsdistributiemechanisme.
• Innovatie: In tegenstelling tot standaard GRPO, dat uniforme beloningen toekent aan alle tokens in een traject, deelt dit mechanisme de traject-niveau beloning op in actie-niveau signalen.
  • Vervolgvragen ontvangen beloningen evenredig aan hun SIG-waarde.
  • Het uiteindelijke antwoord ontvangt een correctiebeloning.
  • Deze actiebeloningen worden verder gepropageerd naar individuele tokens.
• Resultaat: Dit maakt gerichte, fijnmazige optimalisatie mogelijk die het genereren van informatieve vragen versterkt terwijl redundante of misleidende vragen worden onderdrukt. De SIG-waarden worden tijdens de training dynamisch berekend om strikt model-bewust te blijven.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: ProMed pioniert een RL-framework dat succesvol medische LLM's transformeert van reactief antwoorden naar proactief informatie zoeken.
2. Nieuw Beloningsmechanisme: De ontwikkeling van de Shapley Information Gain (SIG) beloning, die Shapley-waarden gebruikt om medische informatie-interacties te modelleren en de bruikbaarheid van vragen te kwantificeren, waarmee de beperkingen van geïsoleerde factenevaluatie worden aangepakt.
3. Fijnmazige Optimalisatie: Een op maat gemaakt beloningsdistributiemechanisme dat beloningen toewijst op basis van de nuttigheid van de vraag, wat een precieze policy-optimalisatie mogelijk maakt.
4. Empirische Validatie: Uitgebreide evaluaties die significante prestatieverbeteringen en robuuste generalisatie naar out-of-distribution (OOD) benchmarks aantonen.
5. Resource Bijdrage: De constructie van twee publieke benchmarks gericht op interactieve medische bevraging met gestandaardiseerde splitsingen om toekomstig onderzoek te faciliteren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de MedQA en CMB (Chinese Medical Benchmark) datasets met behulp van diverse LLM-backbones (LLaMA3.1-8B, LLaMA3.2-3B, Qwen3-1.7B).

• Prestatiewinst: ProMed presteert aanzienlijk beter dan state-of-the-art methoden. Gemiddeld bereikt het een relatieve verbetering van 6,29% ten opzien van de op één na beste methode. Vergeleken met het reactieve paradigma (direct antwoorden), levert ProMed een winst van 54,45% in nauwkeurigheid.
• Ablatieonderzoeken:
  • Zowel de SIG-gestuurde initialisatie (Fase 1) als de SIG-geaugmenteerde optimalisatie (Fase 2) zijn essentieel; het verwijderen van één van beide leidt tot substantiële prestatiedalingen.
  • De Shapley-weging en het beloningsdistributiemechanisme zijn kritieke componenten; het verwijderen ervan verslechtert zowel de in-domain als de OOD-prestaties.
• Generalisatie: ProMed vertoont een robuuste generalisatie naar OOD-settings, inclusom open-ended medische QA, klinische redeneertaken (CMB-Clin) en algemene ambigue vraagbeantwoording (Abg-CoQA).
• Vraagkwaliteit: Menselijke en geautomatiseerde evaluaties bevestigen dat ProMed vragen genereert met een hogere Helpfulness (behulpzaamheid), Medical Relevance (medische relevantie) en Logical Flow (logische flow) vergeleken met baselines.
• Efficiëntie: Het model vertoont een "voorzichtige-proactieve" strategie, waarbij het minder vragen stelt dan baselines wanneer de informatie voldoende is, en de strategie dynamisch aanpast op basis van informatie-schaarste.

5. Betekenis en Claims

Het artikel stelt dat ProMed een fundamenteel probleem aanpakt in interactieve medische consultatie: het onvermogen van huidige LLM's om systematisch klinisch informatieve bewijslast te verzamelen. Door het paradigma te verschuiven van reactief naar proactief, maakt ProMed een minder bevooroordeelde en betrouwbaardere klinische besluitvorming mogelijk.

De auteurs benadrukken dat hun aanpak model-agnostisch en taak-agnostisch is, wat suggereert dat de methodologie generaliseerbaar is over verschillende populaties en klinische contexten. Zij positioneren ProMed niet als een vervanging voor medische professionals, maar als een wetenschappelijke vooruitgang die de risico's van hallucinaties en onbetrouwbare reacties in reactieve medische LLM's die opereren onder onvolledige informatie, mitigeert. Het werk benadrukt de noodzaak van gerichte training boven eenvoudige prompting of statische fine-tuning om echte interactieve diagnostische capaciteiten te bereiken.

Erkende Beperkingen:

• Training en evaluatie vinden plaats in gesimuleerde omgevingen, die de variabiliteit van echte patiënten mogelijk niet volledig kunnen vatten.
• Huidige experimenten richten zich op multiple-choice benchmarks en specifieke open-ended taken; verdere validatie in complexe, real-world scenario's (bijv. vrije vorm behandelplannen) is nodig.
• Computationele beperkingen beperken het gebruik van modellen tot 8B parameters; de prestatieplafond van grotere modellen blijft onverkend.
• De huidige implementatie vertrouwt op tekstuele feiten; het integreren van multimodale data (beeldvorming, tijdreeksen) is een toekomstige richting.