Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports

Probleemstelling

De automatische classificatie van ziekten op basis van radiologieverslagen is essentieel voor veel medische toepassingen. Hoewel Supervised Fine-Tuning (SFT) van lichte Large Language Models (LLMs) de nauwkeurigheid van de diagnose kan verbeteren, introduceert deze methode een significant nadeel: het degradeert vaak het redeneervermogen van het model.

• De beperking: Bij standaard SFT wordt het model getraind op eindlabels (de ziekte), maar vaak zonder gedetailleerde redenering of tussenstappen. Dit leidt tot modellen die wel de juiste ziekte voorspellen, maar geen transparante, klinisch onderbouwde uitleg kunnen geven.
• Het belang: In de radiologie zijn transparantie en verklaarbaarheid cruciaal voor klinische besluitvorming en vertrouwen in algoritmische aanbevelingen. Zonder redenering is de adoptie van LLMs beperkt.
• Huidige uitdaging: Het verkrijgen van grote datasets met door experts handmatig gegenereerde redenering is arbeidsintensief en tijdrovend.

Methodologie

De auteurs stellen een tweestaps-aanpak voor om de redeneercapaciteiten van lichte LLMs te verbeteren zonder extra redeneringsdata te vereisen. Het framework bestaat uit de volgende fasen:

1. Fase 1: Supervised Fine-Tuning (SFT)

   • Het model wordt eerst getraind op een dataset van radiologieverslagen met bijbehorende ziekte-labels.
   • De output-indeling bevat een <reasoning>-sectie en een <answer>-sectie, maar tijdens deze trainingsfase is de redenering leeg of niet expliciet gesuperviseerd. Het doel is om het model aan te passen aan het medische domein.

2. Fase 2: Reinforcement Learning met GRPO

   • Na SFT wordt Group Relative Policy Optimization (GRPO) toegepast op dezelfde dataset.
   • Belangrijk: Er is geen expliciete supervisie voor de inhoud van de redenering nodig.
   • Beloningssysteem (Reward Function): Een op regels gebaseerde beloningsfunctie evalueert twee aspecten:
     • Classificatienauwkeurigheid: Gebaseerd op precisie en recall.
     • Formatcorrectheid: De beloning is nul als de <reasoning>-sectie leeg is of slechts de lijst met ziekten herhaalt. Dit dwingt het model om expliciete redenering te genereren die gebaseerd is op bewijs uit het verslag.
   • De totale beloning is een gewogen som: $0.8 \times \text{accuracy} + 0.2 \times \text{format}$.

3. Inferentie en Ensemble-methode

   • Voor elk verslag worden vijf onafhankelijke inferenties gegenereerd.
   • De definitieve ziekteclassificatie wordt bepaald via meerderheidsstemming (majority voting) om de robuustheid te vergroten.
   • De vijf gegenereerde redeneringen worden samengevat tot één coherent verslag door het oorspronkelijke (niet-gefine-tuned) model, gebruikmakend van een specifieke prompt.

Belangrijkste Bijdragen

• Nieuw Framework: Een innovatieve pipeline die SFT combineert met GRPO om redenering te stimuleren zonder de noodzaak van dure, handmatig gelabelde redeneringsdata.
• Verbetering van Redenering zonder Supervisie: Het bewijs dat reinforcement learning (GRPO) de "catastrophic forgetting" van redeneringsvaardigheden (die vaak optreedt na SFT) kan herstellen of verbeteren.
• Robuustheid: De toepassing van ensemble-methoden (meerderheidsstemming) die de classificatienauwkeurigheid verder verhoogt.
• Uitgebreide Validatie: Evaluatie op drie verschillende datasets (MIMIC-CXR, NIH-CXR, MIDRC) met drie verschillende lichte LLMs (LLaMA 3.1-8B, Qwen 2.5-3B, Phi-3 Min-128K) en validatie door board-certified radiologen.

Resultaten

De studie toont aan dat de combinatie van SFT en GRPO superieur is aan baselines en alleen SFT:

• Classificatienauwkeurigheid:

  • SFT presteerde al beter dan de baselines.
  • De toevoeging van GRPO leidde tot verdere verbeteringen in de Micro-F1-score in 8 van de 9 geëvalueerde cohorten.
  • De grootste winst werd gezien bij Qwen op MIMIC-CXR (+13,2%) en Phi3 op NIH-CXR (+12,8%).
  • Het finale model (LLaMA + SFT + GRPO) bereikte bijna dezelfde nauwkeurigheid als GPT-4o (de "teacher" voor de trainingslabels).

• Redeneerkwaliteit:

  • Redening Recall: Het percentage van de grondwaarheid-ziekten dat in de redenering wordt genoemd, steeg aanzienlijk na GRPO.
  • Redening Comprehensiveness: Het percentage van de voorspelde ziekten dat expliciet wordt onderbouwd met redenering, nam toe.
  • Kwalitatieve Analyse: Radiologen gaven in een menselijke evaluatie (50 verslagen) de voorkeur aan de output van SFT+GRPO in de meerderheid van de gevallen (30/50 en 18/50 door twee verschillende radiologen) vanwege betere consistentie met het verslag en de grondwaarheid.
  • Herstel van Redenering: Bij het LLaMA-model was het redeneervermogen na alleen SFT volledig verloren gegaan (catastrophic forgetting), maar GRPO slaagde erin dit gedeeltelijk te herstellen.

• Vergelijking met Alternatieven:

  • Het SFT+GRPO model presteerde over het algemeen beter in classificatie dan een model dat extra SFT kreeg op een kleine set met redeneringsdata, hoewel de laatste soms een iets sterkere redenering had.
  • Lichte LLMs met dit framework presteerden vaak beter dan gespecialiseerde medische modellen (zoals MedAlpaca) en traditionele classifiers (BioClinicalBERT), vooral in het genereren van natuurlijke taalredenering.

Significantie en Conclusie

Deze studie demonstreert dat Reinforcement Learning (GRPO) een krachtige tool is om de beperkingen van Supervised Fine-Tuning in de medische AI te overwinnen. Het stelt lichte, lokaal deploybare LLMs in staat om niet alleen nauwkeurige ziekteclassificaties te leveren, maar ook transparante en klinisch onderbouwde redeneringen te genereren, zonder dat er extra, dure datasets met menselijke redenering nodig zijn.

Dit is een belangrijke stap voorwaarts voor de klinische adoptie van AI in de radiologie, omdat het de "black box"-problematiek aanpakt en vertrouwen in algoritmische aanbevelingen vergroot. De methode biedt een schaalbare oplossing voor het verbeteren van zowel nauwkeurigheid als verklaarbaarheid in medische NLP-taken.