CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning

1. Probleemstelling

Grote Taalmodellen (LLMs) hebben sterke capaciteiten getoond in monolinguale wiskundige en gezondheidsverstandelijke redenering, maar blijven onbetrouwbaar voor meertalige medische redenering. Huidige modellen staan voor twee kritieke faalmodi in klinische settings:

1. Logische Onnauwkeurigheid: Modellen genereren vaak vloeiende, geloofwaardig klinkende uitleg die klinische validiteit mist of hallucinaties bevat.
2. Taalkundige Instabiliteit (Drift): In meertalige settings slagen modellen er vaak niet in de doeltaal te handhaven, en keren ze terug naar het Engels of wisselen ze ongeschikt van taal (code-switching), wat de interpreteerbaarheid en het vertrouwen bij clinici en patiënten ondermijnt.

Bestaande benchmarks zijn overwegend monolinguale, gesloten vormen (meerkeuzevragen) of missen een rigoureuze verificatie van redeneersporen. Er is een aanzienlijke kloof in het evalueren en trainen van modellen voor open-ended medische redenering in diverse, low-resource talen (bijv. Amhaars, Yoruba, Swahili).

2. Methodologie

De auteurs stellen CURE-MED voor, een tweestaps trainingsframework ontworpen om logische correctheid en taalkundige betrouwbaarheid gezamenlijk te optimaliseren. De methodologie bestaat uit drie kerncomponenten:

A. Dataset Constructie: CUREMED-BENCH

Om het gebrek aan hoogwaardige evaluatiegegevens aan te pakken, introduceerden de auteurs CUREMED-BENCH, een dataset van 15.774 open-ended medische QA-instanties over 13 talen (verspreid over Afrika, Azië en Europa).

• Bron: Gebaseerd op MedlinePlus (klinisch gevalideerde federale gezondheidsgegevens uit de VS).
• Pijplijn:
  1. Generatie: GPT-4o genereert gesloten meerkeuzevragen (MCQ's) gebaseerd op MedlinePlus-inhoud in elke doeltaal.
  2. Filtering: Triviale vragen worden verwijderd door ze te testen tegen compacte LLM's (Qwen2.5-3B/7B, LLaMA-3.1-8B). Ambigue items worden gefilterd om een enkel verifieerbaar antwoord te garanderen.
  3. Conversie: Overgebleven items worden omgezet naar open-ended prompts met expliciete redeneerketens ($r$) en vrije vorm grondwaarheid-antwoorden ($y^*$).
  4. Verificatie: Moedertaalsprekers en medische experts (artsen, promovendi) verifiëren de klinische correctheid, taalkundige betrouwbaarheid en culturele geschiktheid.

B. Trainingsframework: CURE-MED

Het framework maakt gebruik van een Curriculum-Informed Reinforcement Learning-benadering met twee distincte fasen:

1. Fase 1: Cold-Start Supervised Fine-Tuning (SFT)

   • Doel: Meestapsgewijze redenering stabiliseren voordat strikte taalbeperkingen worden afgedwongen.
   • Techniek: Het model wordt gefinetuned op code-switching redeneertrajecten. Intermediare redeneerstappen ($r$) mogen Engels (voor precieze medische terminologie) mengen met de doeltaal, terwijl het uiteindelijke antwoord ($y^*$) strikt in de doeltaal moet zijn.
   • Voordeel: Dit initialiseert het model met sterke logische redeneercapaciteiten zonder voortijdige taalmoeilijkheid af te dwingen.

2. Fase 2: GRPO-Guided Curriculum Reinforcement Learning

   • Algoritme: Gebruikt Group Relative Policy Optimization (GRPO).
   • Curriculum Ontwerp: Training verloopt op basis van beschikbaarheid van taalbronnen in plaats van probleemcomplexiteit.
     • Tier 1 (High-Resource): Frans, Japans, Spaans, Vietnamees.
     • Tier 2 (Medium-Resource): Koreaans, Thais, Turks, Bengaals.
     • Tier 3 (Low-Resource): Amhaars, Yoruba, Hausa, Hindi, Swahili.
   • Strategie: Het model traint eerst op high-resource talen om stabiele beloningssignalen te vestigen, en breidt vervolgens progressief uit naar medium- en low-resource tiers. Om catastrofaal vergeten te voorkomen, worden data van vorige tiers behouden (retentie ratio $\alpha=0.85$).
   • Beloningsfunctie: Een samengestelde beloning $R$ combineert:
     • Correctheid ($R_{acc}$): Semantische en klinische equivalentie met de grondwaarheid (verifieerd door GPT-4.1).
     • Taalkundige Consistentie ($R_{lang}$): Binair beloning voor het volledig in de query-taal uitvoeren van het antwoord.
     • Formaat Beloning ($R_{fmt}$): Toewijding aan gestructureerde output-tags (<thinking>, <step>, <answer>).

3. Belangrijkste Bijdragen

1. CUREMED-BENCH: De eerste grootschalige, open-ended meertalige medische redenering benchmark die 13 talen beslaat, inclusief ondervertegenwoordigde low-resource talen, met menselijk verifieerde klinische validiteit.
2. CURE-MED Framework: Een nieuw trainingsproces dat code-switching-bewuste SFT combineert (om medische kennis in het Engels te benutten) met curriculum-informed GRPO (om taalkundige betrouwbaarheid en logische consistentie af te dwingen).
3. Systematische Evaluatie: Een uitgebreide analyse van de trade-off tussen taalkundige consistentie en logische nauwkeurigheid, die aantoont dat deze metrieken vaak ontkoppeld zijn in baseline-modellen, maar gezamenlijk worden geoptimaliseerd door CURE-MED.
4. State-of-the-Art Prestaties: Het model bereikt superieure resultaten over verschillende parametergroottes (1,5B tot 32B) en toont robuuste out-of-distribution (OOD) generalisatie.

4. Experimentele Resultaten

Het model werd geëvalueerd tegen 28 baselines (algemene en medische LLM's) over 13 talen.

• Prestatiemetrieken:
  • 7B Parameters: Bereikte 85,21% taalkundige consistentie en 54,35% logische correctheid.
  • 32B Parameters: Bereikte 94,96% taalkundige consistentie en 70,04% logische correctheid.
• Comparatieve Analyse:
  • CURE-MED presteerde significant beter dan alle baselines, inclusief propriëtaire modellen (bijv. GPT-5-nano, Gemini 2.5 Pro) en medisch gespecialiseerde modellen (bijv. MedAlpaca, Meditron).
  • Trade-off: Waar baselines vaak taalkundige consistentie opofferen voor redenering (of vice versa), verschuift CURE-MED de prestaties naar de "rechts-boven" van de consistentie-nauwkeurigheid-grafiek, waardoor beide tegelijkertijd verbeteren.
• Scaling Laws: Het framework toonde soepele schaling; naarmate de modelgrootte toenam van 1,5B tot 32B, verbeterden zowel consistentie als nauwkeurigheid monotoon, terwijl baselines afnemende meeropbrengsten of instabiliteit vertoonden.
• Ablatie Studies:
  • Code-Switching SFT: Cruciaal voor het initialiseren van redenering; naïeve SFT zonder code-switching leidde tot lagere nauwkeurigheid.
  • Curriculum Volgorde: Training van High $\to$ Low resource talen leverde aanzienlijk betere resultaten op dan de omgekeerde volgorde, wat het belang van curriculumontwerp voor low-resource transfer bevestigt.
• Out-of-Distribution (OOD): CURE-MED generaliseerde effectief naar onbekende benchmarks (MMedBench, MedExpQA, MedQA), met name sterke winsten tonend in kleinere modellen (bijv. 1,5B model nauwkeurigheid sprong van ~6% naar ~24-44% op OOD-taken).

5. Betekenis

• Equitabele Gezondheidszorg AI: Door succesvol low-resource talen (Amhaars, Yoruba, Swahili) aan te pakken, gaat CURE-MED voorbij de Engels-centrische bias van huidige medische AI, waardoor een eerlijkere inzet mogelijk wordt in diverse wereldwijde gezondheidszorgsettings.
• Betrouwbaarheid: Het framework lost het "plausibel maar fout"-probleem op door strikte logische verificatie en taalbeperkingen af te dwingen, waardoor de modellen veiliger worden voor klinische besluitvorming.
• Methodologische Inzicht: Het paper toont aan dat curriculum learning gebaseerd op taalbronnen een superieure strategie is voor meertalige redenering in vergelijking met uniforme training, en dat code-switching tijdens intermediaire redenering een haalbare strategie is om de kloof te overbruggen tussen high-resource kennis en low-resource output.

Kortom, CURE-MED stelt een nieuwe standaard voor meertalige medische redenering, bewijzend dat met het juiste curriculum en beloningsstructuren LLM's hoge-fideliteit, klinisch accurate redenering kunnen bereiken over een breed spectrum aan wereldwijde talen.