CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning

1. Enunciato del Problema

I Large Language Models (LLM) hanno dimostrato forti capacità nel ragionamento matematico e nel senso comune monolingue, ma rimangono inaffidabili per il ragionamento medico multilingue. I modelli attuali affrontano due modalità di fallimento critiche negli ambienti clinici:

1. Imprecisione Logica: I modelli generano spesso spiegazioni fluide e apparentemente plausibili che mancano di validità clinica o contengono allucinazioni.
2. Instabilità Linguistica (Deriva): In contesti multilingue, i modelli spesso non riescono a mantenere la lingua target, ricadendo in inglese o mescolando lingue (code-switching) in modo inappropriato, il che erode l'interpretabilità e la fiducia per clinici e pazienti.

I benchmark esistenti sono prevalentemente monolingue, a forma chiusa (scelta multipla) o privi di una verifica rigorosa delle tracce di ragionamento. Esiste un divario significativo nella valutazione e nell'addestramento di modelli per il ragionamento medico aperto su lingue diverse e a risorse limitate (ad esempio, Amarico, Yoruba, Swahili).

2. Metodologia

Gli autori propongono CURE-MED, un framework di addestramento in due fasi progettato per ottimizzare congiuntamente la correttezza logica e la fedeltà linguistica. La metodologia consta di tre componenti fondamentali:

A. Costruzione del Dataset: CUREMED-BENCH

Per colmare la mancanza di dati di valutazione di alta qualità, gli autori hanno introdotto CUREMED-BENCH, un dataset di 15.774 istanze di QA medico a risposta aperta in 13 lingue (che coprono Africa, Asia ed Europa).

• Fonte: Basato su MedlinePlus (dati sanitari federali statunitensi validati clinicamente).
• Pipeline:
  1. Generazione: GPT-4o genera MCQ a risposta chiusa basati sui contenuti di MedlinePlus in ciascuna lingua target.
  2. Filtraggio: Le domande banali vengono rimosse testandole contro LLM compatti (Qwen2.5-3B/7B, LLaMA-3.1-8B). Gli elementi ambigui vengono filtrati per garantire una singola risposta verificabile.
  3. Conversione: Gli elementi rimanenti vengono convertiti in prompt a risposta aperta con catene di ragionamento esplicite ($r$) e risposte ground-truth in forma libera ($y^*$).
  4. Verifica: Parlanti nativi ed esperti medici (medici, candidati PhD) verificano la correttezza clinica, la fedeltà linguistica e l'appropriatezza culturale.

B. Framework di Addestramento: CURE-MED

Il framework impiega un approccio di Reinforcement Learning informato dal curricolo con due fasi distinte:

1. Fase 1: Fine-Tuning Supervisionato a Freddo (Cold-Start SFT)

   • Obiettivo: Stabilizzare il ragionamento multi-step prima di imporre vincoli linguistici rigorosi.
   • Tecnica: Il modello viene fine-tunato su traiettorie di ragionamento con code-switching. I passaggi intermedi di ragionamento ($r$) possono mescolare inglese (per la terminologia clinica precisa) con la lingua target, mentre la risposta finale ($y^*$) deve essere rigorosamente nella lingua target.
   • Vantaggio: Questo inizializza il modello con forti capacità di ragionamento logico senza imporre una rigidità linguistica prematura.

2. Fase 2: Reinforcement Learning con Curricolo Guidato da GRPO

   • Algoritmo: Utilizza l'Ottimizzazione della Policy Relativa di Gruppo (GRPO).
   • Progettazione del Curricolo: L'addestramento procede in base alla disponibilità di risorse linguistiche piuttosto che alla complessità del problema.
     • Livello 1 (Alte Risorse): Francese, Giapponese, Spagnolo, Vietnamita.
     • Livello 2 (Medie Risorse): Coreano, Thai, Turco, Bengalese.
     • Livello 3 (Basse Risorse): Amarico, Yoruba, Hausa, Hindi, Swahili.
   • Strategia: Il modello si addestra prima sulle lingue ad alte risorse per stabilire segnali di ricompensa stabili, quindi si espande progressivamente ai livelli di risorse medie e basse. Per prevenire l'oblio catastrofico, i dati dei livelli precedenti vengono mantenuti (rapporto di ritenzione $\alpha=0.85$).
   • Funzione di Ricompensa: Una ricompensa composita $R$ combina:
     • Correttezza ($R_{acc}$): Equivalenza semantica e clinica rispetto alla ground truth (verificata da GPT-4.1).
     • Coerenza Linguistica ($R_{lang}$): Ricompensa binaria per l'output della risposta interamente nella lingua della query.
     • Ricompensa di Formato ($R_{fmt}$): Aderenza ai tag di output strutturato (<thinking>, <step>, <answer>).

3. Contributi Chiave

1. CUREMED-BENCH: Il primo benchmark su larga scala, a risposta aperta e multilingue per il ragionamento medico, che copre 13 lingue, incluse lingue a risorse limitate sottorappresentate, con validità clinica verificata da umani.
2. Framework CURE-MED: Una pipeline di addestramento innovativa che combina SFT consapevole del code-switching (per sfruttare la conoscenza medica inglese) con GRPO informato dal curricolo (per imporre fedeltà linguistica e coerenza logica).
3. Valutazione Sistematica: Un'analisi completa del compromesso tra coerenza linguistica e accuratezza logica, dimostrando che queste metriche sono spesso disaccoppiate nei modelli baseline ma ottimizzate congiuntamente da CURE-MED.
4. Prestazioni all'Avanguardia: Il modello ottiene risultati superiori su diverse scale di parametri (da 1.5B a 32B) e dimostra una robusta generalizzazione fuori distribuzione (OOD).

4. Risultati Sperimentali

Il modello è stato valutato contro 28 baseline (LLM a scopo generale e specifici per la medicina) su 13 lingue.

• Metriche di Prestazione:
  • 7B Parametri: Ha raggiunto il 85,21% di coerenza linguistica e il 54,35% di correttezza logica.
  • 32B Parametri: Ha raggiunto il 94,96% di coerenza linguistica e il 70,04% di correttezza logica.
• Analisi Comparativa:
  • CURE-MED ha superato significativamente tutte le baseline, inclusi modelli proprietari (ad esempio, GPT-5-nano, Gemini 2.5 Pro) e modelli specializzati in medicina (ad esempio, MedAlpaca, Meditron).
  • Compromesso: Mentre le baseline spesso sacrificavano la coerenza linguistica per il ragionamento (o viceversa), CURE-MED ha spostato le prestazioni verso l'"angolo in alto a destra" del grafico coerenza-accuratezza, migliorando entrambe simultaneamente.
• Leggi di Scaling: Il framework ha mostrato uno scaling regolare; all'aumentare delle dimensioni del modello da 1.5B a 32B, sia la coerenza che l'accuratezza sono migliorate monotonicamente, mentre le baseline hanno mostrato rendimenti decrescenti o instabilità.
• Studi di Ablazione:
  • SFT con Code-Switching: Cruciale per l'inizializzazione del ragionamento; un SFT ingenuo senza code-switching ha portato a un'accuratezza inferiore.
  • Ordine del Curricolo: L'addestramento dalle lingue ad alte risorse verso quelle a basse risorse ha prodotto risultati significativamente migliori rispetto all'ordine inverso, confermando l'importanza della progettazione del curricolo per il trasferimento su lingue a risorse limitate.
• Fuori Distribuzione (OOD): CURE-MED si è generalizzato efficacemente su benchmark non visti (MMedBench, MedExpQA, MedQA), mostrando guadagni particolarmente forti nei modelli più piccoli (ad esempio, l'accuratezza del modello da 1.5B è passata da ~6% a ~24-44% su compiti OOD).

5. Significato

• IA Sanitaria Equa: Risolvendo con successo le lingue a risorse limitate (Amarico, Yoruba, Swahili), CURE-MED supera il pregiudizio centrato sull'inglese dell'IA medica attuale, abilitando un dispiegamento più equo in contesti sanitari globali diversificati.
• Affidabilità: Il framework risolve il problema del "plausibile ma errato" imponendo una verifica logica rigorosa e vincoli linguistici, rendendo i modelli più sicuri per il supporto alle decisioni cliniche.
• Insight Metodologico: Il paper dimostra che l'apprendimento curricolare basato sulle risorse linguistiche è una strategia superiore per il ragionamento multilingue rispetto all'addestramento uniforme, e che il code-switching durante il ragionamento intermedio è una strategia praticabile per colmare il divario tra conoscenza ad alte risorse e output a basse risorse.

In conclusione, CURE-MED stabilisce un nuovo standard per il ragionamento medico multilingue, dimostrando che con il curricolo e le strutture di ricompensa giusti, gli LLM possono raggiungere un ragionamento ad alta fedeltà e clinicamente accurato su un ampio spettro di lingue globali.