MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images

1. Il Problema

Nonostante i rapidi progressi dei Modelli Linguistici Multimodali (MLLM) in ambiti generali, la loro adozione in campo medico rimane limitata. Le sfide principali includono:

• Divario nel dominio: I dati biomedici differiscono fundamentalmente dalle coppie visione-linguaggio su scala web; le immagini mediche richiedono interpretazioni precise, contestualizzazione esperta e un forte ancoraggio (grounding) alla conoscenza clinica testuale.
• Allucinazioni e incertezza: I modelli generici tendono a produrre output incerti o allucinati quando applicati a compiti medici.
• Limitazioni degli approcci esistenti:
  1. Molti modelli si basano su dati distillati da modelli proprietari, che spesso mancano di un'ancoraggio preciso al dominio clinico.
  2. Le pipeline di distillazione dipendono spesso solo da output generativi senza supervisione strutturata, amplificando il rischio di allucinazioni.
  3. La maggior parte dei modelli attuali si concentra su compiti singoli o sottoinsiemi ristretti di modalità (es. solo radiologia o solo patologia), mancando di una generalizzazione cross-modale unificata.

2. Metodologia: MedMO

MedMO è un modello fondazionale open-source post-allenato, progettato specificamente per la comprensione e l'ancoraggio (grounding) delle immagini mediche. È basato sull'architettura Qwen3-VL-8B e utilizza una pipeline di post-training scalabile e modulare in quattro stadi sequenziali:

A. Raccolta Dati

Il team ha curato un corpus multimodale unificato di oltre 26 milioni di campioni provenienti da 45 dataset open-source. I dati coprono:

• Modalità di imaging: Radiografia, TAC, Risonanza Magnetica (MRI), Ultrasuoni, Patologia, Microscopia, Oftalmologia, Dermatologia e video chirurgici.
• Sistemi biologici: Cuore, cervello, polmoni, fegato, reni, occhi, tessuti, cellule, ecc.

B. Pipeline di Addestramento (4 Stadi)

1. Stage 1: SFT Medico Generale (Large-scale SFT):
   • Utilizza 18,5 milioni di coppie immagine-testo dal dataset MedTrinity.
   • Risoluzione: 768x768.
   • Obiettivo: Stabilire una conoscenza medica fondamentale e allineare globalmente immagine e testo attraverso captioning, VQA (Visual Question Answering) e task multimodali generali.
2. Stage 2: Addestramento ad Alta Risoluzione e Grounding:
   • Utilizza 3 milioni di campioni curati ad alta risoluzione (1280x1280).
   • Include dataset con annotazioni di bounding box (es. X-ray toracico, microscopia cellulare, TAC).
   • Obiettivo: Potenziare la comprensione visiva fine-granulare e introdurre capacità di localizzazione spaziale (grounding).
3. Stage 3: Instruction Tuning:
   • Utilizza 4,3 milioni di coppie istruzione-risposta.
   • Copre captioning, diagnosi, riassunto di referti e ragionamento basato su recupero.
   • Obiettivo: Allineare le risposte del modello allo stile di ragionamento medico umano e migliorare la coerenza fattuale.
4. Stage 4: Reinforcement Learning (RL) con Ricompense Verificabili:
   • Utilizza 300.000 campioni ottimizzati con GRPO (Group Relative Policy Optimization).
   • Funzione di Ricompensa Innovativa: Combina accuratezza delle etichette, conteggio dei tag, penalità per sovrapposizione soft e, crucialmente, una ricompensa basata sull'IoU (Intersection over Union) delle Bounding Box.
   • Obiettivo: Rafforzare il ragionamento spaziale, la localizzazione precisa e la capacità di seguire istruzioni complesse, riducendo le allucinazioni.

3. Contributi Chiave

• MedMO: Un potente modello VLM (Vision-Language Model) open-source post-allenato, progettato per la comprensione medica completa e il grounding.
• Dataset Unificato: Creazione di un corpus di 26M+ campioni da 45 dataset, che unisce modalità eterogenee e dati testuali biomedicali.
• Pipeline di Post-Training Scalabile: Una strategia a stadi che migliora progressivamente l'allineamento cross-modale e il ragionamento, fornendo una roadmap per modelli fondazionali medici generalisti.
• Nuovo Benchmark di Grounding: Costruzione di un dataset dedicato per la rilevazione di cellule (Cell Dataset) da immagini microscopiche open-source, con variazioni di dimensioni, forme e densità.
• Ricompensa Verificabile per il Grounding: Introduzione di una ricompensa RL basata sull'IoU delle bounding box per migliorare direttamente le prestazioni di localizzazione spaziale.

4. Risultati Sperimentali

MedMO è stato valutato su numerosi benchmark, superando i modelli open-source esistenti (come Fleming-VL-8B e Lingshu-7B) e competendo con modelli proprietari.

• VQA (Visual Question Answering):
  • MedMO-8B-Next raggiunge una media del 72.7%, superando Fleming-VL-8B (+6.6%) e Lingshu-7B (+17.6%).
  • Nuovi record su MMMU-Med (69.3%), PMC-VQA (74.1%) e MedXpertQA.
• Text QA (Ragionamento Clinico):
  • MedMO-8B-Next ottiene una media del 60.1% sui benchmark testuali, con un miglioramento del +14.4% rispetto a Fleming-VL-8B.
  • Eccellente su MedQA (83.8%) e MMLU-Med (80.2%).
• Generazione di Referti Medici:
  • Su MIMIC-CXR, MedMO-8B-Next ottiene il punteggio CIDEr più alto (143.4) e un RaTE del 57.7%, dimostrando una coerenza semantica e clinica superiore.
  • Su Med-Trinity (dataset multimodale), il CIDEr di 272.1 è oltre 3 volte superiore al miglior modello open-source concorrente.
• Grounding e Localizzazione:
  • MedMO-8B-Next raggiunge un IoU medio del 56.8% sui task di grounding medico.
  • Su Bacteria (microscopia), ottiene un IoU di 56.1 (vs 9.1 di Fleming-VL-8B), un miglioramento di +47 punti.
  • Su DeepLesion, ottiene un IoU del 40.5%, mentre i modelli baselines (incluso Fleming-VL-8B) ottengono 0.00%, evidenziando la capacità unica di MedMO di localizzare lesioni.

5. Significato e Impatto

MedMO rappresenta un passo avanti significativo verso l'IA medica affidabile e trasparente.

• Superamento delle limitazioni attuali: Dimostra che un approccio open-source, basato su dati curati e un training progressivo con ricompense verificabili, può superare i modelli proprietari e i modelli basati su distillazione.
• Capacità di Grounding: L'integrazione di task di localizzazione spaziale (bounding box) direttamente nel processo di apprendimento risolve il problema della "scatola nera" nella diagnostica per immagini, fornendo evidenze visive per le diagnosi.
• Generalizzazione Cross-Modale: A differenza di modelli specializzati in una sola modalità, MedMO unifica radiologia, patologia, oftalmologia e microscopia in un unico modello fondazionale.
• Riproducibilità: La disponibilità del codice, dei pesi del modello e della metodologia dettagliata fornisce una base solida per la futura ricerca sui MLLM medici.

In sintesi, MedMO stabilisce un nuovo stato dell'arte (SOTA) open-source per la comprensione multimodale medica, combinando ragionamento clinico avanzato con una precisa localizzazione spaziale delle anomalie.