MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

Il paper presenta MammoWise, un pipeline locale multi-modello basato su VLM open source e RAG che trasforma le immagini di mammografia in report strutturati e classifiche BI-RADS, dimostrando come il fine-tuning efficiente e il prompting avanzato migliorino significativamente l'accuratezza e la qualità della generazione dei referti radiologici.

L'essenziale

🩺 MammoWise: Il "Copilota Intelligente" per le Radiologie

Immagina che fare una mammografia sia come dover scrivere un rapporto dettagliato su un paesaggio complesso dopo aver guardato una foto. Il radiologo (il medico esperto) deve guardare l'immagine, trovare piccoli dettagli nascosti (come un granello di sabbia in una spiaggia bianca), e poi scrivere un rapporto medico preciso, usando un linguaggio standardizzato (BI-RADS) e descrivendo la densità del tessuto.

Fino a poco tempo fa, questo lavoro era tutto manuale, lento e soggetto a errori umani o stanchezza. I computer potevano guardare le foto, ma non sapevano "parlare" come un medico, oppure erano sistemi segreti, costosi e ospitati nel "cloud" (su server lontani), il che sollevava problemi di privacy per i dati dei pazienti.

MammoWise è la soluzione proposta dagli autori: un sistema locale (che gira sul computer dell'ospedale, non su internet), aperto e intelligente che aiuta il medico a scrivere questi rapporti.

Ecco come funziona, spiegato con delle metafore:

1. Il Motore: "Il Medico in Apprendistato" (I Modelli VLM)

Immagina di avere tre diversi studenti di medicina molto intelligenti (i modelli AI: MedGemma, LLaVA-Med, Qwen2.5-VL).

• Senza aiuto: Se chiedi a uno di questi studenti di guardare una foto e scrivere un rapporto, potrebbe fare confusione o inventare cose (allucinazioni), perché non ha mai visto abbastanza casi simili.
• MammoWise prende questi studenti e li mette in una stanza sicura (il computer locale) dove possono lavorare senza inviare i dati dei pazienti fuori dall'ospedale.

2. La Tecnica del "Prompting": "Le Istruzioni del Capo"

Prima di far lavorare lo studente, gli dai delle istruzioni precise.

• Zero-shot: "Guarda la foto e scrivi cosa vedi." (Funziona, ma non è perfetto).
• Few-shot: "Guarda la foto. Ecco 5 esempi di come un bravo medico ha scritto il rapporto in passato. Ora tu fai lo stesso." (Migliora molto il risultato).
• Chain-of-Thought (CoT): "Non saltare subito alla conclusione. Prima pensa alla densità, poi cerca le masse, poi le calcificazioni, e solo alla fine scrivi il giudizio." (Obbliga il computer a ragionare passo dopo passo, come un umano).

3. Il Segreto: RAG (La "Biblioteca di Casi Simili")

Questa è la parte più magica. Immagina che lo studente, mentre guarda la nuova foto, abbia accesso a una biblioteca virtuale piena di migliaia di vecchie mammografie con i relativi rapporti scritti dai migliori radiologi.

• Come funziona: Quando arriva una nuova paziente, il sistema cerca nella biblioteca le 5 foto più simili a quella della paziente.
• Il risultato: Lo studente dice: "Ok, questa paziente assomiglia molto a quella del 2022. Ho visto come il medico ha descritto quel caso, quindi userò quel linguaggio e quel ragionamento per questa nuova foto".
• Vantaggio: Questo riduce gli errori e rende il linguaggio più coerente, come se lo studente avesse un "tutor" che gli sussurra consigli basati su casi reali.

4. L'Addestramento Speciale: "Il Corso Intensivo" (Fine-Tuning)

A volte, anche con le istruzioni e la biblioteca, lo studente non è abbastanza preciso per le diagnosi critiche (come dire se c'è un tumore o meno).

• Qui entra in gioco il QLoRA (una tecnica di addestramento efficiente).
• Immagina di prendere lo studente migliore (MedGemma) e fargli fare un corso intensivo specifico solo su mammografie, usando un metodo che non richiede un supercomputer enorme.
• Dopo questo corso, lo studente non cambia completamente la sua personalità, ma impara a riconoscere i pattern specifici delle mammografie con una precisione da "esperto senior".

📊 Cosa hanno scoperto? (I Risultati)

Gli autori hanno fatto degli esperimenti su due grandi banche dati di immagini:

1. Per scrivere il rapporto: L'AI è già molto brava a scrivere testi che sembrano scritti da umani, specialmente se usi le istruzioni giuste (Few-shot) e la "biblioteca" (RAG).
2. Per fare la diagnosi (classificare): Qui è più difficile. Se ti affidi solo alle istruzioni, l'AI può sbagliare. Ma se la fai "studiare" (Fine-Tuning), la sua precisione schizza alle stelle.
   • Ad esempio, la capacità di identificare la densità del seno è migliorata dal 74% al 88%.
   • La capacità di trovare calcificazioni (piccoli punti bianchi sospetti) è passata dal 66% al 93%.

🏁 Perché è importante?

MammoWise è come un cassetto degli attrezzi universale per gli ospedali.

• Privacy: Tutto rimane in casa (sul computer locale), niente dati inviati a Google o Amazon.
• Flessibilità: Puoi cambiare il "motore" (il modello AI) se ne esce uno migliore, senza dover riscrivere tutto il software.
• Affidabilità: Dimostra che non serve un supercomputer costoso per avere un'AI medica di alto livello; basta un approccio intelligente che combina istruzioni, esempi reali e un po' di addestramento mirato.

In sintesi: MammoWise trasforma un computer generico in un assistente radiologico esperto, capace di scrivere rapporti chiari e aiutare i medici a prendere decisioni più sicure, tutto rispettando la privacy dei pazienti.

Sommario tecnico

1. Il Problema

La mammografia di screening è un processo ad alto volume, sensibile al tempo e ricco di documentazione. I radiologi devono tradurre reperti visivi sottili in valutazioni BI-RADS coerenti, categorie di densità del seno e rapporti narrativi strutturati. Sebbene i recenti Modelli Linguistici-Visionali (VLM) rendano plausibile la generazione di rapporti da immagine a testo, esistono due ostacoli principali:

1. Dipendenza da sistemi chiusi: Le dimostrazioni più efficaci spesso utilizzano modelli ospitati nel cloud, sollevando preoccupazioni regarding privacy (trasmissione di dati sanitari protetti), costi e riproducibilità.
2. Limiti dei modelli open-source "out-of-the-box": I VLM open-source eseguiti localmente non sono specializzati per la mammografia e tendono a produrre dettagli clinicamente implausibili o allucinazioni se non guidati attentamente. Le soluzioni esistenti sono spesso architetture monolitiche specifiche per un compito, difficili da adattare o confrontare.

2. Metodologia: MammoWise

Il paper introduce MammoWise, una pipeline locale, multi-modello e modulare progettata per trasformare VLM open-source in generatori di rapporti mammografici e classificatori multi-task.

Componenti Chiave della Pipeline:

• Supporto Multi-Modello: Accetta qualsiasi VLM ospitato tramite Ollama. Gli autori hanno testato tre modelli: MedGemma (4B parametri, specializzato in medicina), LLaVA-Med (7B, addestrato su dati biomedici) e Qwen2.5-VL (7B, generico ma potente).
• Dataset: Utilizzo di due dataset mammografici:
  • VinDr-Mammo: 20.000 immagini da 5.000 pazienti (Vietnam), con 4 viste per paziente (CC e MLO destre/sinistre).
  • DMID: 510 immagini (India) con rapporti testuali associati.
• Preprocessing: Le 4 viste per paziente vengono fuse in un'unica immagine composita (layout simmetrico) per imitare l'ispezione radiologica standard. I rapporti vengono strutturati in JSON.
• Strategie di Adattamento:
  1. Prompting: Zero-shot, Few-shot (con 5 esempi) e Chain-of-Thought (CoT) per guidare il ragionamento passo-passo.
  2. RAG (Retrieval-Augmented Generation): Un modulo opzionale che recupera esempi "immagine-testo" pertinenti da un database vettoriale (ChromaDB) basato su embedding multimodali (OpenCLIP) per fornire contesto specifico al caso.
  3. Fine-Tuning (PEFT): Utilizzo di QLoRA (Quantized Low-Rank Adaptation) per adattare efficientemente il modello MedGemma su VinDr-Mammo. È stata applicata una ricampionamento delle classi (downsampling delle classi maggioritarie e augmentation delle minoritarie) per bilanciare il dataset di addestramento (2.200 immagini).

Configurazione Sperimentale

• Esecuzione locale con temperatura impostata a 0 per garantire output deterministici.
• Valutazione su due assi: Generazione del testo (similitudine semantica) e Classificazione strutturata (BI-RADS, densità, presenza di masse, calcificazioni, asimmetrie).

3. Risultati Chiave

Generazione di Rapporti (Qualità del Testo)

• La generazione di rapporti è robusta anche solo con il prompting.
• L'aggiunta del RAG migliora generalmente la similitudine narrativa (BERTScore e ROUGE-L), aiutando il modello ad ancorare meglio la terminologia clinica. Tuttavia, su dataset con rapporti molto brevi e già ben allineati (come DMID), il RAG può talvolta introdurre rumore semantico o distrazioni, riducendo le metriche di sovrapposizione lessicale.

Classificazione Strutturata (Precisione)

• Solo Prompting: Le prestazioni di classificazione sono altamente variabili e sensibili alla combinazione (modello, dataset, prompt). Senza addestramento, l'accuratezza per compiti complessi come BI-RADS è bassa (es. ~0.29 su VinDr-Mammo).
• RAG: Offre miglioramenti incrementali rispetto al prompting puro, stabilizzando leggermente le prestazioni, ma non risolve completamente il problema della classificazione affidabile.
• Fine-Tuning (QLoRA): Ha prodotto i miglioramenti più significativi. Adattando MedGemma con QLoRA:
  • Accuratezza BI-RADS: È salita da ~0.25 (prompting) a 0.7545 (single-task QLoRA).
  • Accuratezza Densità: È salita a 0.8840.
  • Accuratezza Calcificazioni: È salita a 0.9341.
  • Accuratezza Masse: È salita a 0.8740.
  • Il fine-tuning ha mantenuto anche la qualità della generazione del rapporto narrativo.

Confronto con lo Stato dell'Arte (SOTA)

Il modello fine-tunato di MammoWise supera o eguaglia le prestazioni riportate in letteratura per compiti specifici (es. supera PubMedCLIP su BI-RADS e LLaVA-Mammo sulla densità), dimostrando che un approccio locale e adattabile può competere con modelli specializzati complessi.

4. Contributi Principali

1. Pipeline Multi-Modello Locale: MammoWise offre un'infrastruttura unificata e riproducibile per testare VLM open-source, superando la frammentazione delle soluzioni esistenti.
2. Workflow RAG Multimodale: Implementazione di un sistema di recupero contestuale specifico per casi clinici utilizzando un database vettoriale di coppie immagine-testo.
3. Analisi Comparativa Sistematica: Confronto diretto tra prompting, RAG e fine-tuning (QLoRA) su metriche di generazione e classificazione, fornendo evidenze empiriche sui trade-off.
4. Dimostrazione dell'Efficacia del PEFT: Prove concrete che il fine-tuning efficiente dei parametri è necessario per ottenere classificazione affidabile in ambito medico, mentre il prompting è sufficiente per la stesura di bozze di rapporti.

5. Significato e Implicazioni

Il lavoro di MammoWise segna un passo importante verso l'adozione clinica dell'IA in mammografia, offrendo una soluzione privacy-preserving (esecuzione locale) ed economica.

• Divisione del Lavoro Pratica: Il paper suggerisce una strategia ibrida: utilizzare il prompting e il RAG per la stesura iniziale di rapporti clinici strutturati (dove la creatività e la coerenza linguistica sono importanti), ma affidarsi al fine-tuning leggero (QLoRA) quando è richiesta un'accuratezza diagnostica e di classificazione affidabile (es. assegnazione BI-RADS).
• Accessibilità: Fornisce un "scaffold" (impalcatura) per ricercatori e clinici per sperimentare con modelli locali senza dipendere da API cloud costose o proprietarie.
• Limitazioni: Lo studio si basa su due dataset (possibile shift di dominio) e non ha esplorato architetture ibride o dati longitudinali. Inoltre, le metriche di fine-tuning sono state valutate su distribuzioni bilanciate, il che potrebbe non riflettere perfettamente la calibrazione in scenari di screening reali con prevalenza di malattie diversa.

In sintesi, MammoWise dimostra che è possibile costruire un sistema di supporto alla decisione radiologica robusto, privato e adattabile combinando modelli open-source, tecniche di recupero contestuale e adattamento efficiente dei parametri.