Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation

1. Il Problema: Allucinazioni Visive nei Modelli Medici (Med-VLM)

La generazione automatica di referti radiologici (RRG) è fondamentale per automatizzare i flussi di lavoro sanitari. Nonostante i progressi dei grandi modelli Vision-Language Medici (Med-VLM), questi sistemi soffrono di un problema critico: le allucinazioni visive.

• Fenomeno: I modelli generano referti clinicamente plausibili ma non supportati dall'immagine di input (es. diagnosticare una patologia assente o ignorare una presenza reale).
• Cause: I modelli tendono a basarsi su pattern appresi durante il pre-addestramento su corpora testuali pesanti, piuttosto che eseguire un ragionamento cross-modale genuino.
• Limiti degli approcci esistenti:
  • Dati di preferenza: I metodi basati sull'ottimizzazione della preferenza (es. DPO) richiedono la curazione costosa di coppie di dati preferenziali, spesso prive di contesto clinico e che non verificano l'allineamento con l'immagine.
  • Approcci Retrieval-Augmented (RAG): Recuperano referti simili da database, ma rischiano di introdurre allucinazioni se i referti recuperati descrivono immagini di altri pazienti non coerenti con l'input attuale.
  • Mancanza di allineamento diretto: Nessuno di questi metodi garantisce un allineamento diretto tra il testo generato e il contenuto visivo specifico dell'immagine, senza dipendere da dati esterni o annotazioni aggiuntive.

2. Metodologia: Il Framework VALOR

Il paper propone VALOR (Visual Alignment of Medical Vision-Language Models for GrOunded Radiology Report Generation), un framework di allineamento multimodale che risolve il problema in due fasi complementari, senza richiedere dati di preferenza curati o database di retrieval.

Fase 1: Riscaldamento e Ragionamento Testuale Clinico (Instruction-Following Warmup)

• Fine-Tuning Supervisionato (SFT): Il modello base viene inizialmente addestrato su dati curati per imparare a seguire le istruzioni e rispettare la struttura del referto (sezioni "Findings" e "Impression").
• Ricompense Testuali Verificabili: Durante l'ottimizzazione, il modello riceve ricompense basate su metriche di generazione del linguaggio naturale (BLEU, ROUGE, BERTScore) per garantire coerenza semantica.
• Ricompense Cliniche Periodiche: Per evitare instabilità, vengono iniettate ricompense cliniche (basate su F1-score di entità mediche estratte da CheXbert e RadGraph) solo a intervalli regolari ($k_{clin}$). Questo guida il modello verso l'uso di terminologia medica precisa senza dominare il processo di apprendimento.

Fase 2: Ragionamento Visivo Auto-Supervisionato (Self-Supervised Visual Reasoning)

Questa è l'innovazione centrale di VALOR per l'allineamento visivo:

• Esperto di Dominio Congelato: Viene utilizzato un modello esperto di dominio (frozen) per estrarre feature visive dall'immagine X-ray e feature testuali dai candidati referti generati.
• Calcolo della Similarità: Si calcola la similarità (cosine similarity) tra l'immagine e ogni candidato referto.
• Vantaggi Normalizzati per Ranking: Le similarità vengono convertite in ricompense visive normalizzate per il ranking ($r^{vis}_i$). Il candidato più coerente con l'immagine riceve il punteggio più alto.
• Ottimizzazione della Policy: Il modello viene ottimizzato utilizzando vantaggi (advantages) derivati da una combinazione di ricompense testuali e visive. Questo spinge la policy a generare report che non solo sono grammaticalmente corretti, ma sono anche visivamente radicati (grounded) nell'immagine di input.

3. Contributi Chiave

1. Framework VALOR: Un nuovo approccio che riduce le allucinazioni visive attraverso due stadi di ragionamento (testuale e visivo) senza dipendere da dataset di preferenza esterni o retrieval.
2. Ricompense Ibride: Introduzione di ricompense testuali cliniche per la terminologia precisa e vantaggi normalizzati per il ranking basati sulla similarità immagine-testo, ottenuti da un esperto congelato. Questo permette l'allineamento visivo puramente auto-supervisionato.
3. Valutazione Completa: Una valutazione estesa su benchmark reali (IU-XRay e MIMIC-CXR) che misura congiuntamente la qualità della generazione e l'accuratezza clinica, un aspetto spesso trascurato nei lavori precedenti.

4. Risultati Sperimentali

VALOR è stato testato su due dataset principali e confrontato con lo stato dell'arte (SOTA), inclusi modelli proprietari (GPT-4o, MedFlamingo) e metodi di allineamento esistenti (MMedPO, DPO).

• Qualità di Generazione: VALOR supera significativamente i baselines. Su IU-XRay, ottiene un punteggio BLEU di 27.03 (contro 23.57 di MMedPO) e un ROUGE-L di 33.10.
• Accuratezza Clinica: Il modello mostra miglioramenti sostanziali nelle metriche cliniche. Su IU-XRay, il punteggio F1 sale al 57.2% (un miglioramento di oltre il 10% rispetto a MMedPO che si ferma al 49.8%). Anche le metriche GREEN e RaTEScore mostrano guadagni superiori al 15%.
• Confronto con Modelli Proprietari: In setting zero-shot, VALOR supera i modelli multimodali commerciali (GPT-4o, Gemini) e i modelli medici SOTA (MAIRA-2, HuatuoGPT) in termini di qualità del referto, dimostrando una migliore conoscenza anatomica e visiva nonostante un corpus di pre-addestramento potenzialmente più piccolo.
• Analisi Visiva: Le mappe di attenzione mostrano che VALOR si concentra correttamente sulle regioni patologiche (es. polmoni, aree di opacità), mentre i modelli baseline tendono a ignorare queste aree o a focalizzarsi su regioni irrilevanti, portando a diagnosi errate.

5. Significato e Impatto

Il lavoro di VALOR rappresenta un passo avanti significativo verso sistemi di IA clinica affidabili.

• Affidabilità Clinica: Dimostra che è possibile ridurre le allucinazioni e migliorare l'accuratezza diagnostica senza la necessità di costosi dataset di preferenze curati manualmente o infrastrutture di retrieval complesse.
• Allineamento Intrinseco: Sposta il focus dal "sapere" (memoria testuale) al "vedere" (ragionamento visivo), costringendo il modello a giustificare ogni affermazione clinica con l'evidenza visiva presente nell'immagine.
• Scalabilità: L'approccio auto-supervisionato rende il metodo scalabile e applicabile a diversi domini medici senza la necessità di annotazioni aggiuntive specifiche per task.

In sintesi, VALOR offre una soluzione pratica per allineare i modelli linguistici medici alla realtà visiva, migliorando la sicurezza e l'utilità dei referti radiologici generati automaticamente.