Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence

Sintesi Tecnica: Synergistic Perception-Reasoning Governance (SPRG)

Problematica
I Modelli Linguistici Multimodali Grandi (MLLM) dimostrano un potenziale significativo per il Visual Question Answering (VQA) clinico e la generazione di referti radiologici. Tuttavia, il loro dispiegamento in contesti medici ad alto rischio è ostacolato dalle "allucinazioni", specificamente dalle misinterpretazioni visive in cui i modelli generano conclusioni fluenti che contraddicono o mancano di supporto derivante dalle evidenze di imaging. Le strategie di mitigazione esistenti si affidano spesso ad addestramenti aggiuntivi, basi di conoscenza esterne o complesse verifiche post-hoc multistadio. Questi approcci aumentano i costi computazionali, la complessità della pipeline e spesso non riescono a generalizzare attraverso diversi modelli e compiti clinici. Inoltre, molti metodi attuali si basano sulla calibrazione statistica interna senza un esplicito radicamento anatomico, limitandone la robustezza.

Metodologia
Gli autori propongono lo Synergistic Perception-Reasoning Governance (SPRG), un framework olistico, privo di addestramento (training-free), progettato per mitigare le allucinazioni durante l'inferenza attraverso l'iniezione di evidenze su due lati. Il framework opera su tre componenti principali:

1. Estrazione dell'Evidenza Anatomica:
   Il sistema utilizza MedSAM (un modello Segment Anything adattato per l'imaging medico) per estrarre evidenze anatomiche verificabili. Dato un insieme di candidati bounding box, MedSAM genera maschere di segmentazione. Queste vengono elaborate in un insieme di priori di Regione di Interesse (ROI) deterministico, $\mathcal{R}$, costituito da maschere di segmentazione, bounding box e label semantiche anatomiche derivate dal contesto clinico.

2. Meccanismo di Intervento Percezione-Ragionamento:
   Il framework interviene sia nelle traiettorie visive che in quelle testuali dell'MLLM:

   • Iniezione di Evidenze sul Lato Testuale: I priori ROI vengono convertiti in descrittori di regione strutturati (label anatomiche, coordinate e dimensioni) e serializzati in token semantici discreti. Questi token vengono iniettati direttamente nel prompt testuale ($\tilde{q}$) prima che il modello generi una risposta. Ciò ancora la traiettoria del ragionamento testuale con una memoria esterna verificabile.
   • Ricalibrazione dell'Attivazione sul Lato Visivo: Il sistema calcola la densità di copertura spaziale dei token di patch visiva delle maschere ROI. Una soft-mask viene applicata alle feature visive ($\tilde{V}$) per modulare le attivazioni. Le feature corrispondenti ad aree non-ROI vengono attenuate (tramite un fattore $\beta$), mentre le feature allineate alla ROI vengono preservate o potenziate (tramite un fattore $\alpha$). Questo sopprime il rumore di fondo e il collasso strutturale fuori distribuzione, "escindendo" efficacemente le vie visive spurie.
   • Modulazione Congiunta: Entrambe le strategie possono essere applicate simultaneamente per imporre una regolarizzazione complementare.

3. Router Dinamico Consapevole del Task:
   Riconoscendo che diversi compiti clinici hanno sensibilità variabili rispetto ai vincoli visivi o testuali, gli autori introducono un router leggero a costo zero. Basandosi su una classificazione zero-shot dell'input della domanda in quattro categorie — Anatomia (CA), Misurazione (CM), Sintomo (CS) e Caratteristiche Radiologiche (CR) — il router seleziona dinamicamente l'intervento ottimale:

   • Anatomia: Ricalibrazione sul lato visivo (localizzazione spaziale).
   • Misurazione/Sintomo: Iniezione sul lato testuale (ancoraggio semantico preciso).
   • Caratteristiche Radiologiche: Strategia congiunta (ragionamento cross-modale complesso).

Contributi Chiave

1. Framework Innovativo: Introduzione di un framework training-free che mitiga le allucinazioni iniettando evidenze anatomiche verificabili su due lati, colmando il divario tra percezione visiva grezza e ragionamento clinico.
2. Meccanismo di Intervento: Sviluppo di un meccanismo che ricalibra la percezione visiva tramite la modulazione dell'attivazione guidata dalla ROI e ancora il ragionamento testuale tramite token semantici discreti derivati dalle coordinate anatomiche.
3. Routing Dinamico: Proposta di un router consapevole del task che adatta le strategie di intervento in base alla semantica del compito, bilanciando il radicamento percettivo e la fluidità linguistica.
4. Valutazione Esaustiva: Stabilimento di una rigorosa valutazione cross-modello e cross-task che coinvolge 2 task, 5 dataset e 6 MLLM (inclusi LLaVA-1.5, LLaVA-Med, Qwen3-VL e InternVL-3.5).

Risultati
Esperimenti estesi sui dataset MM-VisHal (SLAKE, VQA-RAD) e CXR-VisHal (IU-Xray, MIMIC-CXR) dimostrano l'efficacia del framework:

• Compiti a Risposta Chiusa: Il framework supera costantemente i baseline in tutti gli MLLM testati. La strategia di routing dinamico ha ottenuto i maggiori miglioramenti complessivi di accuratezza, con guadagni del +3.2% su MM-VisHal e del +2.4% su CXR-VisHal. Strategie specifiche hanno mostrato punti di forza specifici per dominio: l'iniezione sul lato testuale ha dominato l'accuratezza complessiva, i vincoli sul lato visivo eccellevano nelle domande relative all'anatomia, e la strategia congiunta ha performato meglio per le caratteristiche radiologiche.
• Compiti a Risposta Aperta: Nel task di generazione di referti su MIMIC-CXR, l'intervento sul lato visivo ha ottenuto il tasso di allucinazione più basso (punteggio CHAIR del 12.76%), riducendo significativamente le misinterpretazioni visive. L'intervento sul lato testuale ha mantenuto un'alta recall e ha migliorato la qualità narrativa (RaTEScore). La strategia congiunta ha offerto un forte equilibrio tra la soppressione delle allucinazioni e la completezza del referto.
• Studi di Ablazione: I risultati hanno confermato che i miglioramenti dipendono dal radicamento spaziale specifico delle coordinate ROI (bounding box casuali hanno degradato le prestazioni) e che la configurazione ottimale del peso visivo è $(\alpha=1.0, \beta=0.1)$.

Significatività
L'articolo sostiene che SPRG fornisce un percorso pratico, privo di addestramento, verso una generazione controllata e visivamente fondata nei flussi di lavoro clinici. Sfruttando evidenze anatomiche verificabili estratte tramite MedSAM, il metodo affronta la barriera critica degli output inconsistenti con l'evidenza, senza richiedere il riaddestramento del modello o complessi sistemi di recupero esterni. Gli autori sottolineano che il loro approccio offre una robustezza superiore rispetto ai baseline esistenti, migliorando l'accuratezza del ragionamento a risposta chiusa fino a circa il 6% e riducendo le allucinazioni a risposta aperta di circa il 35%, aumentando così l'affidabilità degli MLLM nel processo decisionale clinico ad alto rischio.