Frequency-Domain Dual-Branch Fusion for Medical Visual Question Answering

Sintesi Tecnica: Fusione a Doppio Ramo nel Dominio della Frequenza per il Medical Visual Question Answering

Definizione del Problema
Il Medical Visual Question Answering (Med-VQA) richiede che i modelli rispondano a quesiti clinici radicandoli in prove visive dettagliate derivanti da immagini mediche. A differenza del VQA generale, che spesso si basa sul riconoscimento di oggetti, il Med-VQA richiede l'interpretazione di strutture anatomiche sottili, confini delle lesioni, texture tissutali e cambiamenti patologici diffusi. Gli attuali approcci allo stato dell'arte si affidano principalmente a meccanismi di cross-attention spaziale per fondere le rappresentazioni visive e testuali. Tuttavia, gli autori sostengono che questi metodi spesso intreccino i pattern strutturali globali con la texture fine all'interno della stessa rappresentazione, rischiando potenzialmente di non distinguere le sottili anomalie di texture critiche per il processo decisionale clinico. Inoltre, la cross-attention spaziale comporta costi computazionali quadratici all'aumentare delle sequenze di token.

Metodologia
Il documento propone un Framework di Fusione a Doppio Ramo nel Dominio della Frequenza che trasforma le caratteristiche visive e testuali nel dominio della frequenza per eseguire un filtraggio spettrale guidato dalla domanda e un'interazione cross-modale prima di ricostruire rappresentazioni spaziali potenziate. L'architettura si compone di quattro fasi principali:

1. Estrazione delle Caratteristiche:

   • Visiva: Un encoder di visione BiomedCLIP congelato estrae caratteristiche a livello di patch in due profondità: un blocco intermedio precoce ($T_e$) che conserva informazioni su texture locale e bordi, e un blocco finale ($T_s$) che trasporta semantica contestualizzata globalmente.
   • Testuale: Un encoder BioBART produce rappresentazioni contestuali della domanda ($H_q$).
   • Allineamento del Pretraining: Prima del training congiunto, le proiezioni visive precoci e tardive vengono allineate con la rappresentazione della domanda utilizzando un obiettivo InfoNCE simmetrico, per garantire che entrino nel modulo di fusione nello stesso spazio semantico.

2. Fusione nel Dominio della Frequenza a Doppio Ramo (FSRU):

   • Trasformata Spettrale: I token visivi precoci sono rimodellati in una griglia 2D e processati tramite una 2D Real FFT, mentre la sequenza della domanda subisce una 1D Real FFT.
   • Compressione dello Spettro Unimodale: Ogni ramo è filtrato da una banca di filtri complessi apprendibili. I pesi di miscelazione sono derivati dallo spettro di magnitudo aggregato, permettendo al filtro efficace di adattarsi per ogni campione.
   • Enfatizzazione e Soppressione Cross-Modale: Un meccanismo di gating modula lo spettro di un ramo basandosi sull'altro. Lo spettro della domanda genera un gate per filtrare lo spettro dell'immagine, e viceversa. Questi gate sono limitati (tra 0.1 e 0.9) per consentire un'attenuazione forte senza scartare completamente il contenuto in frequenza.
   • Trasformata Inversa e Fusione: Gli spettri filtrati vengono mappati nuovamente nel dominio spaziale tramite trasformate FFT inverse e combinati con i loro input pre-trasformata tramite connessioni residue.

3. Integrazione Multimodale Gated:

   • Gli stream potenziati in frequenza vengono fusi additivamente con lo stream visivo a semantica tardiva originale e con lo stream testuale originale tramite gate scalari apprendibili. Ciò assicura che il contributo spettrale non sia né trascurabile né dominante.
   • Embedding del tipo di sorgente vengono aggiunti per distinguere i token visivi da quelli testuali prima della concatenazione.

4. Generazione della Risposta:

   • La rappresentazione fusa viene inviata a un decoder BioBART per la generazione autoregressiva della risposta.
   • Una testa di classificazione ausiliaria predice il tipo di risposta grossolano (yes/no, open, other) per regolarizzare l'encoder.
   • La funzione di perdita totale combina la perdita di generazione, la perdita di classificazione del tipo di risposta, la perdita di allineamento contrastivo e un termine di diversità per prevenire il collasso rappresentazionale.

Contributi Chiave

1. Fusione nel Dominio della Frequenza a Doppio Ramo: Gli autori introducono un modulo che esegue il filtraggio spettrale e il gating cross-modale condizionato dal quesito in input, consentendo una selezione adattiva della struttura a bassa frequenza globale e del dettaglio ad alta frequenza fine.
2. Rappresentazione Visiva a Doppia Profondità: La strategia combina caratteristiche sensibili alla texture precoce con caratteristiche semantiche tardive da un encoder BiomedCLIP congelato, allineandole con le rappresentazioni della domanda tramite pretraining contrastivo.
3. Validazione Empirica: Il framework è pre-addestrato su PMC-VQA e perfezionato (fine-tuned) sui benchmark VQA-RAD e SLAKE, dimostrando che la fusione consapevole della frequenza migliora le prestazioni rispetto a una baseline non basata sulla frequenza.

Risultati
Il modello è stato valutato sui benchmark VQA-RAD e SLAKE utilizzando le metriche Exact Match (EM) e Token F1.

• Prestazioni: Il modello proposto ha raggiunto un EM complessivo del 40.21% su VQA-RAD e del 69.21% su SLAKE.
• Confronto: Gli autori osservano che, sebbene il modello dimostri prestazioni competitive, non supera i metodi attuali allo stato dell'arte (come M3AE, M2I2, MUMC e PeFoMed), che beneficiano di strategie di pretraining multimodale più forti e architetture specializzate.
• Studio di Ablazione: Rimuovere il modulo FSRU ha causato un calo delle prestazioni (ad esempio, l'EM su VQA-RAD è sceso dal 40.21% al 36.66%), confermando il contributo positivo del modulo alla fusione delle caratteristiche.
• Analisi Qualitativa: Le visualizzazioni t-SNE hanno mostrato che gli embedding sono diventati più compatti e separabili dopo la fusione nel dominio della frequenza. Gli studi di caso hanno indicato che il modello identifica correttamente strutture anatomiche e anomalie trascurate dalla versione ablativa, particolarmente per domande aperte e sensibili alla texture.
• Limitazioni: Gli autori riconoscono che FSRU non è uniformemente benefico. In alcuni casi, specialmente con domande sulla presenza di organi a risposta chiusa o fette CT con molti organi densi, il meccanismo di gating ha occasionalmente degradato le predizioni enfatizzando eccessivamente contenuti ad alta frequenza contrastanti, portando a risposte binarie errate o span multi-token malformati.

Significatività e Claim
Il paper sostiene che la fusione multimodale nel dominio della frequenza sia una direzione promettente per il VQA medico generativo. La principale significatività risiede nel dimostrare che trasformare le rappresentazioni nel dominio della frequenza permette di disaccoppiare la struttura globale dalla texture fine, consentendo un filtraggio adattivo condizionato dalla domanda. Gli autori pongono il loro lavoro non come un sostituto dei sistemi esistenti allo stato dell'arte, ma come una base pratica per valutare l'efficacia della fusione di caratteristiche spettrali. Concludono che, sebbene l'attuale architettura leggera produca miglioramenti rispetto a una baseline non basata sulla frequenza, è necessario un lavoro futuro che coinvolga backbone vision-language più grandi e un pretraining medico più esteso per realizzare appieno il potenziale di questo approccio e mitigare i specifici modi di fallimento in contesti visivi densi.