Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

Sintesi Tecnica: Vision-Language Pretraining Centrata sulle Malattie con Codifica Visiva Ibrida per la Tomografia Computerizzata 3D

Problematica
Il pre-addestramento visione-linguaggio (VLP) ha mostrato grande potenziale nell'IA medica sfruttando i referti radiologici come ricca supervisione testuale. Tuttavia, i metodi esistenti affrontano due limitazioni critiche quando applicati alla Tomografia Computerizzata (TC) 3D:

1. Backbone Visivi inefficienti: La maggior parte dei modelli riutilizza backbone progettati per immagini naturali 2D. Estendere i Vision Transformer (ViT) alla TC 3D tramite la patchificazione volumetrica comporta costi computazionali eccessivi e sacrifica la risoluzione spaziale, portando alla perdita di dettagli critici nelle piccole lesioni. Al contrario, le reti neurali convoluzionali (CNN) 3D catturano bene le texture locali ma mancano di compatibilità con le architetture VLM mainstream, ostacolando il trasferimento dei priori cross-modali appresi durante il pre-addestramento su larga scala.
2. Allineamento Semantico Grossolano: Gli approcci attuali si affidano a un apprendimento contrastivo immagine-testo globale, ignorando le corrispondenze fine-grained tra specifici risultati patologici e le loro descrizioni testuali. Anche i metodi di allineamento a livello di organo spesso confondono malattie distinte (ad esempio, "atelettasia", "enfisema" e "noduli polmonari") all'interno dello stesso organo sotto un'etichetta generica di "anomalia", oscurando le associazioni specifiche della malattia e compromettendo la discriminazione diagnostica.

Metodologia
Gli autori propongono CT-DiagVLM, un framework VLP su misura centrato sulla co-progettazione di rappresentazione efficiente, allineamento fine-grained e inferenza robusta. Il framework è composto da tre componenti principali:

1. Encoder Visivo Ibrido CNN–ViT:

   • Per bilanciare la cattura del dettaglio locale con l'attenzione globale, il modello sostituisce il modulo di patch embedding standard del ViT con un backbone CNN 3D (specificamente una ResNet-18 3D).
   • Utilizza un meccanismo di Multi-Scale Fusion Patch Embedding (MSF-PE). Le caratteristiche di quattro stadi CNN vengono proiettate, allineate tramite interpolazione trilineare e fuse per creare inizializzazioni di token ricche.
   • Questi embedding vengono inviati a un encoder ViT inizializzato con pesi pre-addestrati di SigLIP-2. Questo design preserva i meccanismi di attenzione globale e i priori cross-modali pur catturando efficientemente i dettagli anatomici locali multi-scala senza l'onere computazionale della diretta auto-attenzione su volumi 3D ad alta risoluzione.
   • Un decoder in stile U-Net predice le maschere degli organi, che vengono utilizzate per filtrare i token ViT e generare embedding visivi specifici per organo tramite cross-attention con query d'organo apprendibili.

2. Apprendimento Contrastivo a Livello di Malattia:

   • Andando oltre l'allineamento a livello di organo, il framework introduce un meccanismo per disgiungere le patologie co-occorrenti.
   • Token di Query Apprendibili: Per ogni organo, un set di vettori di query apprendibili rappresenta tutte le possibili condizioni (malattie specifiche + stato sano).
   • Estrazione Dinamica: Queste query eseguono la cross-attention sull'intero referto radiologico per estrarre dinamicamente le semantiche testuali specifiche per condizione, senza richiedere una decomposizione esplicita del referto.
   • Obiettivo Contrastivo: Il modello allinea le caratteristiche visive a livello di organo con questi embedding testuali specifici per malattia. Esso attira le caratteristiche visive verso gli embedding testuali della stessa malattia presente nel batch, mentre le allontana da altre condizioni. Ciò consente l'addestramento sia su etichette ground-truth che su pseudo-etichette generate da LLM.

3. Strategia di Prompt Consapevole della Diagnosi:

   • Per colmare il divario tra pre-addestramento e inferenza zero-shot, gli autori sostituiscono i prompt binari creati manualmente (ad esempio, "La TC mostra la malattia X") con frasi cliniche reali.
   • Costruzione del Prototipo: Per ogni condizione, il sistema recupera referti diversificati dal set di addestramento (guidati da etichette o pseudo-etichette) e aggrega i loro embedding specifici per condizione in un prototipo di malattia globale.
   • Inferenza: I punteggi diagnostici sono calcolati tramite la similarità del coseno tra gli embedding visivi a livello di organo e questi prototipi aggregati, garantendo la fedeltà semantica e la robustezza alle variazioni di formulazione.

Contributi Chiave

• Architettura Ibrida: Un encoder ibrido CNN-ViT che integra caratteristiche CNN 3D multi-scala in un ViT pre-addestrato, ottenendo efficienza sui volumi 3D pur mantenendo la compatibilità VLM.
• Allineamento Fine-Grained: Un meccanismo di apprendimento contrastivo a livello di malattia che utilizza token di query apprendibili per estrarre e allineare semantiche di malattie specifiche dai referti non strutturati, consentendo la disgiunzione di molteplici patologie all'interno di un singolo organo.
• Strategia di Inferenza Robusta: Una strategia di prompt consapevole della diagnosi che sfrutta il linguaggio clinico reale e i prototipi aggregati per migliorare l'affidabilità diagnostica zero-shot e ridurre il divario pre-addestramento–inferenza.

Risultati Sperimentali
Il modello è stato valutato su due benchmark pubblici di TC toracica: CT-RATE (test interno) e Rad-ChestCT (test esterno).

• Benchmark Standard: CT-DiagVLM ha raggiunto un AUC dell'84,4% su CT-RATE, superando lo stato dell'arte precedente (fVLM) del 5,1% e ViSD-Boost del 5,4%. Sul dataset esterno Rad-ChestCT, ha ottenuto un AUC del 75,4%, un miglioramento del 5,4% rispetto a fVLM.
• Scalabilità (60 Malattie): Utilizzando Qwen3-Max per generare pseudo-etichette per 60 condizioni distinte, il modello ha dimostrato una significativa scalabilità, raggiungendo un AUC dell'85,6% rispetto all'85,6% di un modello base (un guadagno del +9,8%). Sebbene la sensibilità sia leggermente diminuita a causa dei confini decisionali più conservativi e robusti al rumore, la specificità e l'AUC sono migliorate sostanzialmente.
• Task Downstream: Il modello pre-addestrato ha mostrato una forte trasferibilità nella generazione di referti radiologici, raggiungendo un F1-score del 45,5% su CT-RATE, superando i metodi esistenti.
• Studi di Ablazione: Gli esperimenti hanno confermato che ogni componente (encoder ibrido, perdita a livello di malattia e strategia di prompt) contribuisce in modo unico e sinergico. L'encoder ibrido da solo ha fornito un guadagno di AUC del +1,0%, mentre l'intero framework ha deliverato il miglioramento totale del +5,1%.

Significatività
L'articolo sostiene che la strategia di co-progettazione proposta è essenziale per tradurre il potenziale dei modelli di fondazione in un efficace VLP medico. Affrontando l'inefficienza dei backbone visivi in 3D e la confluenza semantica di malattie distinte, CT-DiagVLM dimostra che il pre-addestramento centrato sulle malattie può raggiungere prestazioni allo stato dell'arte e una forte generalizzazione. Gli autori affermano che questo lavoro fornisce una direzione promettente verso sistemi di IA medica general-purpose e clinicamente vitali, capaci di diagnosi e ragionamento accurati con la sfumatura del linguaggio clinico reale. L'approccio evidenzia l'importanza dell'allineamento semantico fine-grained e l'utilità di sfruttare gli LLM per un apprendimento scalabile e specifico per malattia in assenza di annotazioni manuali dense.