The Learnability Gap in Medical Latent Diffusion

Sintesi Tecnica: Il Divario di Apprendibilità negli Spazi Latenti Mediali per la Diffusione

Enunciato del Problema
L'aumento dei dati generativi mediante Modelli di Diffusione Latente (LDM) è proposto come soluzione per lo squilibrio di classe nell'imaging medico, in particolare per distribuzioni a coda lunga in cui condizioni rare ma critiche sono sottorappresentate. Tuttavia, gli approcci attuali danno priorità alla fedeltà percettiva (ad esempio, punteggi FID) e al fine-tuning di autoencoder specifici del dominio, operando sotto l'assunzione che lo spazio latente funga da intermediario neutrale. Questo lavoro identifica un collo di bottiglia fondamentale: mentre gli autoencoder preaddestrati su larga scala codificano fedelmente le caratteristiche discriminative (evidenziato da ricostruzioni quasi senza perdita), le loro rappresentazioni latenti sono strutturate in modi difficili da apprendere per i classificatori a valle. Questa discrepanza, definita divario di apprendibilità, suggerisce che i dati sintetici generati da questi latenti possano mancare dei marcatori patologici specifici richiesti per una classificazione efficace, in particolare per le classi a coda.

Metodologia
Gli autori conducono uno studio sistematico su cinque famiglie di autoencoder (Stable Diffusion 1.4, Flux.1 dev, Flux.2 dev, MedVAE e MedVAE fine-tuned) e quattro benchmark medici (MIMIC-CXR, ISIC 2019, CT-RATE e Cardium). Per isolare la causa del degrado delle prestazioni, definiscono tre spazi di valutazione:

1. Spazio Immagine: Classificatori addestrati su immagini originali.
2. Spazio Ricostruzione: Classificatori addestrati su immagini decodificate ($\tilde{x}_{img} = G(E(x_{img}))$).
3. Spazio Latente: Classificatori addestrati direttamente su codici latenti ($x = E(x_{img})$).

Se i classificatori nello spazio latente sottoperformano rispetto a quelli nello spazio di ricostruzione (che corrispondono alle prestazioni nello spazio immagine), il deficit è attribuito alla struttura dello spazio latente piuttosto che alla perdita di informazioni.

Per sondare e parzialmente mitigare questo divario, gli autori sviluppano classificatori latenti condizionati al rumore. Questi modelli:

• Utilizzano un backbone ConvNeXt-Tiny che opera direttamente sui tensori latenti.
• Incorporano livelli FiLM (Feature-wise Linear Modulation) per condizionare le previsioni ai livelli di rumore ($\sigma$), costringendo la rete ad apprendere caratteristiche robuste e invarianti al rumore.
• Impiegano distillazione nello spazio immagine, dove un forte insegnante nello spazio immagine (addestrato sulle ricostruzioni) guida lo studente latente tramite un matching morbido dei logit combinato con la supervisione della verità fondamentale.

Risultati Chiave

1. Esistenza del Divario: In tutte le 20 coppie autoencoder-dataset, i classificatori nello spazio latente subiscono un calo sostanziale delle prestazioni rispetto ai classificatori nello spazio di ricostruzione. Su ISIC-2019, il divario di accuratezza bilanciata (bACC) supera i 18 punti percentuali per ogni autoencoder. Un test di rango con segno di Wilcoxon conferma che si tratta di un fenomeno sistematico ($p = 9.5 \times 10^{-7}$).
2. Fedeltà vs. Apprendibilità: L'alta fedeltà di ricostruzione (misurata da PSNR/SSIM) non predice l'apprendibilità nello spazio latente. Ad esempio, Flux.2 ottiene il PSNR più alto ma mostra uno dei divari più grandi, mentre MedVAE mostra una fedeltà inferiore ma un divario comparabile. Questo esclude la perdita di informazioni come causa primaria.
3. Inefficacia del Fine-tuning: Il fine-tuning specifico del dominio dell'autoencoder migliora significativamente la qualità della ricostruzione (ad esempio, aumento del PSNR da 29.9 a 38.9 dB) ma non riesce a colmare il divario di apprendibilità. In alcuni casi, lo amplia, confermando che il problema è strutturale e non un disallineamento di dominio.
4. Mitigazione Parziale: I classificatori latenti condizionati al rumore proposti con distillazione restringono parzialmente il divario e migliorano la robustezza (ad esempio, aumentando l'AUC medio da 0.727 a 0.754), sebbene persista un divario residuo di 4–11 punti bACC.
5. Guadagni di Efficienza: Nonostante il divario, i classificatori latenti offrono vantaggi pratici significativi. Operare nel dominio compresso garantisce una throughput 64 volte superiore e una riduzione della memoria di 120 volte rispetto ai modelli nello spazio immagine, rendendoli fattibili per il filtraggio della qualità in tempo reale nelle pipeline generative.

Significato e Affermazioni
Il lavoro afferma di fornire la prima diagnosi sistematica del divario di apprendibilità negli spazi latenti medici. Il suo contributo principale è spostare il focus dell'ottimizzazione nell'IA generativa medica:

• Identificazione del Collo di Bottiglia: L'ostacolo principale alla chiusura del divario di prestazioni tra dati medici reali e sintetici è la struttura dello spazio latente, non la fedeltà di ricostruzione o la specificità del dominio.
• Riorientamento Strategico: Gli sforzi per migliorare i dati medici sintetici dovrebbero dare priorità alla ristrutturazione dello spazio latente (ad esempio, tramite obiettivi condizionati alla classe o allineamento con encoder discriminativi) piuttosto che al costoso fine-tuning degli autoencoder.
• Strumentazione Pratica: I classificatori latenti condizionati al rumore sviluppati servono a un duplice scopo: come strumenti diagnostici per valutare la qualità dello spazio latente e come componenti efficienti per il campionamento di rifiuto e il filtraggio della qualità nelle pipeline generative.

Gli autori concludono che, sebbene abbiano diagnosticato il divario e fornito strumenti per aggirarlo, il problema fondamentale di ristrutturare gli spazi latenti affinché siano intrinsecamente apprendibili per le attività mediche a valle rimane una sfida aperta.