A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

Questo articolo evidenzia come la Fréchet Inception Distance (FID) possa non allinearsi con gli obiettivi di valutazione specifici per le applicazioni biomediche, dimostrando attraverso immagini retiniche che la vera efficacia dei modelli generativi dovrebbe essere misurata pragmaticamente tramite il loro impatto sulle prestazioni nei compiti a valle come la classificazione e la segmentazione.

L'essenziale

🎨 Il Paradosso del "Falso Perfetto"

Immagina di essere un chef che deve preparare un grande banchetto per un esercito affamato (i modelli di intelligenza artificiale che devono imparare a riconoscere malattie agli occhi). Il problema? Hai pochissimi ingredienti reali (le foto reali degli occhi dei pazienti) e sono molto costosi da ottenere.

Per risolvere il problema, decidi di assumere un artista magico (un modello generativo) capace di dipingere nuovi piatti che sembrano identici a quelli reali. L'obiettivo è usare questi nuovi piatti dipinti per allenare i tuoi cuochi a riconoscere i sapori corretti.

📏 Il Problema: Come misuriamo la "bontà" del piatto?

Fino a poco tempo fa, per capire se l'artista magico stava facendo un buon lavoro, si usava un metro molto sofisticato chiamato FID (Fréchet Inception Distance).

• Come funzionava il metro: Il metro guardava il piatto dipinto e diceva: "Sembra realistico? Ha i colori giusti? Sembra un vero cibo?". Se il punteggio era alto, si pensava: "Ottimo! L'artista è un genio!".

Ma c'è un grande "MA".
In questo studio, gli autori (un team di ricercatori italiani e tedeschi) hanno scoperto che questo metro è ingannevole quando si tratta di medicina.

🍽️ L'Analogia della "Finta Pizza"

Immagina che l'artista magico dipinga una pizza così perfetta che sembra vera al 100%. Il metro FID la esalta: "10/10! È bellissima!".
Tuttavia, quando dai questa pizza al tuo cuoco (il modello di intelligenza artificiale) per allenarlo a riconoscere la pizza, il cuoco non impara nulla di utile. Perché?
Forse la pizza è bella da vedere, ma non ha le caratteristiche nascoste che servono al cuoco per capire se è una pizza margherita o una pepperoni. È un'illusione ottica perfetta, ma un'istruzione inutile.

🔬 Cosa hanno scoperto i ricercatori?

Gli autori hanno testato questa teoria su due tipi di immagini degli occhi:

1. Foto del fondo dell'occhio (come una mappa del paesaggio).
2. Scansioni OCT (come tagli trasversali degli strati dell'occhio).

Hanno fatto dipingere a diversi artisti magici (modelli come GAN e Diffusion) migliaia di immagini. Poi hanno fatto due cose:

1. Misurato la "bellezza" con il metro FID e i suoi cugini (KID, CMMD, ecc.).
2. Messo alla prova le immagini: Hanno usato le immagini dipinte per addestrare un'intelligenza artificiale a diagnosticare il glaucoma o a segmentare gli strati dell'occhio.

Il Risultato Shockante:
Non c'era nessuna correlazione.

• A volte, l'artista che produceva le immagini "più belle" secondo il metro FID, produceva immagini che peggioravano l'allenamento del cuoco.
• A volte, l'artista che produceva immagini "meno belle" (punteggio FID basso) creava immagini che miglioravano enormemente le diagnosi.

È come se il metro ti dicesse: "Questa finta auto è perfetta!", ma quando provi a guidarla, si rompe dopo un chilometro.

🚫 Perché succede?

Il metro FID è stato creato per giudicare la qualità visiva (sembra vero?), non la qualità funzionale (serve a qualcosa?).
In medicina, non ci importa se un'immagine sintetica è "bellissima" o se ha i colori perfetti. Ci importa se contiene le informazioni giuste per insegnare all'AI a salvare vite umane.
Il metro FID guarda la "copertina del libro", ma non legge il "contenuto".

💡 La Conclusione Pratica

La lezione principale di questo articolo è semplice:
Smettete di fidarvi ciecamente del metro FID per la medicina.

Se volete sapere se un modello generativo è utile per creare dati medici:

• ❌ Non chiedete: "Quanto è realistico questo punteggio?"
• ✅ Chiedete: "Se uso queste immagini per addestrare il mio modello, la diagnosi migliora o peggiora?"

In altre parole, l'unico vero metro di successo è il risultato pratico. Se l'immagine sintetica aiuta il medico (o l'AI) a fare un lavoro migliore, allora è un'immagine buona, anche se il metro FID dice che è "brutta".

🌟 In sintesi

Questo studio ci avverte: non lasciatevi ingannare dalle apparenze. Nella creazione di dati medici, la bellezza visiva non è sinonimo di utilità. La vera prova del nove è sempre: "Funziona nella pratica?".

Sommario tecnico

Titolo

Una nota pragmatica sulla valutazione dei modelli generativi con la Fréchet Inception Distance (FID) per la sintesi di immagini retiniche.

1. Il Problema

Nella sintesi di immagini biomediche, l'obiettivo principale dei modelli generativi (come GAN e Diffusion Models) è spesso quello di arricchire i dataset di addestramento, fornendo dati sintetici realistici e annotati per migliorare le prestazioni di compiti a valle (downstream tasks) come la classificazione e la segmentazione.
Attualmente, lo standard de facto per valutare la qualità di questi modelli è la Fréchet Inception Distance (FID), calcolata utilizzando una rete Inception-v3 pre-addestrata su ImageNet. La FID assume che i vettori di caratteristiche seguano una distribuzione gaussiana multivariata e calcola la distanza di Wasserstein-2 tra le distribuzioni dei dati reali e sintetici.

Tuttavia, il paper evidenzia un disallineamento critico: metriche basate sulla distanza delle caratteristiche (feature-distance metrics), come la FID e le sue varianti, misurano la similarità percettiva o distribuzionale, ma non garantiscono che i dati sintetici siano effettivamente utili per migliorare le prestazioni dei modelli di apprendimento automatico nei compiti specifici del dominio biomedico. In altre parole, un punteggio FID basso non implica necessariamente che i dati sintetici migliorino l'accuratezza di un classificatore o di un segmentatore.

2. Metodologia

Gli autori hanno condotto uno studio empirico su due modalità di imaging retinico:

1. Fotografia del fondo oculare (Fundus): Dataset AIROGS (circa 101.000 immagini), con compito di classificazione binaria (glaucoma riferibile vs non riferibile).
2. Tomografia a Coerenza Ottica (OCT): Dataset MICCAI GOALS Challenge (100 immagini), con compito di segmentazione di tre strati retinici (RNFL, GCIPL, CL).

Modelli Generativi Testati:

• StyleGAN3: Addestrato su immagini di fondo oculare. Sono stati selezionati 10 checkpoint diversi in base al FID di validazione.
• Medfusion (Latent Diffusion Model): Per la sintesi del fondo oculare.
• DDPM (Denoising Diffusion Probabilistic Model): Per la sintesi OCT guidata da maschere di segmentazione. Sono stati testati 7 modelli variando il numero di passi di campionamento ($t$).

Valutazione:

• Metriche Generative: Sono state calcolate 7 metriche diverse, incluse varianti della FID (Clean-FID, CLIP-FD, RETFound-FD), KID (Kernel Inception Distance), CMMD (CLIP-MMD) e FLD (Feature Likelihood Divergence). Sono stati utilizzati diversi estrattori di caratteristiche: Inception-v3 (ImageNet), CLIP, DINOv2 e RETFound (modello specifico per la retina).
• Valutazione a Valle (Downstream): I dataset sintetici sono stati aggiunti ai dati reali per addestrare modelli di classificazione (ResNet-50, Swin-T) e segmentazione (U2-Net, TransUNet). Le prestazioni sono state misurate tramite F1-score (per la classificazione) e Dice score (per la segmentazione).
• Analisi Statistica: È stata calcolata la correlazione di rango di Kendall's $\tau$ tra le metriche generative e le prestazioni a valle per verificare se le metriche predicono correttamente l'utilità dei dati sintetici.

3. Contributi Chiave

• Dimostrazione del Disallineamento: Il lavoro dimostra empiricamente che le metriche basate sulla distanza delle caratteristiche (inclusa la FID e le sue varianti più recenti) non sono proxy affidabili per l'utilità pratica dei dati sintetici nei compiti biomedici.
• Ridondanza delle Metriche: Le diverse metriche (FID, KID, CMMD, ecc.) mostrano un'alta correlazione interna tra loro (correlazione di Kendall $\tau > 0.7$ nella maggior parte dei casi), il che significa che tendono a classificare i modelli generativi nello stesso ordine, indipendentemente dall'estrattore di caratteristiche usato. Tuttavia, questo ordine di classificazione non corrisponde alle prestazioni a valle.
• Inutilità delle Varianti Specifiche per Dominio: L'uso di estrattori di caratteristiche specifici per il dominio biomedico (come RETFound, pre-addestrato su immagini retiniche) non ha migliorato la correlazione con le prestazioni a valle rispetto ai modelli generici pre-addestrati su ImageNet.
• Analisi di Sparsità ed Entropia: Gli autori analizzano le proprietà dei vettori di caratteristiche (sparsità ed entropia), mostrando come diverse architetture rappresentino le immagini in modo diverso, il che contribuisce al comportamento incoerente delle metriche rispetto ai compiti specifici.

4. Risultati Principali

• Correlazione Negativa o Inesistente:
  • Per i modelli StyleGAN3, le metriche generative mostrano una correlazione negativa significativa con le prestazioni a valle ($p < 0.01$). In pratica, quando la FID migliora (diminuisce), le prestazioni del classificatore a valle tendono a peggiorare o a non seguire la tendenza.
  • Per i modelli Diffusion (Medfusion e DDPM), la correlazione è statisticamente non significativa ($p \ge 0.05$), indicando che le metriche non riescono a catturare le variazioni di qualità utili per il compito.
• Visualizzazione: I grafici che confrontano l'inverso della FID ($1/FID$) con l'F1-score o il Dice score mostrano l'assenza di una relazione chiara o monotona.
• Conclusione sulle Metriche: Nessuna delle 7 metriche testate è riuscita a fornire una valutazione coerente con l'obiettivo finale (migliorare il modello di classificazione/segmentazione).

5. Significato e Implicazioni

• Cambiamento di Paradigma nella Valutazione: Il paper sostiene che, nel contesto dell'arricchimento dei dati biomedici, la valutazione a valle (downstream evaluation) dovrebbe essere il criterio primario e definitivo per selezionare i modelli generativi. Le metriche di "qualità percettiva" come la FID sono insufficienti e potenzialmente fuorvianti.
• Avvertenza per la Ricerca Biomedica: L'uso acritico della FID per guidare lo sviluppo di modelli generativi in ambito medico potrebbe portare alla selezione di modelli che producono immagini esteticamente simili ma statisticamente o semanticamente inadatte per l'addestramento di modelli diagnostici.
• Direzioni Future: Gli autori suggeriscono di sviluppare strategie di valutazione che integrino direttamente il compito a valle (ad esempio, tramite ottimizzazione bayesiana o modelli surrogati) per bilanciare il costo computazionale con la necessità di una valutazione pragmatica, piuttosto che affidarsi a metriche basate su distanze di feature generiche.

In sintesi, il paper offre una "nota pragmatica" fondamentale: se l'obiettivo è migliorare un modello diagnostico, l'unico modo per valutare un generatore è testare quanto quel generatore migliora il modello diagnostico, ignorando le metriche intermedie che non correlano con tale obiettivo.