A Pragmatic Note on Evaluating Generative Models with Fréchet Inception Distance for Retinal Image Synthesis

Diese Arbeit kritisiert die Verwendung des Fréchet Inception Distance (FID) als alleiniges Evaluierungskriterium für generative Modelle in der Retina-Bildgebung und plädiert stattdessen für eine pragmatische Bewertung durch den direkten Einsatz synthetischer Daten in nachgelagerten Aufgaben wie Klassifikation und Segmentierung.

Das Wesentliche

🎨 Wenn der Kunstexperte und der Handwerker sich streiten: Ein Problem bei künstlichen Augenbildern

Stellen Sie sich vor, Sie sind ein Arzt, der viele Patienten behandeln muss, aber nur wenige echte Krankengeschichten (Bilder von Augen) hat, um seine Diagnose-Software zu trainieren. Um das Problem zu lösen, nutzen Sie einen Künstlichen Intelligenz-Künstler (ein sogenanntes „generatives Modell"), der neue, künstliche Augenbilder malt, die fast wie echte aussehen.

Jetzt stellt sich die große Frage: Sind diese künstlichen Bilder gut genug, um die KI des Arztes wirklich besser zu machen?

Der falsche Maßstab: Der „Kunst-Kritiker"

Bisher haben Forscher einen Standard-Test benutzt, um die Qualität dieser künstlichen Bilder zu prüfen. Man könnte diesen Test wie einen Kunst-Kritiker vorstellen, der in einem Museum steht.

• Dieser Kritiker (die Metrik namens FID) schaut sich die Bilder an und sagt: „Aha, diese künstlichen Bilder sehen den echten Bildern sehr ähnlich! Sie haben die gleichen Farben, Texturen und Muster."
• Je besser die Übereinstimmung, desto höher die Bewertung.

Das Problem ist: Der Kunst-Kritiker versteht nicht, wofür die Bilder eigentlich gebraucht werden. Er bewertet nur die Ästhetik, nicht den Nutzen.

Der echte Test: Der „Handwerker"

In der Medizin geht es nicht um Schönheit, sondern um Funktion. Die künstlichen Bilder sollen wie ein Trainingslager für die Diagnose-KI dienen.

• Der Handwerker (die eigentliche Aufgabe: z.B. eine Krankheit erkennen oder Schichten im Auge vermessen) nimmt die künstlichen Bilder und übt damit.
• Wenn die Diagnose-KI danach wirklich besser wird, waren die Bilder gut. Wenn sie sich verwirrt und Fehler macht, waren die Bilder trotz ihrer schönen Optik nutzlos.

Was die Forscher herausgefunden haben

Die Autoren dieses Papers haben genau diesen Konflikt untersucht. Sie haben verschiedene KI-Künstler (wie StyleGAN und Diffusionsmodelle) gebeten, Bilder von Augen (Fundus und OCT) zu malen. Sie haben dabei die Qualität der Bilder schrittweise verändert – von „schlecht" bis „fast perfekt".

Dann haben sie zwei Dinge getan:

1. Den Kunst-Kritiker (FID und ähnliche Metriken) gefragt: „Wie gut sind diese Bilder?"
2. Den Handwerker (die Diagnose-KI) getestet: „Werden die Diagnosen mit diesen Bildern besser?"

Das überraschende Ergebnis:
Der Kunst-Kritiker und der Handwerker waren sich nicht einig.

• Manchmal sagte der Kritiker: „Das ist ein Meisterwerk! (Niedriger FID-Wert)" – aber der Handwerker sagte: „Mit diesen Bildern kann ich nichts anfangen, meine Diagnose wird sogar schlechter."
• Manchmal sagte der Kritiker: „Das ist mittelmäßig" – aber der Handwerker sagte: „Ah, genau diese Bilder helfen mir, die Krankheit zu erkennen!"

Es gab sogar Fälle, in denen die Bewertung des Kritikers genau das Gegenteil der tatsächlichen Leistung war. Je „schöner" die Bilder für den Kritiker waren, desto schlechter funktionierten sie für die medizinische Aufgabe.

Warum ist das so?

Stellen Sie sich vor, Sie trainieren einen Fußballspieler.

• Der Kunst-Kritiker bewertet nur, wie gut der Spieler die Schuhe poliert und wie schön sein Trikot aussieht.
• Der Handwerker (der Trainer) will wissen: Kann der Spieler den Ball ins Tor schießen?

Ein Spieler kann die schönsten Schuhe der Welt haben (perfekter FID-Wert), aber wenn er nicht schießen kann, bringt er dem Team nichts. Die aktuellen Messmethoden (FID) schauen nur auf die Schuhe, nicht auf das Torschussvermögen.

Was bedeutet das für die Zukunft?

Die Forscher schlagen vor, dass wir aufhören sollten, uns blind auf den „Kunst-Kritiker" (FID) zu verlassen, wenn es um medizinische Daten geht.

Stattdessen sollten wir den Handwerker direkt fragen. Das bedeutet: Wir müssen testen, ob die künstlichen Bilder tatsächlich helfen, die medizinische Aufgabe (wie die Erkennung von Glaukom oder die Vermessung von Augenschichten) zu verbessern. Das ist zwar aufwendiger, aber es ist der einzige Weg, um sicherzustellen, dass die künstlichen Bilder auch wirklich nützlich sind.

Kurz gesagt: Ein Bild muss nicht nur schön aussehen, um nützlich zu sein. In der Medizin zählt nur, ob es die Diagnose verbessert. Und dafür reicht ein einfacher „Schönheits-Test" nicht aus.

Technische Zusammenfassung

1. Problemstellung

Generative Modelle (wie GANs und Diffusionsmodelle) werden zunehmend eingesetzt, um synthetische biomedizinische Bilddaten zu erzeugen und so Trainingsdatensätze zu erweitern, insbesondere um Datenknappheit und Datenschutzprobleme zu adressieren. Der primäre Zweck dieser synthetischen Daten ist oft die Verbesserung nachgelagerter Aufgaben (Downstream Tasks) wie Klassifikation oder Segmentierung.

Das zentrale Problem, das in diesem Paper untersucht wird, ist die Diskrepanz zwischen etablierten Evaluierungsmetriken für generative Modelle und deren tatsächlicher Nützlichkeit für nachgelagerte Aufgaben.

• Der De-facto-Standard zur Bewertung der Qualität generierter Bilder ist der Fréchet Inception Distance (FID). Dieser misst die Ähnlichkeit der Verteilungen von Merkmalsvektoren (extrahiert durch ein auf ImageNet vortrainiertes Inception-v3-Netzwerk) zwischen realen und synthetischen Daten unter der Annahme einer multivariaten Gauß-Verteilung.
• Die Autoren hinterfragen, ob FID und verwandte Metriken (Feature-Distance-Metriken) zuverlässige Proxy-Metriken dafür sind, ob synthetische Daten das Training von Klassifikatoren oder Segmentierungsmodellen tatsächlich verbessern.
• Es wird die Hypothese aufgestellt, dass Metriken, die auf der Verteilungsähnlichkeit im Embedding-Raum basieren, nicht notwendigerweise mit der Leistung in spezifischen biomedizinischen Aufgaben korrelieren.

2. Methodik

Die Studie führt eine umfassende empirische Analyse durch, um die Korrelation zwischen generativen Evaluierungsmetriken und der Leistung in nachgelagerten Aufgaben zu testen.

Daten und Modelle:

• Modalitäten: Zwei retinale Bildgebungsmodalitäten wurden verwendet:
  1. Farb-Fundusfotografie (Fundus): Nutzung des AIROGS-Datensatzes (ca. 101.000 Bilder) zur binären Klassifikation (Glaukom vs. kein Glaukom).
  2. Optische Kohärenztomographie (OCT): Nutzung des MICCAI GOALS-Challenge-Datensatzes (kleiner Datensatz mit 100 Bildern) zur Segmentierung von retinalen Schichten (RNFL, GCIPL, CL).
• Generative Modelle: Drei verschiedene Architekturen wurden evaluiert, um ein breites Spektrum an Synthesequalitäten abzudecken:
  • StyleGAN3: Verschiedene Checkpoints während des Trainings (basierend auf FID).
  • Medfusion (Latent Diffusion): Variation der Anzahl der Sampling-Schritte.
  • DDPM (Denoising Diffusion Probabilistic Model): Variation der Sampling-Schritte.
• Downstream Tasks:
  • Klassifikation: ResNet-50 und Swin Transformer Tiny (F1-Score für die Minderheitsklasse).
  • Segmentierung: U2-Net und TransUNet (Dice-Score).

Evaluierungsmetriken:
Es wurden sieben verschiedene generative Metriken verglichen, die auf unterschiedlichen Distanzmaßen und Feature-Extraktoren basieren:

• Distanzmaße: Fréchet Distance (FID), Maximum Mean Discrepancy (MMD), Kullback-Leibler-Divergenz (KLD).
• Feature-Extraktoren:
  • ImageNet-vortrainiert: Inception-v3 (Standard-FID, Clean-FID, KID).
  • Vision-Language: CLIP (CLIP-FD, CMMD).
  • Self-Supervised: DINOv2 (FLD).
  • Modalitätsspezifisch: RETFound (auf retinalen Daten vortrainiert).

Analyse:
Die Autoren berechneten für jede Kombination aus generativem Modell und Metrik die Rangfolge der Modelle. Diese Rangfolgen wurden dann mittels Kendall's $\tau$-Korrelationskoeffizient mit der tatsächlichen Leistung der Downstream-Tasks (F1-Score bzw. Dice-Score) verglichen.

3. Wichtige Beiträge

1. Empirischer Nachweis der Fehljustierung: Die Studie liefert starke Evidenz dafür, dass FID und seine Varianten (sowohl mit ImageNet- als auch mit modalitätsspezifischen Feature-Extraktoren) nicht mit der Leistung in nachgelagerten biomedizinischen Aufgaben korrelieren.
2. Redundanz der Metriken: Die Analyse zeigt, dass verschiedene Feature-Distance-Metriken (FID, KID, CMMD, FLD etc.) untereinander stark korrelieren (hohe Kendall's $\tau$), aber alle gemeinsam versagen, die praktische Nützlichkeit der Daten vorherzusagen.
3. Kritik an modalitätsspezifischen Features: Selbst die Verwendung eines auf retinalen Daten vortrainierten Modells (RETFound) als Feature-Extraktor führte zu keiner besseren Korrelation mit der Downstream-Leistung im Vergleich zu generischen Modellen wie Inception-v3.
4. Pragmatischer Ansatz: Das Paper plädiert dafür, dass der „Goldstandard" zur Bewertung generativer Modelle für die Datenaugmentierung nicht die Berechnung von FID ist, sondern die direkte Einbindung der synthetischen Daten in das Training der Downstream-Aufgabe und die Evaluierung der resultierenden Modellleistung.

4. Ergebnisse

• Korrelation mit Downstream-Leistung:
  • Bei Diffusionsmodellen zeigten die Metriken keine signifikante Korrelation mit der Downstream-Leistung (p-Werte $\ge$ 0,05).
  • Bei StyleGAN3 zeigten die Metriken sogar eine signifikant negative Korrelation ($p < 0,01$). Das bedeutet: Modelle, die einen besseren (niedrigeren) FID-Score erzielten, führten oft zu einer schlechteren Leistung im Klassifikations- oder Segmentierungsaufgabe, wenn die synthetischen Daten zum Training verwendet wurden.
• Feature-Eigenschaften: Die Analyse von Sparsity (L0-Norm) und Entropie der Feature-Vektoren zeigte, dass unterschiedliche Feature-Extraktoren (Inception vs. CLIP vs. RETFound) sehr unterschiedliche Repräsentationen der synthetischen Bilder liefern. Dennoch führten diese Unterschiede nicht zu einer besseren Vorhersagekraft für die Downstream-Aufgabe.
• Konsistenz der Metriken: Alle getesteten Metriken rangierten die generativen Modelle fast identisch (hohe interne Korrelation), was ihre Redundanz unterstreicht, aber gleichzeitig bestätigt, dass sie alle das gleiche (falsche) Signal bezüglich der praktischen Nützlichkeit senden.

5. Bedeutung und Fazit

Das Paper hat eine erhebliche Bedeutung für die Forschung im Bereich der medizinischen Bildgebung und generativer KI:

• Warnung vor Blindem Vertrauen in FID: Die weit verbreitete Praxis, generative Modelle primär basierend auf FID-Scores zu optimieren oder zu vergleichen, ist für Anwendungen der Datenaugmentierung irreführend. Ein niedriger FID garantiert nicht, dass die generierten Daten das Training von Diagnosemodellen verbessern.
• Paradigmenwechsel in der Evaluierung: Die Autoren fordern einen pragmatischen Wandel weg von reinen Verteilungsmetriken hin zu aufgabenbasierten Evaluierungen. Die wahre Qualität eines generativen Modells für die Biomedizin sollte daran gemessen werden, wie sehr es die Genauigkeit von Klassifikatoren oder Segmentierern steigert.
• Zukunftsperspektive: Da Downstream-Evaluierungen rechenintensiv sein können, wird als zukünftige Forschungsrichtung die Entwicklung effizienter Proxy-Metriken oder Methoden (z. B. Bayesian Optimization, Surrogatmodelle) vorgeschlagen, die die Downstream-Leistung ohne vollständiges Neutrainieren jedes Modells vorhersagen können.

Zusammenfassend stellt das Paper fest: Für die biomedizinische Datenaugmentierung ist die Downstream-Leistung der einzige verlässliche Maßstab; FID und seine Varianten sind in diesem Kontext unzuverlässig.