💻 computer science

The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

Diese Arbeit zeigt auf, dass die Fréchet Inception Distance (FID) eine signifikante verborgene Randomität aufweist, die primlich durch Trainings-Seeds statt durch Sampling-Variationen getrieben wird, was die Empfehlung nahelegt, FID mit Fehlerbalken anzugeben und geringfügige Leistungsunterschiede als statistisch nicht aussagekräftig zu behandeln.

Ursprüngliche Autoren: Nicolas Dufour, Alexei A. Efros, Patrick Pérez

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicolas Dufour, Alexei A. Efros, Patrick Pérez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Preisrichter bei einem Kochwettbewerb. Jeder Koch (ein generatives KI-Modell) präsentiert ein Gericht, und Sie bewerten es basierend darauf, wie köstlich es aussieht und schmeckt. In der Welt der KI-Bildgenerierung wird dieser Score als FID (Fréchet Inception Distance) bezeichnet. Je niedriger der Score, desto besser das Gericht.

Jahrelang hat die Community diesen Score wie eine perfekte, unveränderliche Tatsache behandelt. Wenn Koch A einen Score von 34,0 erhält und Koch B einen Score von 33,5, nimmt jeder an, dass Koch B definitiv besser ist.

Dieses Paper, „The FID Lottery“, argumentt, dass dies eine gefährliche Illusion ist. Die Autoren behaupten, dass der Score, den man sieht, nicht nur ein Maß für das Können des Kochs ist, sondern auch ein Maß für Glück.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die zwei Lotterien

Die Autoren sagen, dass jedes Mal, wenn eine KI ein Bild generiert, zwei verschiedene „Lotterien“ gespielt werden:

Die Trainings-Lotterie (Die große): Bevor der Koch überhaupt anfängt zu kochen, würfelt er um drei Dinge:
1. Die Zutaten: Wie die Daten gemischt und angeordnet werden.
2. Das Vorratsregal: Wie das Gehirn (die Gewichte) der KI zu Beginn initialisiert wird.
3. Der Kochprozess: Eine spezifische Art von „Rauschen“ (zufälliges statisches Rauschen) wird bei jedem einzelnen Schritt des Trainings zum Rezept hinzugefügt.
- Das Ergebnis: Selbst wenn zwei Köche exakt demselben Rezept folgen, wird derjenige, der während des Trainings den „glücklichen“ Würfelwurf hatte, am Ende ein etwas anderes (und oft besseres) Gericht servieren.
Die Generierungs-Lotterie (Die kleine): Sobald das Gericht gekocht ist, muss der Koch es anrichten. Er muss einen zufälligen Startpunkt für die abschließende Garnitur wählen.
- Das Ergebnis: Wenn man denselben Koch bittet, das Gericht 10 Mal anzurichten, werden die Scores leicht variieren, aber nicht viel.

Die große Entdeckung: Die Autoren fanden heraus, dass das Neu-Trainieren des Modells (das erneute Spielen der Trainings-Lotterie) den Score 3,2-mal stärker verändert als das bloße Neu-Anrichten desselben Gerichts (das erneute Spielen der Generierungs-Lotterie).

2. Das „versteckte“ Rausch-Niveau

Das Paper enthüllt, dass es ein „Rausch-Niveau“ für diese Scores gibt.

Stellen Sie sich vor, der Score ist ein Thermometer. Die Autoren fanden heraus, dass die Temperatur allein durch Glück natürlich um etwa 1 % bis 2 % schwankt, selbst wenn der Koch nichts anderes macht.
Das Problem: Viele aktuelle KI-Paper behaupten, den Score um winzige Beträge verbessert zu haben (z. B. von 34,0 auf 33,8). Die Autoren argumentieren, dass, wenn die Verbesserung kleiner ist als diese 1–2 %ige „Glücks-Lücke“, es sich vielleicht gar nicht um eine echte Verbesserung handelt. Es könnte einfach nur sein, dass die glücklichen Würfel dieses Mal zu deren Gunsten gefallen sind.

3. Größer ist nicht immer besser (bezüglich des Glücks)

Man könnte denken, wenn man eine größere, leistungsfähigere KI baut (eine größere Küche), würde der Glücksfaktor verschwinden.

Das Ergebnis: Nein. Egal ob die KI klein oder riesig ist, die „Glücks-Lücke“ bleibt in etwa gleich groß (1–2 %).
Die Analogie: Es ist wie beim Würfeln. Egal, ob man einen einzelnen Würfel oder tausend Würfel wirft, die Zufälligkeit ist immer noch da. Das Modell größer zu machen, macht die Würfel nicht weniger zufällig.

4. Das „Goldene Ticket“ (Glück des Spiels)

Die Autoren fanden heraus, dass einige Trainingsläufe einfach unglaublich glücklich sind.

Das Ergebnis: Ein „glücklicher“ Trainings-Seed (ein glücklicher Start) kann denselben hochwertigen Score erreichen wie ein „unglücklicher“ Seed, aber er kann dies doppelt so schnell tun.
Die Implikation: Wenn ein Forscher behauptet, seine neue Methode habe das Training um den Faktor 2 beschleunigt, hat er vielleicht nur seine „unglückliche“ alte Methode gegen einen „glücklichen“ neuen Durchlauf verglichen. Er hat den Code vielleicht gar nicht verbessert; er hatte nur Glück mit den Würfeln.

5. Das Einstellen der Guidance (Die „Geheime Zutat“)

Das Paper untersuchte auch eine Einstellung namens „Classifier-Free Guidance“ (CFG), was wie ein Regler ist, der der KI sagt, wie strikt sie einem Prompt folgen soll.

Das Ergebnis: Wenn man diesen Regler für jeden einzelnen Trainingslauf perfekt abstimmt, kann man die Rausch-Lücke halbieren.
Der Haken: Dies verändert die Rangfolge. Der „glückliche“ Seed, der zuvor auf Platz 1 war, kann nach der Abstimmung des Reglers auf Platz 5 fallen. Es ist so, als würde man die Ofentemperatur für jeden einzelnen Kuchen anpassen; derjenste, der bei 175 °C am besten war, ist vielleicht nicht der beste bei 180 °C.

Die neuen Regeln des Spiels

Basierend auf diesen Erkenntnissen schlagen die Autoren einen neuen Weg vor, Ergebnisse zu melden, damit wir nicht mehr vom Glück getäuscht werden:

Vertrauen Sie nicht auf eine einzige Zahl: Geben Sie nicht nur einen Score an. Geben Sie einen „Fehlerbalken“ (einen Bereich) an, der auf dem mehrfachen Durchführen des Trainings mit verschiedenen Seeds basiert.
Ignorieren Sie winzige Siege: Wenn eine neue Methode den Score um weniger als ~1,3 % verbessert, behandeln Sie dies als „nicht schlüssig“. Es ist höchstwahrscheinlich nur Rauschen.
Stimmen Sie den Regler ab: Wenn Sie Guidance verwenden, stimmen Sie diese spezifisch für jeden Lauf ab, aber bedenken Sie, dass dies die Bewertung der „besten“ Durchläufe verändert.

Zusammenfassend lässt sich sagen: Das Paper zeigt uns, dass in der Welt der KI-Bildgenerierung Glück eine massive Rolle spielt. Wir haben zufällige Schwankungen als wissenschaftliche Durchbrüche behandelt. Um zu wissen, ob eine neue Methode tatsächlich besser ist, müssen wir das Experiment viele Male durchführen und sehen, ob die Verbesserung gegenüber dem „Rauschen“ der Lotterie Bestand hat.

Technisches Resümee: Die FID-Lotterie: Quantifizierung verborgener Zufälligkeit in der Evaluierung generativer Modelle

Problemstellung

Die Fréchet Inception Distance (FID) dient als De-facto-Standard zur Evaluierung von Bildgenerationsmodellen. Die Community berichtet jedoch typischerweise eine einzige FID-Zahl, die von einem einzigen trainierten Modell unter Verwendung eines einzigen Sampling-Seeds abgeleitet wurde. Dieses Paper argumentiert, dass die Berichterstattung einer einzelnen Zahl die signifikante „Reproduzierbarkeitslücke“ verschleiert, die durch die inhärente Zufälligkeit in den Trainings- und Generierungspipelines entsteht.

Die Autoren identifizieren zwei unterschiedliche „Lotterien“, die Varianz in die FID-Scores einführen:

Die Trainings-Lotterie: Tritt einmal pro Trainingslauf auf, getrieben durch zufällige Gewichtsinitialisierung, Datenreihenfolge (Minibatch-Shuffling), pro Schritt injiziertes gaußsches Rauschen durch den Flow-Matching-Loss und Hardware-Nichtdeterminismus (Bit-Drift bei Multi-GPU-Ausführung).
Die Generierungs-Lotterie: Tritt während des Samplings auf, getrieben durch das zufällige Initialrauschen ( $x_T \sim \mathcal{N}(0, I)$ ), das für jedes generierte Bild gezogen wird.

Konventionelle Praktiken mildern die Generierungs-Lotterie oft durch die Mittelung über mehrere Sampling-Seeds ab, ignorieren jedoch die Trainings-Lotterie. Das Paper postuliert, dass die Varianz, die durch das Retraining eines Modells (selbst mit demselben Rezept) eingeführt wird, signifikant größer ist als die Varianz, die durch das Resampling aus einem fixierten Modell entsteht, was bedeutet, dass Single-Seed-FID-Angaben potenziell nicht aussagekräftig sind.

Methodik

Die Autoren behandeln die FID als Zufallsvariable, die über ein Zwei-Achsen-Panel von $N$ unabhängigen Trainings-Seeds und $K$ Sampling-Seeds definiert ist.

Experimentelles Setup: Die Studie nutzt Scalable Interpolant Transformers (SiT), die auf klassenbedingtem ImageNet (256×256) mittels Conditional Flow Matching trainiert wurden.
Skalierung: Die Experimente decken mehrere hundert SiT-Netzwerke über vier Modellgrößen (S, B, L, XL) und Trainingsbudgets von bis zu 2 Millionen Schritten ab.
Varianzdekomposition: Die Autoren isolieren systematisch die Quellen der Zufälligkeit, indem sie kontrollierte Bedingungen schaffen, bei denen jeweils nur eine Quelle variiert wird (z. B. nur die Initialisierung, nur die Datenreihenfolge oder nur das pro Schritt injizierte Trainingsrauschen), während alle anderen konstant gehalten werden.
Metriken:
- $\sigma_{within}$ : Varianz über Sampling-Seeds für ein festes, trainiertes Modell.
- $\sigma_{between}$ : Varianz über die Mittelwerte verschiedener Trainings-Seeds.
- Variationskoeffizient (CoV): $\sigma/\mu$ , verwendet zur Normalisierung der Varianz über verschiedene FID-Magnituden hinweg (z. B. Guided vs. Unguided).
- GS-FID-Protokoll: Die Autoren führen ein „Golden-Section FID“-Protokoll ein, bei dem die Classifier-Free Guidance (CFG)-Skalen für jedes (Trainings-Seed, Sampling-Seed)-Paar einzeln mittels Golden-Section-Suche optimiert werden, um die FID pro Zelle zu minimieren.

Zentrale Ergebnisse

1. Trainingsvariabilität dominiert die Evaluationsvariabilität

Das Retraining eines Modells mit einem anderen Seed bewegt den FID-Score 3,2-mal stärker als das Neuzeichnen von Samples aus einem fixierten Netzwerk.

In einem SiT-B/2-Experiment war die Standardabweichung zwischen den Seeds ( $\sigma_{between} \approx 0,44$ ) 3,2-mal größer als die Standardabweichung innerhalb der Seeds ( $\sigma_{within} \approx 0,14$ ).
Der CoV für Trainings-Seeds liegt bei etwa 1,3 %, während der CoV für Sampling-Seeds nur etwa 0,4 % beträgt.
Die Erhöhung des Sampling-Budgets (mehr $K$ ) reduziert das Jittering innerhalb der Seeds, lässt aber die dominante Hüllkurve zwischen den Seeds unberührt.

2. Quellen der Trainingsvarianz

Die Trainings-Lotterie wird durch drei primäre Faktoren getrieben, geordnet nach ihrem Beitrag zur Varianz:

Pro-Schritt-Trainingsrauschen: Das frische Gaußsche Rauschen, das bei jedem Gradientenschritt durch den Flow-Matching-Loss injiziert wird, ist der größte Beitragsfaktor (reproduziert 77 % der Baseline-Varianz).
Zufällige Initialisierung: Trägt signifikant bei (67 % der Baseline).
Datenreihenfolge: Trägt am wenigsten bei, führt aber eine distinkte Verteilungsform ein (ein enger Kern mit einem langen oberen Ausläufer), was auf gelegentliche „schlechte Läufe“ statt kontinuierlicher Varianz hindeutet.

Hardware-Nichtdeterminismus: Ein Bit-Drift bei Multi-GPU-Ausführungen wurde als vernachlässigbar befunden und trug weniger zur Varianz bei als die Sampling-Lotterie selbst.

3. Der 1–2 % CoV-Boden ist skaleninvariant

Die Erhöhung der Rechenleistung (Trainingsschritte) oder der Modellgröße (S bis XL) eliminiert die Varianz nicht.

Der CoV bleibt über alle Modellgrößen und Trainings-Checkpoints hinweg stabil in einem Band von 1–2 % (Median 1,30 %).
Größere Modelle liefern keine proportional engeren FID-Streuungen; der relative Rauschboden ist eine Eigenschaft der Metrik und der Verlustfunktion, nicht der Skalierung.
Die Rangstabilität (Korrelation der Seed-Rankings über die Zeit) ist vor ca. 1 Mio. Schritten schwach, was bedeutet, dass frühe Checkpoint-Rankings schlechte Prädiktoren für die finale Performance sind.

4. Der Einfluss von Classifier-Free Guidance (CFG)

GS-FID: Die individuelle Abstimmung der CFG für jedes Seed-Paar (GS-FID) halbiert die relative Streuung (CoV sinkt von 1,26 % auf 0,67 %).
Rang-Reshuffling: Diese Abstimmung führt jedoch dazu, dass sich die besten Seeds verschieben. Die Spearman-Korrelation zwischen unguided und guided Rankings beträgt nur 0,73. Ein Seed, der via unguided FID als „bester“ ausgewählt wurde, ist nicht zuverlässig der beste unter optimierter Guidance.
Lernraten-Fenster (LR Windows): Unter GS-FID ist die optimale Lernrate kein einzelner Punkt, sondern ein flaches „Fenster“ (ca. 1,7-mal so breit), in dem benachbarte LRs ununterscheidbare FID-Scores liefern.

5. Das „Glück des Losverfahrens“ (Luck of the Draw)

Die Wahl des Trainings-Seeds beeinflusst die Effizienz erheblich. Ein „glücklicher“ Seed kann das gleiche FID-Ziel mit bis zu 2-mal weniger Rechenaufwand erreichen als ein „unglücklicher“ Seed (z. B. Erreichen eines Ziels bei 1 Mio. Schritten, das ein unglücklicher Seed erst bei 2 Mio. Schritten erreicht). Dies impliziert, dass Single-Seed-Paper, die Geschwindigkeitsvorteile reklamieren, möglicherweise lediglich von einem günstigen Seed profitieren und nicht von architektonischen Verbesserungen.

Bedeutung und Empfehlungen

Das Paper kommt zu dem Schluss, dass die aktuelle Praxis, einen einzelnen FID-Wert zu berichten, für eine rigorose Evaluierung unzureichend ist. Die Autoren schlagen ein neues Evaluierungsprotokoll vor:

Fehlerbalken angeben: Statt einer einzelnen Zahl sollte der FID über mehrere Trainings-Seeds (z. B. 5–10) berichtet werden, um die Trainings-Lotterie zu erfassen.
Inkonklusive Schwellenwerte: Betrachten Sie jeden FID-Unterschied, der unter dem empirisch gemessenen ~1,3 % CoV liegt (oder ~2 %, um auf der sicheren Seite zu sein), als nicht schlüssig. Behauptungen über Verbesserungen müssen diesen Rauschboden überschreiten, um als real zu gelten.
Per-Cell-Optimierung: Verwenden Sie bei der Nutzung von CFG eine pro Zelle optimierte Guidance (GS-FID) anstatt eines festen globalen Wertes, und berücksichtigen Sie dabei, dass dies die Rangfolge der Seeds verändert.
Cherry-Picking vermeiden: Erkennen Sie an, dass die Auswahl des einzelnen besten Seeds aus einem großen Pool künstlich Schlagzeilen-reizende Verbesserungen erzeugen kann, die lediglich statistische Artefakte der Seed-Lotterie sind.

Die Autoren betonen, dass diese Erkenntnisse spezifisch für die Kombination SiT/Flow-Matching/ImageNet/Inception-V3 sind, legen jedoch nahe, dass der „1–2 % Boden“ eine allgemeine Eigenschaft moderner generativer Evaluationsmetriken sein könnte, und fordern die Community auf, robustere statistische Berichterstattungsstandards zu übernehmen.