🤖 machine learning

Contrastive Conditional-Unconditional Alignment for Long-tailed Diffusion Model

Dieses Paper schlägt Contrastive Conditional-Unconditional Alignment (CCUA) vor, ein Framework, das Alignment- und unüberwachte kontrastive Verluste verwendet, um die Diversität und Treue von Tail-Class-Bildern in Long-Tailed-Diffusionsmodellen zu verbessern, ohne die Qualität der Head-Classes zu beeinträchtigen.

Ursprüngliche Autoren: Fang Chen, Alex Villa, Gongbo Liang, Fuxing Li, Xiaoyi Lu, Meng Tang

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fang Chen, Alex Villa, Gongbo Liang, Fuxing Li, Xiaoyi Lu, Meng Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Reiche werden reicher“-Effekt in der KI-Kunst

Stellen Sie sich eine Kunstschule vor, in der der Lehrer (die KI) lernen muss, 1.000 verschiedene Motive zu malen.

Die „Kopf“-Klassen: Für Motive wie „Hunde“ oder „Autos“ hat der Lehrer eine Bibliothek von 10.000 Fotos. Er wird zum Experten darin, diese zu malen.
Die „Schwanz“-Klassen: Für seltene Motive wie „Rotwein“ oder eine „bestimmte Art von Wurm“ hat der Lehrer nur ein oder zwei Fotos.

Weil der Lehrer die seltenen Motive so selten sieht, bleibt er stecken. Wenn er aufgefordert wird, „Rotwein“ zu malen, kopiert er einfach immer und immer wieder das eine Foto, das er hat. Er kann sich keine verschiedenen Flaschen, unterschiedliche Beleuchtungen oder andere Winkel vorstellen. In der Fachsprache der KI nennt man das Mode Collapse: Die KI wird „faul“ und produziert für seltene Kategorien immer nur dasselbe, langweilige und repetitive Bild.

Die Lösung: CCUA (Der „Zweistufig Tanz“)

Die Autoren schlagen eine neue Trainingsmethode namens CCUA (Contrastive Conditional–Unconditional Alignment) vor. Betrachten Sie dies als eine zweistufige Tanzroutine, um der KI beizubringen, wie sie mit seltenen Motiven kreativ sein kann, ohne zu vergessen, wie man die häufigen Motive malt.

Schritt 1: Die „Blind geführte Skizze“ (Alignment Loss)

Die Metapher: Stellen Sie sich vor, die KI versucht, einen „Rotwein“ (Conditional) und einen „zufälligen Klecks“ (Unconditional) zu malen.

Die Erkenntnis: In den allerersten Sekunden des Malprozesses (wenn die Leinwand noch hauptsächlich aus Rauschen und Statik besteht) sieht ein Bild von Rotwein einem Bild eines zufälligen Klecks sehr ähnlich. Beide beginnen als verschwommene, niedrig aufgelöste Masse.
Der Trick: Die Autoren sagen der KI: „Stell dir für die ersten Schritte des Malens vor, du wüsstest nicht, was du malst. Male einfach einen generischen, hochwertigen ‚Klecks‘.“
Warum es hilft: Da die KI tausende Beispiele für „Klexe“ hat (aus allen häufigen Klassen), lernt sie eine reiche, vielfältige Art, ein Bild zu beginnen. Indem sie die KI dazu zwingt, das Malen von „Rotwein“ genauso zu beginnen wie das Malen eines „Klekses“, leiht sich die KI die Kreativität und Vielfalt der häufigen Klassen aus und wendet sie auf die seltenen Klassen an.

Schritt 2: Die „Abstoßungskraft“ (Unsupervised Contrastive Loss)

Die Metapher: Stellen Sie sich vor, die KI hat ihre Skizze fertiggestellt und beginnt nun, Details hinzuzufügen.

Das Problem: Ohne Hilfe würde die KI immer noch versuchen, das einzige „Rotwein“-Foto zu kopieren, was zu 100 identischen Gemälden führt.
Der Trick: Die Autoren fügen eine Regel hinzu: „Jedes Mal, wenn du einen ‚Rotwein‘ malst, musst du sicherstellen, dass er sich von jedem anderen ‚Rotwein‘ unterscheidet, den du gerade in diesem Batch gemalt hast.“
Wie es funktioniert: Sie verwenden eine mathematische „Abstoßungskraft“. Wenn zwei generierte Bilder sich zu ähnlich sehen, erhält die KI eine Strafe. Dies zwingt die KI, die Bilder in ihrer Vorstellung auseinanderzutreiben, was Vielfalt erzeugt (andere Winkel, Farben, Formen), obwohl sie zu Beginn nur ein einziges Referenzfoto hatte.

Wie sie zusammenwirken

Die Magie geschieht, wenn man diese beiden Schritte kombiniert:

Alignment ermöglicht es der seltenen Klasse, während der frühen Phasen der Erstellung das allgemeine Wissen und die Vielfalt der häufigen Klassen zu „stehlen“.
Contrastive Loss stellt sicher, dass die KI, sobald sie anfängt, Details hinzuzufügen, nicht einfach nur kopiert und einfügt, sondern aktiv versucht, jedes Bild einzigartig zu machen.

Die Ergebnisse

Die Autoren testeten dies an einem massiven Datensatz namens ImageNet-LT (der viele seltene Klassen enthält).

Vorher: Die KI hatte Schwierigkeiten, seltene Gegenstände zu malen, und produzierte oft verschwommene oder identische Kopien der wenigen Trainingsfotos.
Nachher (mit CCUA): Die KI erzeugte seltene Bilder, die nicht nur klarer (höhere Fidelität/Fidelity), sondern auch viel vielfältiger (höhere Diversität/Diversity) waren. Sie konnte „Rotwein“ auf viele verschiedene Arten malen, obwohl sie während des Trainings nur ein einziges Beispiel gesehen hatte.

Zusammenfassung

Das Paper löst das Problem, dass KI „schlecht in seltenen Dingen“ ist, indem es ihr beibringt, jedes Bild auf die gleiche Weise zu beginnen (indem sie sich allgemeines Wissen ausleiht) und sie dann dazu bringt, jedes Endergebnis einzigartig zu gestalten (durch eine Abstoßungskraft). Dies ermöglicht es der KI, hochwertige, vielfältige Bilder für seltene Kategorien zu generieren, ohne mehr Trainingsdaten zu benötigen.

Technisches Resümee: Kontrastive konditionale–unkonditionale Ausrichtung für Long-Tailed-Diffusionsmodelle

Problemstellung

Die Trainingsdaten für klassenbedingte Bildsynthese weisen häufig eine Long-Tail-Verteilung auf, die durch einen Mangel an Bildern für „Tail“-Klassen im Vergleich zu „Head“-Klassen gekennzeichnet ist. Dieses Ungleichgewicht führt dazu, dass Diffusionsmodelle unter Mode Collapse leiden und eine reduzierte Diversität bei der Generierung von Bildern für Tail-Klassen aufweisen. Bestehende Methoden, einschließlich Standard-Denoising Diffusion Probabilistic Models (DDPM) und Score-Based Diffusion Models (SBDM), versagen oft dabei, hochgradig originalgetreue und diverse Bilder für diese unterrepräsentierten Klassen zu erzeugen, ohne die Qualität der Head-Klassen zu beeinträchtigen. Obwohl kontrastives Lernen für die Long-Tailed-Erkennung und GAN-basierte Generierung effektiv nachgewiesen wurde, erfordert seine Anwendung auf Diffusionsmodelle für klassenimbalancierte Generierung eine neuartige Anpassung, um die spezifische Mechanik des Entrauschungsprozesses zu adressieren.

Methodik: Kontrastive konditionale–unkonditionale Ausrichtung (CCUA)

Die Autoren schlagen CCUA vor, ein Framework aus zwei synergetischen Verlustfunktionen, die darauf ausgelegt sind, die Diversität und Originalgetreue von Tail-Klassen-Bildern zu verbessern, während die Qualität der Head-Klassen beibehalten wird. Die Methode ist sowohl mit U-Net-basierten Architekturen als auch mit Diffusion Transformern (DiT/SiT) kompatibel.

1. Unüberwachter kontrastiver Verlust (UCL) für unkonditionale Generierung

Um Mode Collapse zu adressieren, führen die Autoren einen unüberwachten kontrastiven Verlust ein, der auf unkonditionale latente Repräsentationen angewendet wird.

Mechanismus: Das Rauschschätzungsnetzwerk wird in einen latenten Encoder $e(\cdot)$ und einen Decoder $d(\cdot)$ aufgeteilt. Der Encoder bildet verrauschte Bilder $x_t$ auf niedrigdimensionale Latente $h$ ab.
Verlustformulierung: Der Verlust verwendet eine InfoNCE-ähnliche Formulierung mit nur negativen Proben. Innerhalb eines Mini-Batches dient jedes Bild als Anker, und alle anderen Bilder im Batch dienen als negative Proben. Es werden keine positiven Paare durch Datenaugmentation erstellt; der Anker wird als sein eigener positiver Vektor behandelt.
Zielsetzung: Dies erzeugt eine „Abstoßungskraft“ im latenten Raum, welche den Abstand zwischen synthetischen Bildern maximiert, unabhängig von deren Klasse. Dies zwingt das Modell, unkonditionale Latente zu diversifizieren, was verhindert, dass sie zu einem konstanten Vektor kollabieren oder sich an begrenzte Trainingsbeispiele überanpassen.
Theoretische Rechtfertigung: Die direkte Anwendung eines kontrastiven Verlusts auf konditionale Latente kann zu einer trivialen Lösung führen, bei der das Modell die Inter-Klassen-Diversität maximiert (Trennung der Klassen), während die Intra-Klassen-Diversität ignoriert wird. Durch die Anwendung des Verlusts auf unkonditionale Latente wird das Modell gezwungen, alle Proben zu diversifizieren, was dann über den zweiten Verlust in die konditionale Generierung destilliert wird.

2. Alignment-Verlust (AL) für die konditionale–unkonditionale Ausrichtung

Die zweite Komponente richtet die konditionale Generierung an der diversifizierten unkonditionalen Generierung aus.

Mechanismus: Der Verlust minimiert die KL-Divergenz zwischen der konditionalen Verteilung $p_\theta(x_{t-1}|x_t, c)$ und der unkonditionalen Verteilung $p_\theta(x_{t-1}|x_t)$ . In der Praxis wird dies zu einem MSE-Verlust zwischen dem geschätzten Rauschen $\epsilon_\theta(x_t, t, c)$ und $\epsilon_\theta(x_t, t, \emptyset)$ vereinfacht.
Zeitgewichtung: Entscheidend ist, dass diese Ausrichtung bei großen Zeitschritten (den initialen Schritten des reversen Prozesses) stärker gewichtet wird.
Motivation: Die Autoren beobachten, dass während der initialen Entrauschungsschritte die niederfrequenten Komponenten von Bildern verschiedener Klassen (sowie zwischen konditionaler und unkonditionaler Generierung) hochgradig ähnlich sind. Durch die Ausrichtung dieser initialen Schritte ermöglicht das Modell den Wissensaustausch (Knowledge Sharing) von Head-Klassen (reichlich vorhandene Daten) zu Tail-Klassen (knappe Daten). Dies erlaubt es Tail-Klassen, von der reichen Diversität zu profitieren, die Head-Klassen während der frühen Phasen der Generierung lernen.

3. Synergie

Das Framework kombiniert den Standard-DDPM-Verlust mit dem vorgeschlagenen CCUA-Verlust:
$\mathcal{L}_{total} = \mathcal{L}_{ddpm} + \alpha \cdot \mathcal{L}_{ucl} + \gamma \cdot \mathcal{L}_{al}$
Die Synergie liegt darin, dass UCL den unkonditionalen latenten Raum diversifiziert und AL den konditionalen latenten Raum an diesen diversifizierten unkonditionalen Raum anpasst. Diese indirekte Diversifizierung der konditionalen Latente erweist sich empirisch als effektiver als die direkte Anwendung von kontrastivem Verlust auf konditionale Latente.

Zentrale Beiträge

CCUA-Framework: Eine neuartige Methode für klassenimbalancierte Diffusionsmodelle, die unüberwachtes kontrastives Lernen auf unkonditionalen Latenten mit einem konditional-unkonditionalen Alignment-Verlust kombiniert.
Alignment-Strategie: Der Vorschlag, die konditionale und unkonditionale Generierung spezifisch bei großen Zeitschritten (initiale Entrauschungsschritte) auszurichten, um die Ähnlichkeit der niederfrequenten Komponenten zu nutzen und den Wissenstransfer von Head- zu Tail-Klassen zu ermöglichen.
Unüberwachte kontrastive Regularisierung: Die Verwendung eines unüberwachten kontrastiven Verlusts mit nur negativen Proben auf unkonditionalen Latenten, um die Intra-Klassen- und Inter-Klassen-Diversität zu maximieren, ohne Klasslabels für die kontrastiven Paare zu benötigen.
Architektur-Agnostizismus: Es wird demonstriert, dass die Methode sowohl für U-Net-basierte Architekturen als auch für Diffusion Transformer (SiT) effektiv ist.

Experimentelle Ergebnisse

Die Methode wurde auf den Datensätzen ImageNet-LT (256×256), TinyImageNet-LT (64×64), Places-LT (64×64) und CIFAR-LT evaluiert.

Quantitative Leistung:
- Auf ImageNet-LT übertrifft CCUA die Baselines wie SiT, CBDM, REPA und Dispersive Loss signifikant.
- Bei 900k Trainingsschritten erreichte CCUA einen FID von 15,1 (gegenüber 19,9 bei SiT) und einen FID $_{tail}$ von 22,5 (gegenüber 33,9 bei SiT), was eine Verbesserung der Fidelity der Tail-Klassen um ca. 11,4 Punkte darstellt.
- Die Methode verbesserte zudem die Metriken Recall (Diversität) und Precision (Fidelity) flächendeckend.
- Auf TinyImageNet-LT erreichte CCUA den besten FID (12,0) und FID $_{tail}$ (20,8) und übertraf damit DDPM, CBDM und OCLT.
Qualitative Ergebnisse: Visualisierungen zeigen, dass CCCA Bilder mit höherer Diversität und Fidelity für Tail-Klassen (z. B. „roter Wein“, „Espresso“, „Fensterladen“) generiert als der Standard-SiT, der für diese Klassen oft repetitive oder qualitativ minderwertige Bilder produziert.
Ablationsstudien:
- Die Kombination beider Verluste ist notwendig; die Verwendung von nur einem führt zu suboptimalen Ergebnissen.
- Die Anwendung des Alignment-Verlusts bei großen Zeitschritten (lineare Gewichtung) ist einer konstanten oder quadratischen Gewichtung überlegen.
- Die Verwendung von latenten Repräsentationen aus dem N/4-ten Block des Transformers bietet im Allgemeinen den besten Kompromiss zwischen overall FID und räumlichem FID/Recall.

Bedeutung und Behauptungen

Das Paper behauptet, dass CCUA das Long-Tailed-Generierungsproblem effektiv adressiert, indem es Prinzipien aus Long-Tailed-GANs (speziell unkonditioniertes Training bei niedrigeren Auflösungen/frühen Stadien) auf das Diffusionsparadigma überträgt. Durch die Entkopplung der Diversifizierungsaufgabe (gehandhabt durch unkonditionelles kontrastives Lernen) von der Konditionierungsaufgabe (gehandhabt durch Alignment) vermeidet die Methode die Fallstricke direkter konditionaler kontrastiver Regularisierung.

Die Autoren betonen, dass ihr Ansatz:

Die Generierung von Tail-Klassen verbessert, ohne die Qualität der Head-Klassen zu verschlechtern.
Einfach in bestehende DDPM- und SBDM-Pipelines zu implementieren ist.
Gleichzeitige Arbeiten wie Dispersive Loss und DiffROP übertrifft, insbesondere in Szenarien mit extremer Klassenimbalance (z. B. ImageNet-LT mit einem Imbalance-Faktor von 0,001).
Eine theoretische und empirische Rechtfertigung dafür liefert, warum die Ausrichtung der konditionalen und unkonditionalen Generierung in den initialen Schritten des reversen Prozesses für den Wissenstransfer in Long-Tailed-Settings vorteilhaft ist.