🤖 machine learning

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

Dieser Beitrag führt JEPA-Guidance ein, ein Diffusions-Sampling-Framework, das Joint-Embedding Predictive Architecture (JEPA)-Weltmodelle nutzt, um Minderheitenstichproben basierend auf realweltlicher semantischer Seltenheit statt modellspezifischer Dichten zu definieren und zu generieren, wodurch die Fidelity und Validität generierter Niedrigdichte-Instanzen über verschiedene Generierungsaufgaben hinweg verbessert werden.

Ursprüngliche Autoren: Sol Park, Soobin Um

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sol Park, Soobin Um

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Echokammer" der KI-Kunst

Stellen Sie sich vor, Sie bitten einen KI-Künstler, ein Bild eines „seltenen Tieres" zu zeichnen. Die meisten heutigen KI-Modelle sind wie Echokammern. Sie wurden mit Millionen von Fotos aus dem Internet trainiert. Wenn sie 1.000 Fotos eines Hundes auf weißem Hintergrund sehen, halten sie das für die „normale" Art, wie ein Hund aussieht. Wenn Sie nach einem „seltenen" Hund fragen, zeichnet die KI vielleicht einen Hund mit einer seltsamen Farbe oder einer komischen Pose, aber es ist immer noch nur ein Hund auf weißem Hintergrund.

Das Paper argumentiert, dass die aktuellen KI-Methoden zum Auffinden „seltener" Dinge begrenzt sind, weil sie nur nach Dingen suchen, die innerhalb des eigenen Gedächtnisses der KI selten sind. Sie verstehen nicht, was in der realen Welt tatsächlich selten ist. Ein „Stealth-Jet" ist beispielsweise in der realen Welt genuinely selten, aber wenn die KI noch nie einen gesehen hat, weiß sie nicht, dass sie ihn als „selten" darstellen soll. Stattdessen zeichnet sie vielleicht einfach einen sehr unscharfen Hund.

Die Lösung: Ein neuer Führer (JEPA)

Die Autoren schlagen eine neue Methode vor, um der KI beizubringen, was „selten" wirklich bedeutet. Sie führen einen neuen Führer namens JEPA (Joint-Embedding Predictive Architecture) ein.

Stellen Sie sich den KI-Zeichnungsprozess (Diffusion) als einen Wanderer vor, der versucht, eine versteckte Höhle in einem riesigen, nebligen Gebirge zu finden.

Der alte Weg: Der Wanderer hat nur eine Karte des Gebiets, das er gerade durchquert hat (die Trainingsdaten). Er sucht nach einer Höhle, die relativ zu dem Weg, den er gerade gegangen ist, versteckt ist. Er mag ein kleines Loch in einem bekannten Felsen finden, verpasst aber das massive, einzigartige Höhlensystem, das anderswo auf der Welt existiert.
Der neue Weg (JEPA-Führung): Der Wanderer erhält nun einen Satellitenblick auf den gesamten Planeten (den „World Prior"). Dieser Satellitenblick wurde von einem superklugen Beobachter (JEPA) erstellt, der Milliarden von Bildern gesehen hat und die wahre Geographie der Welt versteht. Dieser Führer sagt dem Wanderer: „Suche nicht nach einem Loch im Felsen, auf dem du stehst. Suche nach dem Ort, an dem das Gelände wirklich einzigartig und unberührt ist, wie ein Stealth-Jet in einem Himmel voller Vögel."

Wie es funktioniert: Die Jagd nach „niedriger Dichte"

In der Welt der KI sind „dichte" Bereiche dort, wo die meisten Dinge leben (wie ein überfüllter Stadtplatz). „Niedrigdichte" Bereiche sind die leeren, ruhigen Orte (wie eine Wüste oder eine geheime Basis).

Das Ziel: Das Paper möchte, dass die KI Bilder aus diesen „niedrigdichten" Bereichen generiert, die in der realen Welt genuinely selten sind, nicht nur selten im Trainingsset der KI.
Der Trick: Die KI nutzt den JEPA-Führer, um ihre Arbeit während des Zeichnens zu überprüfen. In jedem Schritt des Zeichnungsprozesses fragt sie den JEPA-Führer: „Ist dieses Bild in der realen Welt üblich oder selten?"
Die Steuerung: Wenn das Bild zu „üblich" wird (wie ein Standardhund), drängt der Führer die Zeichnung in die „seltene" Richtung (wie ein Hund mit Flügeln oder ein Stealth-Jet). Er lenkt die KI weg vom überfüllten Stadtplatz hin zu den ruhigen, einzigartigen Ecken der Welt.

Schneller machen: Der „Abkürzungsweg"

Die Berechnung dieser „realen Seltenheit" ist normalerweise sehr langsam und aufwendig, wie der Versuch, jeden einzelnen Sandkorn an einem Strand zu zählen, um ein bestimmtes zu finden. Das Paper stellt einen mathematischen Abkürzungsweg vor (unter Verwendung von Randomized SVD und dem Envelope Theorem).

Stellen Sie sich vor, Sie müssen einen riesigen Felsbrocken wiegen. Anstatt das ganze Ding zu heben, nehmen Sie ein paar clevere Messungen seiner Oberfläche vor und verwenden eine Formel, um das Gewicht mit unglaublicher Genauigkeit zu schätzen. Dies ermöglicht es der KI, den „World Prior"-Führer zu nutzen, ohne den Zeichnungsprozess zu stark zu verlangsamen.

Die Ergebnisse: Besser, seltsamer und realistischer

Das Paper testete dies an mehreren Aufgaben:

Gesichter zeichnen: Anstatt nur seltsam aussehende Gesichter zu machen, generierte es Gesichter, die genuinely einzigartig waren (z. B. spezifische seltene Merkmale), anstatt nur unordentlich.
Tiere zeichnen: Es generierte erfolgreich Dinge wie „Stealth-Jets" oder „Strauße", die in der realen Welt selten sind, während andere Methoden nur seltsam aussehende Hunde machten.
Text-zu-Bild: Wenn es gebeten wurde, spezifische Szenen zu zeichnen, erstellte es Bilder, die sowohl textgetreu als auch überraschend einzigartig waren und den „langweiligen Durchschnitt"-Look vermieden.

Warum das wichtig ist

Die Autoren zeigen, dass wir durch die Verwendung eines „World Prior" (JEPA) anstelle von nur dem „Gedächtnis der KI" (Generative Prior) KI-Kunst schaffen können, die überraschender und authentischer wirkt. Es ist der Unterschied zwischen einer KI, die nur weiß, was sie zuvor gesehen hat, und einer KI, die die breitere, seltsamere Realität der Welt versteht.

Kurz gesagt: Dieses Paper lehrt die KI, aufzuhören, nach seltenen Dingen in ihrem eigenen Garten zu suchen, und beginnt, die ganze Welt zu erkunden, um wirklich einzigartige und interessante Bilder zu finden.

Problemstellung

Minority Sampling zielt darauf ab, Instanzen mit niedriger Dichte auf einem Datenmanifold zu generieren, was für Anwendungen wie medizinische Diagnose, Anomalieerkennung und kreative KI entscheidend ist. Bestehende Ansätze definieren „Minderheit" jedoch relativ zum vom Modell selbst erlernten generativen Prior (d. h. der Verteilung der Trainingsdaten). Dies schafft eine grundlegende Einschränkung: Als „selten" identifizierte Proben sind oft lediglich Artefakte des spezifischen Trainingsdatensatzes oder der induktiven Verzerrungen des Modells, statt wirklich atypischer Instanzen in der realen Welt. Ein Modell, das auf Standarddatensätzen trainiert wurde, könnte beispielsweise einen Hund auf weißem Hintergrund als „selten" betrachten, einfach weil er im Trainingsdatensatz unterrepräsentiert ist, während ein Tarnkappenflugzeug in der realen Welt tatsächlich selten sein könnte, aber nicht als solcher erfasst wird, wenn der Prior des Modells zu eng gefasst ist. Das Paper argumentiert, dass aktuelle Methoden versagen, sich mit Priors der realen Welt abzugleichen, die notwendig sind, um echte semantische Seltenheit zu erfassen.

Methodik: JEPA-Guidance

Die Autoren schlagen JEPA Guidance vor, ein Framework, das Minority Sampling von einer generatorzentrierten Perspektive auf eine weltzentrierte verlagert. Dies wird erreicht, indem Diffusionsmodelle unter Verwendung der impliziten Dichte einer Joint-Embedding Predictive Architecture (JEPA) gelenkt werden, einer Klasse von Weltmodellen (z. B. DINOv2), die für die Kodierung breiter, semantisch reicher Repräsentationen bekannt sind.

Kernmechanismus:

Weltzentrierte Definition: Anstatt die Wahrscheinlichkeit unter der Dichte $p_\theta(x)$ des Diffusionsmodells zu minimieren, strebt die Methode an, die Wahrscheinlichkeit unter der JEPA-induzierten Dichte $p_\phi(x)$ zu minimieren. Minority-Proben werden als diejenigen definiert, die in Bereichen niedriger Dichte des JEPA-Repräsentationsraums liegen.
JEPA-SCORE: Die Methode nutzt JEPA-SCORE, ein Dichtemaß, das aus der Jacobi-Matrix eines vortrainierten JEPA-Encoders $f_\phi$ abgeleitet ist. Konkret ist es die Summe der Logarithmen der Singulärwerte der Jacobi-Matrix $J_f(x)$ . Niedrigere JEPA-SCORE-Werte deuten auf eine geringere Dichte (höhere Atypikalität) im Welt-Prior hin.
Approximation via Randomized SVD: Die Berechnung der vollen Jacobi-Matrix und ihrer Singulärwertzerlegung (SVD) bei jedem Diffusionsschritt ist rechnerisch prohibitiv. Die Autoren setzen Randomized SVD ein, um die top- $k$ Singulärwerte der komprimierten Jacobi-Matrix effizient zu approximieren. Sie liefern eine theoretische obere Schranke für den Approximationsfehler, der in den Schätzfehler der Randomized SVD und den Truncierungsfehler zerlegt wird.
Hüllkurven-Theorem für Effizienz: Um eine Rückwärtspropagierung durch die innere Optimierungsschleife der Randomized SVD zu vermeiden (die vom Eingabewert $x_t$ abhängt), greifen die Autoren auf das Hüllkurven-Theorem (Envelope Theorem) zurück. Dies ermöglicht es ihnen, die optimale Projektionsmatrix $Q^*$ während der Gradientenberechnung als Konstante zu behandeln, was den Speicherbedarf und den Rechenaufwand erheblich reduziert, während korrekte Gradienten erster Ordnung erhalten bleiben.
Verzögerte Guidance: Um die Domänenlücke zwischen den verrauschten intermediären Latents des Diffusionsmodells und den sauberen Eingaben zu überbrücken, die vom JEPA-Encoder erwartet werden, führen die Autoren verzögerte Guidance ein. JEPA Guidance wird erst nach einem intermediären Zeitschritt $\tau T$ (z. B. $t=0.8T$ ) angewendet, wodurch sichergestellt wird, dass die entrauschten Schätzungen $\hat{x}_{0|t}$ für den JEPA-Encoder ausreichend klar sind, um effektiv zu bewerten. Dies ermöglicht zudem die Erweiterung der Methode auf bedingte Generierung (z. B. Text-zu-Bild), da die Bedingung früh im Prozess etabliert wird, bevor die weltzentrierte Guidance beginnt.

Hauptbeiträge

Weltzentriertes Minority Sampling: Ein Paradigmenwechsel, der Minority-Proben neu definiert basierend auf Priors der realen Welt (via JEPAs) anstatt auf den engen Priors des generativen Modells.
JEPA-Guidance-Framework: Eine prinzipielle Diffusions-Sampling-Methode, die Trajektorien in Richtung von Bereichen niedriger Dichte unter JEPA-induzierten Priors lenkt.
Effiziente Berechnung: Die Entwicklung prinzipieller Approximationsstrategien (Randomized SVD) und die Anwendung des Hüllkurven-Theorems, um JEPA Guidance rechnerisch praktikabel zu machen, begleitet von theoretischen Fehlerschranken.
Training-freie Integration: Der Ansatz ist vollständig training-frei, erfordert nur vortrainierte Diffusions- und JEPA-Modelle und kann zur Inferenzzeit integriert werden, ohne die zugrunde liegenden Modelle zu modifizieren.

Experimentelle Ergebnisse

Die Autoren evaluierten JEPA Guidance über Aufgaben der unbedingten, klassenbedingten und Text-zu-Bild-Generierung hinweg (unter Verwendung von CelebA, ImageNet, Stable Diffusion 1.5 und SDXL-Lightning).

Atypikalität: JEPA Guidance erzielt konsistent den niedrigsten JEPA-SCORE (was eine höhere Atypikalität unter Welt-Priors anzeigt) im Vergleich zu Baselines wie Sehwag et al. (2022), MG, SGMS und MinorityPrompt.
Fidelität und Validität: Trotz der Zielsetzung, seltene Bereiche zu treffen, behält die Methode eine hohe Fidelität bei. In Text-zu-Bild-Aufgaben erzielt sie konkurrenzfähige Text-Alignment-Scores (CLIPScore, PickScore, ImageReward), während sie semantisch distinkte Proben generiert (z. B. älteres Militärpersonal, afroamerikanische Baseballspieler), die andere Methoden nicht produzieren können.
Qualitativer Vergleich: Visualisierungen zeigen, dass generatorzentrierte Methoden oft Proben mit atypischen Kontexten produzieren (z. B. ein Adler in der Nähe eines Krans), während JEPA Guidance Proben mit atypischen Semantiken oder Verhalten erzeugt (z. B. sich paarende Adler, ungewöhnliche Tierformen), was besser mit der Seltenheit in der realen Welt übereinstimmt.
Downstream-Nutzen: In einer Daten-Augmentationsaufgabe für das Klassifikator-Training führte die Augmentierung mit JEPA-geführten Minority-Proben zu überlegenen oder vergleichbaren Leistungen als andere Methoden bei Verwendung weniger Proben, was darauf hindeutet, dass diese Proben informativere Trainingssignale liefern.

Bedeutung und Behauptungen

Das Paper behauptet, dass JEPA Guidance eine robuste Lösung für die Einschränkung bestehender Minority-Sampler bietet, die innerhalb der eigenen Verteilung des generativen Modells gefangen sind. Durch die Nutzung von Weltmodellen (JEPAs) generiert die Methode Proben, die in der realen Welt genuinely selten sind, nicht nur selten relativ zu einem spezifischen Datensatz.

Die Autoren betonen, dass dieser Ansatz:

Das Konzept der Minderheit vom generativen Prior entkoppelt.
Die Lücke zwischen generativer Modellierung und Weltmodellierung überbrückt, eine Schlüsselkomponente auf dem Weg zu künstlicher allgemeiner Intelligenz.
Ein praktisches, training-freies Werkzeug für Anwendungen bereitstellt, die diverse und atypische Daten erfordern, wie z. B. Robustheitstests, Verbesserung der Fairness und Generierung kreativer Inhalte.

Die Autoren erkennen zudem eine potenzielle Dual-Use-Besorgnis an: Die Umkehrung der Guidance-Richtung könnte bestehende Verzerrungen in Welt-Priors verstärken, und sie ermutigen zu einem verantwortungsvollen Umgang. Sie stellen fest, dass die Methode zwar im Vergleich zu Standard-Samplern einen rechnerischen Overhead einführt, aber dennoch schneller ist als einige komplexe Baselines (wie MinorityPrompt) und einen angemessenen Kompromiss für den signifikanten Gewinn an weltzentrierter Atypikalität bietet.