GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models

Die Arbeit stellt GEPC vor, eine training-freie Methode zur Erkennung von Out-of-Distribution-Daten in Diffusionsmodellen, die die Inkonsistenz der gelernten Score-Felder unter Gruppen-Transformationen nutzt, um eine robuste und interpretierbare Anomalieerkennung zu ermöglichen.

Das Wesentliche

Das große Problem: Der "verwirrte Künstler"

Stell dir vor, du hast einen genialen Maler (das ist das Diffusionsmodell), der gelernt hat, wie man wunderschöne Bilder von Hunden, Autos oder Wolken malt. Er hat Millionen von Bildern gesehen und kennt die Regeln: Ein Hund hat vier Beine, ein Auto hat Räder, und Wolken sind meist rundlich.

Wenn du ihm jetzt ein Bild zeigst, das er noch nie gesehen hat (ein OOD-Bild – "Out-of-Distribution"), versucht er trotzdem, es zu verstehen.

• Der alte Weg: Früher haben Computer versucht zu messen, wie "seltsam" ein Bild aussieht. Ist es zu dunkel? Zu bunt? Haben die Pixel eine seltsame Form? Das ist wie zu versuchen, einen Betrüger daran zu erkennen, dass er eine seltsame Stimme hat. Aber manchmal sieht der Betrüger ganz normal aus, ist aber trotzdem ein Betrüger.
• Das neue Problem: Der Maler ist so gut geworden, dass er auch seltsame Bilder oft "schön" aussehen lässt. Er kann fast alles malen. Deshalb reicht es nicht mehr, nur auf die Helligkeit oder die Form zu schauen.

Die neue Idee: Der "Spiegel-Test" (GEPC)

Die Autoren von GEPC haben eine geniale, aber einfache Idee: Wir prüfen nicht, ob das Bild schön aussieht, sondern ob es sich "richtig" verhält, wenn wir es drehen oder spiegeln.

Stell dir vor, du hast einen perfekten Spiegel.

1. Du nimmst ein Bild eines echten Hundes (das ist ID – "In-Distribution").
2. Du drehst das Bild um 90 Grad.
3. Der Maler (das Modell) schaut sich das gedrehte Bild an und sagt: "Das ist immer noch ein Hund, nur schief."
4. Dann drehst du das Bild wieder zurück. Der Maler sollte genau dieselbe Beschreibung geben wie vorher. Das ist Konsistenz.

Aber was passiert bei einem Betrüger (OOD)?
Stell dir vor, du zeigst dem Maler ein Bild, das aus dem Nichts entstanden ist – vielleicht ein wirres Durcheinander aus Farben oder ein Objekt, das in der realen Welt nicht existiert (z. B. ein Schiff mitten in einer Wüste, wenn das Modell nur Ozeane kennt).

• Wenn du dieses seltsame Bild drehst, reagiert der Maler chaotisch.
• Er sagt beim gedrehten Bild: "Das ist ein Schiff!" und beim zurückgedrehten Bild: "Das ist ein Vogel!"
• Das ist der Bruch! Die Antwort des Künstlers ist nicht mehr konsistent, egal wie du das Bild drehst.

GEPC (Group-Equivariant Posterior Consistency) ist im Grunde ein Spiegel-Test für künstliche Intelligenz.

• Es nimmt ein Bild.
• Es dreht und spiegelt es (wie in einem Kaleidoskop).
• Es fragt die KI: "Was siehst du jetzt?"
• Es vergleicht die Antworten.
• Wenn die KI verwirrt ist und ihre Antworten nicht übereinstimmen, wenn man das Bild dreht, dann ist das Bild verdächtig (OOD).

Warum ist das so toll?

1. Kein neues Training nötig: Du musst den Maler nicht neu ausbilden. Du nutzt einfach den, der schon fertig ist. Es ist wie ein neuer Test für einen alten Lehrer.
2. Es funktioniert auch bei "Rauschen": Die KI schaut sich das Bild nicht in seiner perfekten Form an, sondern in einer Version, die noch etwas "verrauscht" ist (wie ein Bild, das man durch Milchglas betrachtet). Selbst in diesem Zustand sollte ein echtes Objekt konsistent reagieren. Ein Betrüger nicht.
3. Es zeigt, wo der Fehler liegt: GEPC kann nicht nur sagen "Das ist falsch", sondern es kann eine Wärmekarte erstellen. Stell dir vor, das Bild leuchtet rot dort auf, wo die KI verwirrt ist.
   • Beispiel aus dem Papier: Bei Radar-Bildern (die wie verrauschte Satellitenbilder aussehen) kann GEPC genau zeigen, wo ein Schiff im Meer ist, weil dort die "Symmetrie" bricht. Das Schiff ist das "Ungeheuer" im gleichmäßigen Ozean.

Die Analogie: Der Musik-Test

Stell dir vor, du hast einen Musik-Experten, der nur klassische Musik kennt.

• Echte Musik (ID): Wenn du ein klassisches Stück umdrehst (rückwärts abspielen), klingt es zwar seltsam, aber die Struktur der Noten bleibt logisch. Der Experte erkennt die Muster.
• Falsche Musik (OOD): Wenn du ein zufälliges Geräusch (Klappern von Besteck) abspielst und es umdrehst, ist das Chaos komplett. Der Experte kann keine Muster mehr finden.

GEPC fragt den Experten: "Wenn ich das Lied umdrehe, bleibt die Logik erhalten?" Wenn die Antwort "Nein" ist, dann ist es keine echte Musik.

Zusammenfassung für den Alltag

GEPC ist wie ein Sicherheitscheck für KI-Modelle. Anstatt zu fragen "Sieht das Bild normal aus?", fragt es: "Verhält sich das Bild logisch, wenn ich es drehen und spiegeln?"

• Echte Bilder: Verhalten sich vorhersehbar (konsistent).
• Fremde/Betrügerische Bilder: Verhalten sich chaotisch und inkonsistent.

Das ist besonders nützlich, um Fehler in sicherheitskritischen Bereichen zu finden, wie zum Beispiel bei der Erkennung von Schiffen auf dem Meer oder bei medizinischen Bildern, wo ein "falsches" Bild lebenswichtig sein kann. Und das Beste: Es ist schnell, braucht keine neuen Trainingsdaten und zeigt uns genau, wo das Modell "verrückt" wird.

Technische Zusammenfassung

1. Problemstellung

Die Erkennung von Out-of-Distribution (OOD) Eingaben ist eine fundamentale Herausforderung für den zuverlässigen Einsatz von Machine-Learning-Modellen. Während Diffusionsmodelle (Diffusion Models) aufgrund ihrer starken generativen Priors zunehmend für die OOD- und Anomalieerkennung eingesetzt werden, nutzen die meisten bestehenden Methoden (z. B. basierend auf Trajektorien-Energie, Krümmung oder Kovarianz-Spektren) hauptsächlich die Betragsgroße des Scores ($s_\theta$) oder lokale geometrische Eigenschaften.

Ein entscheidender Aspekt wird dabei oft ignoriert: Die Equivarianz (Symmetrieerhaltung). Diffusionsmodelle, die auf Daten mit bestimmten Symmetrien (z. B. Rotationen, Spiegelungen, zyklische Verschiebungen) trainiert wurden und konvolutionale Backbones verwenden, lernen Score-Felder, die diese Symmetrien approximativ继承 (erben). Die Autoren stellen die Hypothese auf, dass OOD-Eingaben, die diese gelernten Symmetrien verletzen oder weit entfernt von der In-Distribution (ID) Mannigfaltigkeit liegen, zu einem Bruch der Posterior-Konsistenz führen. Bisherige Methoden testen dies jedoch nicht systematisch, ohne dabei auf rechenintensive Jacobian-Berechnungen oder zusätzliche Reverse-Schritte angewiesen zu sein.

2. Methodik: GEPC (Group-Equivariant Posterior Consistency)

GEPC ist ein training-freier Ansatz, der die Konsistenz des gelernten Score-Feldes unter einer endlichen Gruppe $G$ von Transformationen misst.

Kernidee:
Wenn ein ID-Sample $x_0$ in das Rauschen $x_t$ überführt wird, sollte das vorhergesagte Score-Feld $s_\theta(x_t, t)$ unter einer Gruppenoperation $g \in G$ (z. B. Rotation) equivariant sein. Das bedeutet, dass das transformierte Score-Feld, zurücktransportiert in den ursprünglichen Raum, mit dem ursprünglichen Score übereinstimmen sollte. Bei OOD-Daten bricht diese Konsistenz.

Algorithmus:

1. Forward Noising: Ein Eingabebild $x_0$ wird zu einem Zeitpunkt $t$ verrauscht zu $x_t$.
2. Group Transport: Das verrauschte Bild wird mit einem Operator $P_g$ aus der Gruppe $G$ transformiert ($P_g x_t$).
3. Score Evaluation & Transport Back: Das Score-Feld wird für das transformierte Bild berechnet: $s_\theta(P_g x_t, t)$. Dieses Ergebnis wird dann mit $P_g^{-1}$ (bzw. $P_g^\top$) zurück in den ursprünglichen Raum transportiert.
4. Residual Berechnung: Die Differenz (Residuum) zwischen dem zurücktransportierten Score und dem ursprünglichen Score wird berechnet:
   $$\Delta_g s_\theta(x_t, t) = P_g^{-1} s_\theta(P_g x_t, t) - s_\theta(x_t, t)$$
5. Aggregation: Die quadrierten $L_2$-Normen dieser Residuen werden über die Gruppe $G$ und über ausgewählte Zeitpunkte $t$ gemittelt.
6. Kalibrierung: Die resultierende Statistik wird nur mit ID-Daten kalibriert (z. B. mittels KDE oder Z-Score), um einen finalen OOD-Score zu erhalten.

Vorteile gegenüber bestehenden Methoden:

• Keine Jacobian-Berechnung: Im Gegensatz zu Methoden, die auf Krümmung (Hessian) basieren, benötigt GEPC keine Ableitungen des Scores.
• Training-frei: Es erfordert kein Fine-Tuning des Diffusionsmodells.
• Interpretierbarkeit: GEPC erzeugt räumliche Heatmaps, die genau zeigen, wo im Bild die Symmetrie gebrochen wird (z. B. bei Schiffen in SAR-Bildern).

3. Theoretische Grundlagen

Die Autoren leiten theoretische Schranken für den erwarteten GEPC-Residual her:

• In-Distribution (ID): Unter milden Annahmen (das Modell ist gut trainiert und die Daten sind annähernd invariant) ist der erwartete Residualwert klein (Upper Bound).
• Out-of-Distribution (OOD): Für OOD-Daten, die die Invarianz verletzen, wächst der Residualwert signifikant an (Lower Bound).
• Cross-Backbone-Szenario: Selbst wenn das Diffusionsmodell auf einer anderen Verteilung (z. B. LSUN) trainiert wurde als die Testdaten (z. B. Radar-SAR), steigt der Score mit dem Abstand zur Quell-Mannigfaltigkeit an. Dies wird durch Lipschitz-Stetigkeitsannahmen des Denoisers begründet.

4. Wichtige Beiträge

1. Einführung von GEPC: Ein neuer, training-freier OOD-Score, der die Gruppenkonsistenz von Diffusions-Score-Feldern testet.
2. Praktische Rezeptur: Eine effiziente Implementierung mit Stabilitäts-basierter Auswahl der Zeitpunkte, ID-only-Kalibrierung und stochastischer Subsampling von Gruppen-Elementen.
3. Theoretische Analyse: Herleitung von Upper Bounds für ID und Lower Bounds für OOD, die den Zusammenhang zwischen Symmetriebruch und OOD-Detektion formalisieren.
4. Empirische Validierung: Demonstration der Leistungsfähigkeit auf Standard-Benchmarks (CIFAR, SVHN) und in einem hochauflösenden, domänenübergreifenden Szenario (Radar-SAR).

5. Ergebnisse

Die Evaluation erfolgte in zwei Hauptregimen:

• Standard-Benchmarks (32x32 Bilder):

  • GEPC wurde auf einem einzigen, auf CelebA trainierten Diffusions-Backbone getestet und gegen diverse SOTA-Methoden (z. B. SCOPED, DiffPath, Energy-basierte Scores) verglichen.
  • Ergebnis: GEPC erreicht wettbewerbsfähige bis überlegene AUROC-Werte, bleibt dabei aber rechnerisch sehr effizient (ähnlich wie einfache Score-Norm-Methoden, aber deutlich genauer). Es benötigt keine Jacobian-Vektor-Produkte (JVPs).

• Domänenübergreifende Anwendung (Radar SAR):

  • Ein auf LSUN-256 trainiertes Modell wurde ohne Anpassung auf hochauflösende Synthetic Aperture Radar (SAR) Bilder angewendet, um Schiffe und deren Kielwasser in Seetextur (Clutter) zu detektieren.
  • Ergebnis: GEPC zeigte eine starke Trennung zwischen Hintergrund (ID) und Zielen (OOD).
  • Interpretierbarkeit: Die erzeugten „Equivariance-Breaking Maps" visualisieren präzise die Position der Schiffe, da diese die Symmetrie des natürlichen Seeraums brechen, während der Hintergrund (Wellen/Clutter) symmetrischer ist.

6. Bedeutung und Fazit

GEPC stellt einen Paradigmenwechsel dar, indem es Symmetriebruch als primäres Signal für OOD-Detektion nutzt, anstatt nur auf Wahrscheinlichkeiten oder lokale Geometrie zu schauen.

• Effizienz: Es ist rechnerisch leichtgewichtig und vermeidet teure Jacobian-Berechnungen.
• Robustheit: Es funktioniert auch in „Cross-Backbone"-Szenarien, wo das generative Modell nicht exakt auf die Testdomäne trainiert wurde.
• Interpretierbarkeit: Die Fähigkeit, räumliche Karten zu generieren, die Anomalien lokalisieren, macht GEPC besonders wertvoll für sicherheitskritische Anwendungen wie die Überwachung von Radarbildern oder medizinische Bildgebung.

Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung in diesem Bereich fördert.