💻 computer science

The Signal in the Noise: OOD Detection Through Goodness-of-Fit Testing in Factorised Latent Spaces

Dieser Beitrag stellt Signal in the Noise (SITN) vor, eine neuartige Methode zur Erkennung von Out-of-Distribution-Daten, die die Eigenschaften kontinuierlicher normalisierender Flows nutzt, um atypische Rauschzuordnungen in faktorisierten latenten Räumen zu identifizieren und damit die Unzuverlässigkeit traditioneller likelihood-basierter Indikatoren überwindet, ohne OOD-Daten zu benötigen oder erhebliche Rechenkosten zu verursachen.

Ursprüngliche Autoren: Philipp Bomatter, Jack Geary, Henry Gouk

Veröffentlicht 2026-05-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Philipp Bomatter, Jack Geary, Henry Gouk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der Jahre damit verbracht hat, eine bestimmte Kunstgattung zu studieren, sagen wir, impressionistische Gemälde. Er weiß genau, wie ein „normaler" impressionistischer Gemälde aussieht: die Pinselstriche, die Farben, die Art, wie das Licht die Leinwand trifft.

Nun zeigen Sie dem Roboter ein Bild einer modernen Graffiti-Wand. Der Roboter muss entscheiden: „Ist dies ein impressionistisches Gemälde (In-Distribution) oder ist dies etwas völlig Anderes (Out-of-Distribution)?"

Das alte Problem: Der „selbstbewusste Fehler"

Lange Zeit versuchten Wissenschaftler, dies zu lösen, indem sie den Roboter aufforderten, einen „Likelihood-Score" (Wahrscheinlichkeitswert) zu berechnen. Dieser Score beantwortet die Frage: „Wie wahrscheinlich ist es, dass dieses Bild durch meinen Trainingsprozess erstellt wurde?"

Das Problem, wie dieser Papier aufzeigt, ist, dass der Roboter oft getäuscht wird.

Wenn Sie ihm eine einfache, leere weiße Leinwand zeigen (was in den Augen des Roboters technisch gesehen ein impressionistisches Gemälde ist), könnte er ihm einen hohen Score geben, weil sie „einfach" und leicht zu erklären ist.
Wenn Sie ihm eine komplexe, chaotische Graffiti-Wand zeigen, könnte er ihm einen niedrigen Score geben.
Aber hier liegt der Haken: Wenn Sie ihm ein Bild einer Katze zeigen (die definitiv kein impressionistisches Gemälde ist), könnte der Roboter versehentlich einen höheren Score als für die leere Leinwand geben, einfach weil die Katze einige visuelle Merkmale (wie Kanten oder Farben) hat, die für die Mathematik des Roboters „einfach" aussehen.

Der Roboter ist von Komplexität verwirrt. Er denkt: „Das sieht einfach aus, also muss es echt sein", selbst wenn es tatsächlich eine Fälschung ist. Dies wird als Komplexitäts-Bias bezeichnet.

Die neue Lösung: „Signal im Rauschen" (SITN)

Die Autoren, Philipp Bomatter und sein Team von der University of Edinburgh, schlagen einen neuen Weg vor, um über das Problem nachzudenken. Sie verwenden eine spezielle Art von KI, die als Continuous Normalising Flow (CNF) bezeichnet wird.

Stellen Sie sich diese KI als einen magischen Übersetzer vor.

Das Training: Die KI lernt, echte impressionistische Gemälde in eine bestimmte Art von „statischem Rauschen" zu übersetzen (wie das Rauschen, das man auf einem alten Fernseher sieht, wenn kein Signal vorhanden ist). Sie lernt, dass jedes echte Gemälde, egal wie komplex, in dieses spezifische, zufällige Rauschmuster übersetzt werden sollte.
Die Umkehrung: Da die Übersetzung perfekt ist (mathematisch gesprochen), kann die KI das Rauschen auch zurück in ein Gemälde übersetzen.

Der „Goodness-of-Fit"-Test

Hier kommt der clevere Teil ihrer neuen Methode, SITN:

Anstatt zu fragen: „Wie wahrscheinlich ist dieses Gemälde?", fragen sie: „Wenn ich dieses Bild in Rauschen übersetze, sieht das Rauschen dann wie echtes TV-Rauschen aus?"

Echtes Gemälde (In-Distribution): Wenn die KI es zurück in Rauschen übersetzt, sieht das Ergebnis wie perfektes, zufälliges TV-Rauschen aus. Die Pixel sind voneinander unabhängig und folgen den Regeln der Zufälligkeit.
Fälschung (Out-of-Distribution): Wenn die KI versucht, eine Graffiti-Wand oder eine Katze in Rauschen zu übersetzen, sieht das Ergebnis seltsam aus.
- Vielleicht hat das Rauschen ein seltsames Muster (wie ein Schachbrettmuster), das dort nicht sein sollte.
- Vielleicht ist das „Rauschen" zu glatt oder zu uneben.
- Das „Rauschen" passt nicht zu den Regeln der Zufälligkeit.

Das Papier nennt dies „Signal im Rauschen". Obwohl das Bild in Rauschen verwandelt wurde, hinterlässt die Struktur des ursprünglichen gefälschten Bildes ein „Signal" im Rauschen, das es verrät.

Wie sie das Rauschen prüfen

Die Autoren verwenden zwei einfache Tests, um zu sehen, ob das „Rauschen" echt ist:

Der „Form"-Test: Sieht das Rauschen wie eine perfekte Glockenkurve aus (die Standardform von zufälligem Rauschen)? Wenn das Rauschen zu flach oder zu spitz ist, ist es eine Fälschung.
Der „Freundschaft"-Test: Bei echtem zufälligem Rauschen sollte sich ein Pixel nicht um seinen Nachbarn kümmern. Sie sind totale Fremde. Wenn das Rauschen zeigt, dass Pixel „Freunde" sind (korreliert) oder einem Muster folgen, ist es eine Fälschung.

Wenn das Rauschen einen dieser Tests nicht besteht, sagt die KI: „Das ist kein echtes Gemälde; es ist Out-of-Distribution."

Warum dies besser ist

Das Papier behauptet, dass diese Methode aus drei Hauptgründen überlegen ist:

Sie ignoriert Komplexität: Es ist ihr egal, ob das Bild einfach oder komplex ist. Es interessiert sich nur dafür, ob das „Rauschen" richtig aussieht. Dies behebt das Problem, bei dem der Roboter von einfachen Fälschungen getäuscht wurde.
Sie ist schnell: Sie benötigt keine zusätzlichen, langsamen Berechnungen oder das Trainieren eines zweiten Roboters, um ihm bei der Entscheidung zu helfen.
Sie ist streng: Sie kann mathematisch garantieren, dass sie nicht zu oft „Fälschung!" ruft, wenn sie echte Dinge betrachtet. Sie können eine Regel festlegen, die besagt: „Markiere nur 1 von 100 echten Dingen als Fälschung", und sie wird sich an diese Regel halten.

Die Ergebnisse

Das Team testete dies an Standard-Bild-Datensätzen (wie CIFAR-10, das kleine Bilder von Autos, Tieren und Flugzeugen enthält).

Als sie dem Roboter Bilder von SVHN (Straßenzahlen) oder CelebA (Prominente-Gesichter) als „Fälschungen" zeigten, gerieten die alten Methoden (Likelihood, Typicality) in Verwirrung und nannten die Fälschungen oft „echt" oder echte Dinge „Fälschungen".
SITN erkannte die Fälschungen konsequent korrekt.
Sie testeten es sogar an Bildern mit künstlichen Störungen (wie Unschärfe, Schnee oder Bewegungsunschärfe). SITN war am konsistentesten darin, diese Störungen zu erkennen, während andere Methoden versagten, wenn die Störungen die „Komplexität" des Bildes veränderten.

Ein kleiner Fehler

Die Autoren sind ehrlich bezüglich einer kleinen Schwäche. Manchmal, wenn ein Bild einen riesigen, soliden Farbblock hat (wie einen großen blauen Himmel), hat der Übersetzer der KI Schwierigkeiten, diesen Block in „zufälliges Rauschen" zu verwandeln. Es hinterlässt ein schwaches Muster. Dies kann das System manchmal dazu bringen, ein echtes Bild für eine Fälschung zu halten. Allerdings stellen die Autoren fest, dass dies ein seltener Randfall ist und die Methode insgesamt sehr gut funktioniert.

Zusammenfassung

Kurz gesagt, stellt das Papier SITN vor, eine Methode, die aufhört zu raten, „wie wahrscheinlich" ein Bild ist. Stattdessen übersetzt sie das Bild in „Rauschen" und prüft, ob dieses Rauschen wie echtes, zufälliges Rauschen aussieht. Wenn das Rauschen ein verstecktes Muster hat (das „Signal"), ist das Bild eine Fälschung. Es ist eine intelligentere, schnellere und zuverlässigere Art, KI-Betrüger zu entlarven.

Technische Zusammenfassung: Signal im Rauschen (SITN)

Problemstellung

Tiefe generative Modelle, insbesondere Continuous Normalising Flows (CNFs), bieten eine theoretische Grundlage für die Erkennung von Out-of-Distribution (OOD)-Daten, indem sie Datenverteilungen explizit modellieren. Bisherige Forschungen haben jedoch gezeigt, dass die von diesen Modellen zugewiesenen Likelihoods in hochdimensionalen Räumen unzuverlässige Indikatoren für die Unterscheidung zwischen In-Distribution (ID) und OOD-Daten sind. Ein gut dokumentierter Fehlermodus besteht darin, dass Modelle, die auf einem Datensatz trainiert wurden (z. B. CIFAR-10), Samples aus einem anderen Datensatz (z. B. MNIST oder SVHN) höhere Likelihoods zuweisen.

Bestehende Korrekturen für dieses Problem, wie Typizitätstests, Komplexitätsstrafen und Likelihood-Verhältnisse, leiden häufig unter inhärenten Verzerrungen, die mit der Likelihood selbst verbunden sind (insbesondere „Komplexitätsverzerrung", bei der einfache Bilder bevorzugt werden), oder sie setzen praktische Einschränkungen voraus. Zu diesen Einschränkungen gehören die Notwendigkeit domänenspezifischer Kompressionsalgorithmen, der Zugriff auf OOD-Daten für Hintergrundmodelle oder erheblicher Rechenaufwand (z. B. das Trainieren von Ensembles oder das Fine-Tuning an Test-Samples).

Methodik: Signal im Rauschen (SITN)

Die Autoren schlagen Signal im Rauschen (SITN) vor, ein Framework, das die OOD-Erkennung als Goodness-of-Fit-Test für einzelne Samples im latenten Rauschraum von CNFs neu definiert.

Kernidee

CNFs nutzen diffeomorphe, massenerhaltende Abbildungen, um eine Standard-Gaußsche Rauschpriorität ( $P_0 = \mathcal{N}(0, I)$ ) in die Ziel-Datenverteilung ( $P_{ID}$ ) zu transformieren. Da diese Abbildungen reversibel sind, werden ID-Daten zurück zu Samples abgebildet, die der Standard-Gaußschen Priorität entsprechen. Umgekehrt führen OOD-Samples, die unter der Zielverteilung eine geringe Wahrscheinlichkeitsmasse aufweisen, zu Rausch-Latents, die unter der Gaußschen Priorität atypische empirische Eigenschaften aufweisen. Entscheidend ist, dass diese Atypizität unabhängig von der Divergenz des Vektorfelds ist, welche der Haupttreiber für Likelihood-Werte ist.

Das Framework

SITN nutzt die vollständige Faktorisierung der Gaußschen Priorität aus. Ein einzelner hochdimensionaler latenter Vektor $Z$ (abgebildet von einem Input $X$ über den inversen Flow $\phi^{-1}$ ) wird als Sammlung von $D$ unabhängigen und identisch verteilten (i.i.d.) Samples aus einer univariaten Standardnormalverteilung behandelt. Die Methode testet $Z$ gegen zwei notwendige Bedingungen für die Nullhypothese ( $H_0$ ), dass $Z \sim \mathcal{N}(0, I)$ gilt:

Marginale Normalität: Jedes Element von $Z$ $Z$ muss einer univariaten Standardnormalverteilung folgen.
- Statistik: Die Anderson-Darling (AD)-Statistik ( $S_{AD}$ ) wird verwendet, um die Diskrepanz zwischen der empirischen kumulativen Verteilungsfunktion (CDF) der latenten Elemente und der theoretischen Standardnormal-CDF zu quantifizieren.
Dimensionsunabhängigkeit: Die Elemente von $Z$ $Z$ müssen gegenseitig unabhängig sein.
- Statistik: Der Variationskoeffizient (CV) des empirischen Leistungsspektrums ( $S_{CV}$ ) wird verwendet. Für weißes Gaußsches Rauschen folgt das Leistungsspektrum einer Exponentialverteilung, was einen theoretischen CV von 1 ergibt. Strukturelle Korrelationen (Abhängigkeiten) manifestieren sich als dominante Frequenzen, die die spektrale Varianz aufblähen und $S_{CV}$ deutlich über 1 treiben.

Bewertung und Kalibrierung

Um einen einzelnen skalaren OOD-Score ( $S_{SITN}$ ) zu erzeugen, verwendet die Methode eine Max-Quantil-Strategie:
$S_{SITN} = \max(\hat{F}_{AD}(S_{AD}), \hat{F}_{CV}(S_{CV}))$
wobei $\hat{F}$ empirische CDFs darstellt, die aus einem zurückgehaltenen ID-Kalibrierungsset geschätzt wurden. Dieser Ansatz bildet Statistiken auf einen uniformen $[0, 1]$ -Bereich ab, was einen sinnvollen Vergleich ermöglicht. Durch die Maximierung wird $H_0$ verworfen, wenn das Sample entweder die marginale Normalität oder die Dimensionsunabhängigkeit verletzt.

Theoretische Eigenschaften

Falsch-Positiv-Kontrolle: Die Methode ermöglicht eine strikte Kontrolle der Fehlerrate vom Typ I (Falsch-Positiv-Rate). Durch die Kalibrierung der empirischen CDFs auf einem zurückgehaltenen ID-Set kann ein Schwellenwert festgelegt werden, der eine spezifische Falsch-Positiv-Rate garantiert, ohne dass Zugriff auf OOD-Daten erforderlich ist.
Recheneffizienz: Der Overhead ist im Vergleich zur inversen Flow-Berechnung vernachlässigbar. Die Berechnung von $S_{AD}$ beinhaltet Sortieren ( $O(D \log D)$ ), und $S_{CV}$ beinhaltet eine Fast Fourier Transform ( $O(D \log D)$ ).
Robustheit: Das Framework bleibt auch dann anwendbar, wenn das CNF eine Approximation der wahren Verteilung ist, obwohl dies zu einer Erhöhung der Fehler vom Typ II (übersehene Erkennungen) führen kann, anstatt zu Falsch-Positiven.

Hauptbeiträge

Neues Framework: Ein theoretisch fundierter Ansatz, der die OOD-Erkennung als Goodness-of-Fit-Test für einzelne Samples gegen die faktorisierte Gaußsche Rauschpriorität von CNFs formuliert.
SITN-Methode: Eine spezifische Instanziierung, die keine OOD-Daten erfordert, minimalen Rechenaufwand mit sich bringt und eine strikte Kontrolle der Fehler vom Typ I bietet.
Empirische Validierung: Umfassende Evaluierung, die die Wirksamkeit über Standard-Benchmarks und synthetische Störungen hinweg demonstriert und das Fehlen der bei likelihood-basierten Methoden inhärenten Komplexitätsverzerrung hervorhebt.

Experimentelle Ergebnisse

Die Autoren bewerteten SITN gegen Baselines, darunter rohe Log-Likelihood, Typizität und Dichte-der-Zustände-Schätzung (DoSE), über drei Datensätze: CIFAR-10, SVHN und CelebA (heruntergescalt auf 32x32).

Cross-Dataset-Leistung: SITN schnitt bei allen Baselines konsistent besser ab. Beispielsweise erreichte SITN beim Training auf CIFAR-10 und Testen auf SVHN eine AUROC von 0,946, verglichen mit 0,105 für die Log-Likelihood und 0,802 für DoSE. Im umgekehrten Setup (SVHN-Training, CIFAR-10-Test) erreichte SITN 0,986 gegenüber 0,980 für die Log-Likelihood.
Synthetische Störungen: Auf CIFAR-10-C (19 Korruptionsarten) erreichte SITN die höchste durchschnittliche AUROC (0,85) und übertraf damit deutlich die Log-Likelihood (0,59), Typizität (0,69) und DoSE (0,78). SITN behielt auch unter Bedingungen eine robuste Leistung bei, unter denen andere Methoden auf Zufallsniveau abfielen.
Analyse der Komplexitätsverzerrung: Visualisierungen und Streudiagramme zeigten, dass Likelihood, Typizität und DoSE starke Korrelationen mit der Bildkomplexität (gemessen an der PNG-Kompressionsgröße) aufwiesen und oft einfache Bilder mit konstantem Hintergrund als OOD markierten. SITN zeigte keine solche Verzerrung ( $R^2 = 0,052$ ).
Fehlermodi: Obwohl hochwirksam, zeigte SITN einen spezifischen Randfall, bei dem die UNet-Architektur Schwierigkeiten hatte, große, konstante Hintergrundbereiche auf typisches Gaußsches Rauschen abzubilden, wodurch die AD-Statistik diese selbst dann als atypisch markierte, wenn sie in-distribution waren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SITN einen signifikanten praktischen und statistischen Fortschritt gegenüber likelihood-zentrierten Ansätzen darstellt. Durch die Verlagerung des Erkennungsmechanismus vom Datenraum (wo Likelihoods unzuverlässig sind) in den Rauschraum (wo OOD-Samples als atypisches Rauschen erscheinen), erreicht die Methode:

Zuverlässigkeit: Sie vermeidet die katastrophalen Fehlermodi, die mit likelihood-basierter OOD-Erkennung verbunden sind.
Praktikabilität: Sie erfordert keinen Zugriff auf OOD-Daten für Training oder Kalibrierung und verursacht minimale Rechenkosten.
Statistische Strenge: Sie bietet einen formalen Mechanismus zur Kontrolle der Falsch-Positiv-Rate, eine Eigenschaft, die bei heuristischen OOD-Detektoren oft fehlt.

Die Autoren schließen, dass SITN, obwohl es kein Allheilmittel ist (unter Hinweis auf den spezifischen Randfall mit konstanten Hintergründen), einen kritischen Schritt hin zu einem sichereren Einsatz von maschinellem Lernen in Hochrisikobereichen darstellt, indem es robuste, theoretisch fundierte Schutzmaßnahmen gegen Out-of-Distribution-Eingaben bietet.