🤖 machine learning

MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

Dieser Beitrag stellt MahaVar vor, eine nachträgliche Methode zur Erkennung von Out-of-Distribution-Daten, die auf der theoretisch fundierten Beobachtung beruht, dass In-Distribution-Stichproben aufgrund der Neural-Collapse-Geometrie eine hohe varianz der Mahalanobis-Distanz auf Klassenebene aufweisen, und die auf Standard-Benchmarks State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Donghwan Kim, Hyunsoo Yoon

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donghwan Kim, Hyunsoo Yoon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitsbeamten (ein neuronales Netzwerk), der jahrelang gelernt hat, bestimmte Personentypen zu erkennen: „Ärzte", „Feuerwehrleute" und „Köche". Dieser Beamte ist hervorragend in seinem Job, wenn er jemanden in einem weißen Kittel, einem Helm oder einer Kochmütze sieht. Aber was passiert, wenn ein zufälliger Tourist hereinkommt und einen leuchtend pinken Clownskostüm trägt?

In der Welt der KI wird dieser Tourist als Out-of-Distribution (OOD)-Stichprobe bezeichnet. Das Problem ist, dass der Beamte verwirrt werden und selbstbewusst sagen könnte: „Das ist definitiv ein Koch!", weil das Clownskostüm einige Farben enthält, die der Beamte bereits gesehen hat. Dies ist im echten Leben gefährlich (wie ein autonom fahrendes Auto, das eine Plastiktüte für einen Felsen hält).

Diese Arbeit, MahaVar, stellt eine neue Methode vor, mit der der Sicherheitsbeamte diese „Clowns" erkennen kann, bevor sie Ärger verursachen. So funktioniert es, einfach erklärt:

Der alte Weg: „Wie nah sind Sie?"

Früher verwendete der Beamte eine Methode namens Mahalanobis-Abstand. Stellen Sie sich vor, der Beamte hat eine Karte mit spezifischen „Zonen" für Ärzte, Feuerwehrleute und Köche.

Wenn eine neue Person eintrifft, misst der Beamte, wie weit sie vom Zentrum der „Arzt"-Zone, der „Feuerwehr"-Zone usw. entfernt ist.
Wenn die Person sehr nah an einer dieser Zonen liegt (sagen wir, der Arztzone), geht der Beamte davon aus, dass sie ein Arzt ist.
Wenn sie weit von allen Zonen entfernt ist, geht der Beamte davon aus, dass sie ein Außenseiter ist.

Der Mangel: Manchmal ist ein verwirrter Tourist gleich weit von allen Zonen entfernt oder nur zufällig etwas näher an einer davon. Die alte Methode betrachtete nur die einzelne nächstgelegene Zone und ignorierte den Rest.

Die neue Entdeckung: Der „scharfe Berg" vs. der „flache Hügel"

Die Autoren dieser Arbeit bemerkten etwas Interessantes darüber, wie die Abstände aussehen, wenn man sie vom kürzesten zum längsten anordnet.

Für einen echten Arzt (In-Distribution): Die Abstände sehen aus wie ein scharfer Berggipfel. Der Abstand zur „Arzt"-Zone ist winzig (der Gipfel), aber der Abstand zur „Feuerwehr"- und „Koch"-Zone ist riesig. Es gibt eine massive Lücke zwischen dem nächstgelegenen und dem Rest.
- Analogie: Stellen Sie sich einen Bergsteiger vor, der genau am Gipfel steht. Er ist dem Gipfel sehr nahe, aber dem Basislager und jedem anderen Gipfel sehr fern. Der Höhenunterschied ist enorm.
Für einen verwirrten Touristen (Out-of-Distribution): Die Abstände sehen aus wie ein flacher Hügel. Der Tourist ist der „Arzt"-Zone nicht nahe, noch der „Feuerwehr"-Zone. Er ist einfach sozusagen „irgendwo in der Mitte" von nirgendwo. Die Abstände zu allen Zonen sind ungefähr gleich und mäßig groß.
- Analogie: Stellen Sie sich jemanden vor, der auf einer flachen Hochebene steht. Er ist vom Gipfel des Arztes, dem Gipfel des Feuerwehrmanns und dem Gipfel des Kochs gleich weit entfernt. Es gibt keinen scharfen Gipfel; es ist nur eine flache, langweilige Landschaft.

Das Geheimnis der „Varianz"

Die Arbeit nennt diesen Unterschied Varianz.

Hohe Varianz (Der Berg): Ein Abstand ist winzig, die restlichen sind riesig. Die Zahlen springen stark hin und her. Das bedeutet: „Ich bin definitiv ein Arzt."
Niedrige Varianz (Der flache Hügel): Alle Abstände sind ähnlich. Die Zahlen sind langweilig und flach. Das bedeutet: „Ich gehöre keiner spezifischen Gruppe an."

Die Autoren erkannten, dass sie durch das Messen, wie stark diese Abstände „hin und her springen" (die Varianz), den Unterschied zwischen einer echten ID-Stichprobe und einer gefälschten OOD-Stichprobe viel besser erkennen konnten als nur durch den Blick auf den nächsten.

Die Lösung: MahaVar

Sie entwickelten ein neues Werkzeug namens MahaVar.

Es prüft immer noch, wie nah die Person ihrer nächstgelegenen Gruppe ist (wie die alte Methode).
Aber, es fügt auch einen „Varianz-Score" hinzu. Es fragt: „Ist der Abstand zur nächstgelegenen Gruppe deutlich anders als bei den anderen?"
Wenn die Antwort „Ja" ist (Hohe Varianz), handelt es sich wahrscheinlich um eine echte ID-Stichprobe.
Wenn die Antwort „Nein" ist (Niedrige Varianz), handelt es sich wahrscheinlich um eine OOD-Stichprobe.

Warum es funktioniert (Die „Neural Collapse"-Theorie)

Die Arbeit erklärt, warum dies geschieht, anhand eines Konzepts namens Neural Collapse.
Stellen Sie sich vor, das KI-System hat so lange trainiert, dass sich die „Arzt"-Zone zu einem winzigen, engen Punkt zusammengezogen hat und sich die „Feuerwehr"- und „Koch"-Zonen weit entfernt bewegt haben, um eine perfekte geometrische Form (wie einen Stern) zu bilden.

Echte Ärzte werden direkt in diesen winzigen „Arzt"-Punkt hineingezogen.
Touristen, die nicht dazugehören, bleiben im leeren Raum zwischen den Punkten schweben stecken.
Aufgrund dieser Geometrie erzeugen echte Stichproben natürlich das Muster des „scharfen Berges", während gefälschte Stichproben das Muster des „flachen Hügels" erzeugen.

Die Ergebnisse

Die Autoren testeten dies an berühmten Bilddatensätzen (wie CIFAR und ImageNet).

Das Ergebnis: MahaVar fing konsistent mehr „Clowns" (OOD-Stichproben) und machte weniger Fehler als frühere Methoden.
Der Haken: Es funktioniert am besten, wenn die KI gut trainiert wurde und genug „Platz" in ihrem Gehirn (Dimensionen) hat, um diese perfekten geometrischen Formen zu bilden. Bei einigen sehr komplexen Modellen funktioniert es immer noch hervorragend, aber der „scharfe Berg" ist nicht ganz so scharf.

Zusammenfassung

Denken Sie an MahaVar als einen Sicherheitsbeamten, der nicht nur fragt: „Sind Sie einer bekannten Gruppe nahe?", sondern auch fragt: „Ist Ihre Beziehung zu dieser Gruppe einzigartig im Vergleich zu allen anderen?" Wenn Sie einer Gruppe einzigartig nahe sind und von allen anderen weit entfernt, sind Sie wahrscheinlich ein echtes Mitglied. Wenn Sie allen irgendwie nahe sind, sind Sie wahrscheinlich ein Betrüger. Diese einfache Ergänzung des „Überprüfens der Streuung" macht das System viel zuverlässiger.

Technischer Zusammenfassung: MahaVar: OOD-Erkennung mittels klassenweiser Varianz der Mahalanobis-Distanz unter Neural Collapse

Problemstellung
Der Einsatz tiefer neuronaler Netze in realen Umgebungen stellt eine kritische Herausforderung dar: Modelle, die unter der Annahme einer geschlossenen Welt trainiert wurden, stoßen häufig auf Testdaten, die außerhalb ihrer Trainingsverteilung liegen (Out-of-Distribution oder OOD). Diese Daten können zu übermäßig selbstsicheren und potenziell katastrophalen Vorhersagen führen. Obwohl die Erkennung von Out-of-Distribution-Daten (OOD) für sicherheitskritische Bereiche wie autonomes Fahren und medizinische Bildgebung unerlässlich ist, verlassen sich bestehende nachträgliche Methoden (die kein erneutes Training oder Zugriff auf OOD-Daten erfordern) oft auf begrenzte Signale. Insbesondere Mahalanobis-Distanz-basierte Detektoren, ein starker Referenzwert, konzentrieren sich typischerweise ausschließlich auf den minimalen Abstand zur nächstgelegenen klassenbedingten Gaußschen Verteilung und ignorieren dabei möglicherweise die strukturelle Geometrie der Abstände über alle Klassen hinweg.

Methodik: MahaVar
Die Autoren schlagen MahaVar vor, einen einfachen, aber effektiven nachträglichen OOD-Detektor, der die Standard-Mahalanobis-Distanz um einen Term für die klassenweise Distanzvarianz erweitert. Die Methode basiert auf folgender Logik:

Empirische Beobachtung: Die Autoren beobachten, dass bei In-Distribution (ID)-Daten die sortierten klassenweisen Mahalanobis-Abstände eine „ausgeprägte scharfe Minimum-Struktur" aufweisen. Der Abstand zur nächstgelegenen Klasse ist signifikant kleiner als die Abstände zu allen anderen Klassen, die groß und relativ einheitlich bleiben. Im Gegensatz dazu weisen OOD-Daten ein weniger ausgeprägtes Minimum auf, wobei die Abstände zu allen Klassen vergleichsweise groß und weniger variabel sind. Diese strukturelle Asymmetrie impliziert, dass ID-Daten eine höhere Varianz in den klassenweisen Abständen aufweisen als OOD-Daten.
Theoretische Fundierung (Neural Collapse): Der Artikel liefert eine theoretische Analyse auf Basis von Neural Collapse, einem geometrischen Phänomen, bei dem die vorletzten Merkmale jeder Klasse zu ihrem Klassenmittelwert kollabieren und die Klassenmittelwerte sich zu einem Simplex-gleichwinkligen Tight Frame (ETF) anordnen. Unter gelockerten Neural-Collapse-Annahmen (insbesondere Intra-Klassen-Kompaktheit und Inter-Klassen-Trennung) beweisen die Autoren, dass ID-Daten strukturell eine strikt höhere klassenweise Distanzvarianz aufweisen als OOD-Daten. Satz 4.3 und Korollar 4.4 legen hinreichende Bedingungen fest, unter denen diese Varianztrennung garantiert ist, insbesondere wenn OOD-Daten einen ausreichenden Winkelabstand zu den Klassenmittelwerten einhalten oder nicht im von den Klassenmittelwerten aufgespannten Unterraum liegen.
Bewertungsfunktion: Die vorgeschlagene OOD-Bewertung $S(x)$ kombiniert den negativen minimalen Mahalanobis-Abstand mit der klassenweisen Varianz dieser Abstände:
$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$
Dabei repräsentiert $\hat{\phi}(x)$ L2-normalisierte vorletzte Merkmale, und $\alpha$ ist ein Hyperparameter, der das Gewicht des Varianzterms steuert.

Hauptbeiträge
Der Artikel leistet drei Hauptbeiträge:

Empirische Entdeckung: Identifikation einer bisher ungenutzten strukturellen Asymmetrie: ID-Daten zeigen ein scharfes Minimum in den klassenweisen Mahalanobis-Abständen (hohe Varianz), während OOD-Daten eine flachere Verteilung aufweisen (niedrige Varianz).
Theoretische Begründung: Eine fundierte Analyse, die diese Beobachtung mit der Neural-Collapse-Geometrie verknüpft und nachweist, dass unter spezifischen geometrischen Bedingungen ID-Daten OOD-Daten in Bezug auf die klassenweise Distanzvarianz strikt dominieren.
Algorithmischer Vorschlag: Die Einführung von MahaVar, eines nachträglichen Detektors, der diesen Varianzterm in das Mahalanobis++-Rahmenwerk integriert.

Experimentelle Ergebnisse
Die Autoren evaluierten MahaVar gemäß dem OpenOOD v1.5-Benchmark-Protokoll über drei In-Distribution (ID)-Einstellungen hinweg: CIFAR-10, CIFAR-100 und ImageNet, unter Verwendung sowohl von Near-OOD- als auch von Far-OOD-Evaluierungsszenarien.

Leistung: MahaVar erzielt auf CIFAR-100 und ImageNet unter allen evaluierten Methoden State-of-the-Art (SOTA)-Ergebnisse.
Vergleich mit Referenzmethoden: Es übertrifft konsistent alle Mahalanobis-basierten Referenzmethoden (einschließlich Mahalanobis und Mahalanobis++) über alle drei Benchmarks hinweg hinsichtlich AUROC und FPR@95.
Robustheit: Auf dem großskaligen ImageNet-Benchmark, gemittelt über drei Backbone-Architekturen (ResNet-50, Swin-B und ViT-B), erzielt MahaVar die beste durchschnittliche AUROC und FPR@95. Bemerkenswert ist, dass andere Aktivierungsformungsmethoden (wie ASH-S und SCALE) auf Transformer-basierten Backbones (Swin-B, ViT-B) signifikant nachlassen, während MahaVar eine stabile und überlegene Leistung beibehält.
Ablationsstudien: Experimente bestätigen, dass der Varianzterm auch ohne L2-Normalisierung aussagekräftige komplementäre Informationen liefert, obwohl die Kombination aus L2-Normalisierung und Varianz die besten Ergebnisse liefert. Die Methode ist zudem robust gegenüber der Wahl des Distanzmaßes (L1, L2, Mahalanobis), wobei Mahalanobis aufgrund seiner Handhabung der Kovarianzstruktur am besten abschneidet.

Bedeutung und Behauptungen
Der Artikel behauptet, dass die vollständige klassenweise Distanzstruktur reichhaltigere diskriminierende Informationen enthält als der Abstand zur nächstgelegenen Klasse allein. Durch die Nutzung der geometrischen Eigenschaften von Neural Collapse bietet MahaVar eine theoretisch fundierte und empirisch robuste Methode zur OOD-Erkennung. Die Autoren betonen, dass dieser Ansatz besonders für den Einsatz in der Praxis wertvoll ist, wo ein erneutes Training von Modellen unpraktisch ist.

Die Autoren bewahren jedoch einen bescheidenen Ton bezüglich der Einschränkungen:

Auf CIFAR-10 erzielen KNN-basierte Methoden immer noch eine leicht höhere AUROC, was darauf hindeutet, dass nicht-parametrische Ansätze in Szenarien mit geringer Klassenanzahl überlegen sein können.
Der theoretische Rahmen stützt sich auf Neural-Collapse-Annahmen, die gut trainierte Netze nahe der terminalen Phase des Trainings voraussetzen. Die Autoren stellen fest, dass die Lockerung dieser Annahmen, um allgemeinere Merkmalsgeometrien abzudecken, eine Richtung für zukünftige Arbeiten darstellt.
Die praktische Implementierung verzichtet auf den in den theoretischen Beweisen verwendeten Schritt der globalen Mittelwertzentrierung, da sich herausstellte, dass eine Zentrierung die Leistung auf ResNet-50 aufgrund der durch ReLU-Aktivierungen induzierten nicht-negativen Merkmalsgeometrie verschlechtert.