💻 computer science

Don't Collapse Your Features: Why CenterLoss Hurts OOD Detection and Multi-Scale Mahalanobis Wins

Dieser Beitrag stellt GOEN vor, eine einfache und effiziente Pipeline zur Erkennung von Out-of-Distribution-Daten, die durch die Nutzung von Multi-Scale-Features und der Mahalanobis-Distanz State-of-the-Art-Baselines übertrifft und gleichzeitig zeigt, dass CenterLoss trotz Verbesserung der Klassifikationsgenauigkeit die OOD-Erkennung erheblich beeinträchtigt, indem er die für eine zuverlässige epistemische Unsicherheitsschätzung erforderliche Merkmalsgeometrie verzerrt.

Ursprüngliche Autoren: Rahul D Ray

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rahul D Ray

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, zehn spezifische Tiere zu erkennen: eine Katze, einen Hund, ein Pferd, einen Vogel und so weiter. Sie zeigen ihm Tausende von Bildern, bis er ein Experte im Sortieren wird. Doch was passiert, wenn Sie dem Roboter ein Bild eines Toaster, einer Wolke oder eines völlig erfundenen Wesens zeigen?

Dies ist das Problem der Out-of-Distribution (OOD)-Erkennung. In der realen Welt müssen unsere KI-Systeme sagen können: „Ich weiß nicht, was das ist", anstatt selbstbewusst zu raten, es sei eine Katze, wenn es tatsächlich ein Toaster ist. Wenn die KI den Unterschied nicht erkennen kann, könnte sie gefährliche Fehler machen.

Diese Arbeit stellt eine neue Methode namens GOEN (Geometry-Optimised Epistemic Network) vor, um der KI zu helfen, zu erkennen, wenn sie etwas Neues sieht. Die Autoren entdeckten ein überraschendes Geheimnis: Der Versuch, die interne „Wissenskarte" der KI zu perfekt zu machen, macht sie tatsächlich schlechter darin, das Unbekannte zu entdecken.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die Falle der „perfekten" Klumpen (Das CenterLoss-Problem)

Normalerweise versuchen Forscher beim Training einer KI, die Merkmale jeder Tiergruppe (Katzen, Hunde usw.) eng zusammenzudrängen. Sie verwenden ein Werkzeug namens CenterLoss, um diese Gruppen in ordentliche, kompakte Kugeln zu zwängen. Die Logik lautet: „Wenn alle Katzen in einer engen Kugel und alle Hunde in einer anderen sind, wird die KI sehr genau sein."

Die Überraschung: Die Autoren fanden heraus, dass dies die KI zwar besser darin macht, Katzen und Hunde zu identifizieren, sie aber schlechter darin macht, Toaster zu erkennen.

Die Analogie: Stellen Sie sich eine Bibliothek vor, in der Sie jedes Buch über „Geschichte" in ein winziges, einzelnes Regal zwingen und jedes Buch über „Wissenschaft" in ein anderes winziges Regal. Wenn nun jemand ein Buch über „Geschichte der Wissenschaft" mitbringt, passt es nicht ordentlich in eines der Regale. Da die Regale so eng zusammengedrückt sind, landet das Buch genau in der Mitte und sieht so aus, als gehöre es zu beiden. Die KI gerät in Verwirrung und denkt: „Oh, das muss ein Geschichtsbuch sein", obwohl es etwas Neues ist.
Das Ergebnis: Indem man das „Zusammendrücken" stoppt (CenterLoss entfernt), breiten sich die Wissensgruppen etwas mehr aus. Dies schafft mehr Raum zwischen den Gruppen, wodurch es für die KI viel einfacher wird, zu erkennen, wenn etwas in den leeren Raum fällt (die „Unbekannte"-Zone).

2. Den großen Überblick und die Details betrachten (Multi-Scale-Features)

Um das Unbekannte zu erkennen, muss die KI Dinge auf zwei Arten gleichzeitig betrachten:

Die Textur (Schicht 2): Betrachtung der Pinselstriche, Farben und Körnung. Dies hilft ihr zu bemerken, ob ein Bild eher wie ein Straßenschild (SVHN) aussieht als wie ein Cartoon-Tier.
Die Bedeutung (Schicht 4): Betrachtung der Gesamtform und des Konzepts. Dies hilft ihr zu erkennen, dass ein „Fuchs" kein „Hund" ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Fremden zu identifizieren. Wenn Sie nur auf sein Gesicht (Bedeutung) schauen, könnten Sie übersehen, dass er ein Kostüm trägt. Wenn Sie nur auf seine Schuhe (Textur) schauen, könnten Sie übersehen, wer er ist. GOEN betrachtet beides gleichzeitig. Die Arbeit zeigt, dass die Verwendung nur des „Gesichts" oder nur der „Schuhe" die KI weniger effektiv darin macht, Betrüger zu erkennen.

3. Der „Realitäts"-Test (Kalibrierung)

Nachdem die KI die Tiere gelernt hat, geben die Forscher ihr eine spezielle „Abschlussprüfung", um zu lernen, „Ich weiß es nicht" zu sagen.

Sie zeigen ihr Gaußsches Rauschen (Statik auf einem Fernsehbildschirm). Dies ist leicht als „seltsam" zu erkennen.
Entscheidenderweise zeigen sie ihr auch echte, knifflige Beispiele (wie Hausnummern aus einem anderen Datensatz). Diese sehen den Tieren einigermaßen ähnlich, sind aber tatsächlich anders.
Die Analogie: Wenn Sie einen Sicherheitsbeamten nur darin schulen, einen Stein zu erkennen (einfach), könnte er einen Menschen in einem Steinkostüm übersehen (schwierig). Indem man den Wächter am „Steinkostüm" (den schwierigen Beispielen) schult, lernt er, gegenüber Dingen misstrauisch zu sein, die ähnlich vertraut aussehen, sich aber falsch anfühlen.

4. Die Gewinnformel

Die Autoren kombinierten diese Ideen zu einer Pipeline:

Drücken Sie die Gruppen nicht zu fest zusammen. Geben Sie den „Katzen"- und „Hunde"-Gruppen etwas Luft zum Atmen.
Betrachten Sie Details und den großen Überblick gemeinsam.
Trainieren Sie die „Ich weiß es nicht"-Taste mit echten, kniffligen Beispielen, nicht nur mit zufälligem Rauschen.

Die Ergebnisse

Als sie diese neue Methode (GOEN) gegen andere bekannte KI-Sicherheitsmethoden testeten:

GOEN identifizierte unbekannte Eingaben 94,8 % der Zeit korrekt.
Die zweitbeste Methode (Deep Ensembles) erreichte nur 88,3 %.
Andere Methoden wie KNN und ODIN erzielten noch niedrigere Werte.

Die große Erkenntnis

Die Hauptbotschaft der Arbeit ist eine Warnung an KI-Forscher: Nur weil eine KI hervorragend darin ist, bekannte Dinge zu sortieren, bedeutet das nicht, dass sie gut darin ist, ihre Grenzen zu kennen.

Tatsächlich kann der Versuch, das interne Wissen der KI zu perfekt (zu kompakt) zu machen, sie gegenüber dem Unbekannten blind machen. Indem wir den Wissensgruppen Raum zum Atmen geben und die KI mit realen, kniffligen Beispielen trainieren, können wir Systeme bauen, die sicherer sind und ehrlicher darüber sind, was sie nicht wissen.

Das gesamte System ist zudem sehr schnell, trainiert in unter 20 Minuten auf einem einzigen Computer, und stellt somit ein praktisches Werkzeug für die Sicherheit in der realen Welt dar.

Technisches Fazit: Kollabieren Sie Ihre Merkmale nicht: Warum CenterLoss die OOD-Erkennung schädigt und Multi-Scale Mahalanobis gewinnt

Problemstellung
Der sichere Einsatz von Machine-Learning-Systemen in Open-World-Umgebungen erfordert eine robuste Erkennung von Out-of-Distribution (OOD)-Daten. Aktuelle Methoden stützen sich häufig auf Merkmalsrepräsentationen, die ausschließlich auf Klassifikationsgenauigkeit optimiert sind und dabei die spezifischen Anforderungen epistemischer Unsicherheit vernachlässigen. Eine vorherrschende Annahme in diesem Bereich besagt, dass eine Verbesserung der Klassifikationsgeometrie (z. B. durch kompaktere Merkmalscluster) automatisch zu einer besseren Unsicherheitsschätzung führt. Dieser Artikel hinterfragt diese Annahme und untersucht, warum populäre Regularisierer wie CenterLoss, die Merkmalskompaktheit erzwingen, die Leistung der OOD-Erkennung tatsächlich verschlechtern können.

Methodik: Die GOEN-Pipeline
Die Autoren stellen das Geometry-Optimised Epistemic Network (GOEN) vor, eine dreistufige Pipeline, die darauf ausgelegt ist, die Merkmalsgeometrie speziell für die OOD-Erkennung und nicht nur für die Klassifikation zu optimieren. Die Pipeline besteht aus:

Multi-Scale Merkmalsextraktion: Ein ResNet-18-Backbone wird unter Verwendung des Standard Cross-Entropy-Verlusts trainiert. Entscheidend ist, dass das Modell Merkmale aus zwei Zwischenschichten extrahiert: Schicht 2 (128-dimensional, erfasst niedrigstufige Texturen und Domänenverschiebungen) und Schicht 4 (512-dimensional, erfasst hochstufige semantische Inhalte). Diese werden zu einem 640-dimensionalen Vektor konkateniert.
L2-Normalisierung und Mahalanobis-Anpassung: Die extrahierten Merkmale werden L2-normalisiert, um auf einer Einheitssphäre zu liegen. Dieser Schritt mildert den „Merkmalskollaps" ab, bei dem eine einzelne Hauptkomponente die Varianz dominiert, und stellt eine gut konditionierte Kovarianzmatrix sicher. Klassenbedingte Mittelwerte ( $\mu_c$ ) und eine gebundene Kovarianzmatrix ( $\Sigma$ ) werden auf den Trainingsdaten angepasst. Der OOD-Score wird aus der Mahalanobis-Distanz eines Testpunkts zum nächsten Klassen-Zentrum abgeleitet.
Kalibrierungskopf: Ein leichter Multi-Layer Perceptron (MLP) wird trainiert, um drei Unsicherheitsindikatoren auf eine kalibrierte Wahrscheinlichkeit abzubilden:
- Log-Mahalanobis-Distanz.
- Maximale Kosinus-Ähnlichkeit zu Klassenmittelwerten.
- Vorhersageentropie aus dem Klassifikationskopf.
- Trainingsdaten: Der Kopf wird auf einer Mischung aus In-Distribution (ID)-Daten und „harten" OOD-Beispielen (eine Teilmenge von SVHN) sowie synthetischem Gaußschen Rauschen trainiert.

Wichtige Erkenntnisse und Beiträge
Der Hauptbeitrag des Artikels ist eine kontraintuitive Erkenntnis, die durch systematische Ablationsexperimente aufgedeckt wurde: CenterLoss schadet der OOD-Erkennung erheblich.

Das CenterLoss-Paradoxon: Während CenterLoss die Klassifikationsgenauigkeit verbessert, indem es Merkmale in engere Cluster zwingt, reduziert es die durchschnittliche OOD-AUROC von 0,9483 (ohne CenterLoss) auf 0,9366 (mit CenterLoss). Die Autoren vermuten, dass eine übermäßige Kompression von Merkmalsclustern die Klassenabstände (inter-class margins) verringert, was es schwierig macht, OOD-Punkte zu unterscheiden, die zwischen den Clustern liegen. Darüber hinaus können enge Cluster zu schlecht konditionierten Kovarianzmatrizen führen, was die Wirksamkeit der Mahalanobis-Distanz beeinträchtigt.
Notwendigkeit von Multi-Scale: Ablationsexperimente zeigen, dass die Verwendung nur semantischer Merkmale (Schicht 4) die Leistung erheblich senkt (durchschnittliche AUROC 0,9270 vs. 0,9483). Die Kombination von Texturmerkmalen (Schicht 2) und semantischen Merkmalen ist entscheidend für die Erkennung sowohl von Domänenverschiebungen (z. B. SVHN) als auch von semantischen Verschiebungen (z. B. CIFAR-100).
Kalibrierung mit echten harten OOD-Daten: Das Training des Kalibrierungskopfs mit echten Beispielen für Domänenverschiebungen (SVHN) anstelle von nur synthetischem Rauschen ist entscheidend. Das Entfernen von SVHN aus der Kalibrierungsmischung reduzierte die Leistung auf dem SVHN-Testset um fast 2,5 % AUROC, was zeigt, dass synthetisches Rauschen allein das Modell nicht lehren kann, komplexe Domänenverschiebungen zu erkennen.

Experimentelle Ergebnisse
Evaluiert auf CIFAR-10 (ID) gegenüber SVHN, gefiltertem CIFAR-100 und synthetischem Gaußschem Rauschen (OOD) erreichte die beste GOEN-Variante (GOEN-NoCenterLoss):

Durchschnittliche OOD-AUROC: 0,9483, was alle Baselines übertrifft.
Vergleich: Sie schnitt besser ab als Deep Ensembles (0,8827), KNN (0,8967), ODIN (0,8870) und Standard-Mahalanobis (0,6790).
Effizienz: Die gesamte Pipeline trainiert in unter 20 Minuten auf einer einzelnen GPU.
Stabilität: Seed-Experimente bestätigten die Stabilität der Methode mit einer geringen Varianz bei der ID-Genauigkeit (0,9344 ± 0,0013) und der OOD-AUROC über fünf zufällige Seeds.

Bedeutung und Behauptungen
Der Artikel argumentiert, dass Klassifikationsgeometrie und epistemische Geometrie nicht übereinstimmen. Die Optimierung auf Klassifikationsgenauigkeit (durch Kompaktheits-Regularisierer) kann die Fähigkeit eines Modells, zu erkennen, wann es auf neue Daten trifft, aktiv beeinträchtigen.

Die Autoren positionieren GOEN als praktischen Bauplan für den Aufbau von KI-Systemen, die „ihre eigenen Grenzen zuverlässig erkennen". Durch die Entkopplung der Ziele Klassifikation und epistemische Unsicherheit sowie durch die Nutzung von Multi-Scale-Merkmalen mit L2-normalisierter Mahalanobis-Distanz bietet GOEN eine einfache, effiziente und state-of-the-art-Lösung für die OOD-Erkennung ohne den Rechenaufwand von Deep Ensembles oder komplexer variationeller Inferenz. Die Arbeit dient als Warnung vor der automatischen Annahme, dass Techniken, die die Klassifikation verbessern, inhärent auch die Unsicherheitsschätzung verbessern.