🤖 machine learning

GEODE: Angle-Adaptive OOD Detection with Universal Scorer Compatibility

GEODE ist eine geometrieerhaltende OOD-Erkennungsmethode, die einen winkeladaptiven Normverlust verwendet, um die Grenzkalibrierungsvorteile von Outlier Exposure synthetisch nachzubilden und damit eine robuste Leistung über alle sieben Standard-Scorer hinweg zu erzielen, ohne dass kuratierte Hilfsdaten erforderlich sind.

Ursprüngliche Autoren: Bruno Abrahao

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bruno Abrahao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitsbeamten (ein Computerprogramm), der darauf trainiert ist, bestimmte Personen zu erkennen, wie etwa Ihre Freunde und Familie (diese sind die „In-Distribution"- oder ID-Daten). Das Problem entsteht, wenn Fremde an das Tor herantreten. Manche sind eindeutig Fremde aus einem anderen Land (Far-OOD), doch andere sehen verdächtig ähnlich aus wie Ihre Freunde – sie tragen vielleicht ähnliche Kleidung oder haben ähnliche Frisuren (Near-OOD).

Das Ziel der OOD-Erkennung (Out-of-Distribution) ist es, sicherzustellen, dass der Beamte jeden erkennt, der nicht auf der genehmigten Liste steht, egal wie er aussieht.

Das Problem: Das Scheitern des „Einheitslösungs"-Ansatzes

Lange Zeit versuchten Forscher, Beamte mit zwei Haupttricks darauf zu trainieren, Fremde zu erkennen:

Der „Logit"-Beamte: Betrachtet den internen Vertrauenswert des Beamten. „Wie sicher bin ich, dass dies mein Freund ist?"
Der „Feature"-Beamte: Betrachtet den physischen Abstand in einer Karte von Merkmalen. „Wie weit ist diese Person von der Gruppe meiner Freunde entfernt?"

Die Studie weist auf einen frustrierenden Zielkonflikt hin: Wenn Sie den Beamten darauf trainieren, bei der Prüfung von Vertrauenswerten hervorragend zu sein, werden sie oft schrecklich bei der Prüfung physischer Abstände, und umgekehrt. Es ist, als würde man einen Beamten darauf trainieren, ein Experte im Lesen von Ausweisen zu sein, ihn aber gleichzeitig für Gesichtszüge blind zu machen.

Die alte Lösung: „Outlier Exposure" (OE)

Die bisher beste Methode hieß Outlier Exposure (OE). Stellen Sie sich vor, Sie stellen einen Trainer ein, der dem Beamten Fotos von zufälligen Fremden zeigt (wie Menschen aus einer anderen Stadt), damit er lernt, wie ein „nicht mein Freund" aussieht.

Der Haken: Sie benötigen ein riesiges, sorgfältig kuratiertes Album dieser „Fremden"-Fotos. Wenn die Fremden, die Sie ihnen zeigen, nicht mit den Fremden übereinstimmen, die tatsächlich am Tor auftauchen, schlägt das Training fehl.
Das Geheimnis: Die Autoren entdeckten, warum OE funktioniert. Es liegt nicht daran, dass der Beamte jeden Fremden auswendig gelernt hat. Es liegt daran, dass das Training die „Fremden"-Fotos versehentlich genau an die Grenze zwischen „Freund" und „Fremd" geschoben hat. Es ist, als würde man eine „Nicht-Übertreten"-Linie genau am Rand der Freundeszone aufmalen.

Die neue Lösung: GEODE

Die Autoren entwickelten GEODE (GEOmetry-preserving DEtection). Anstatt ein echtes Album von Fremden zu benötigen, erstellt GEODE gefälschte Fremde im laufenden Betrieb und nutzt eine clevere, adaptive Regel, um den Beamten zu trainieren.

Hier ist die Analogie dafür, wie GEODE funktioniert:

1. Der „Gestaltwandelnde" Fremde

Anstatt dem Beamten einfach zufällige Fotos zu zeigen, nimmt GEODE die Merkmale Ihrer Freunde und wirbelt sie durcheinander (wie das Mischen der Pixel eines Gesichts). Dies erzeugt einen „gefälschten Fremden", der seltsam aussieht, aber keine echte Person ist.

2. Das „Intelligente Lineal" (Winkel-adaptiver Norm)

Dies ist die Kerninnovation. Stellen Sie sich vor, der Beamte hat ein Lineal, um zu messen, wie „weit draußen" eine Person vom Zentrum der Freundesgruppe entfernt ist.

Alte Methode: „Drängen Sie jeden Fremden ganz an den Rand des Universums!" (Dies macht sie leicht durch Vertrauenswerte erkennbar, zerstört aber die Karte für abstandsbasierte Prüfungen).
GEODE-Methode: „Verwenden Sie ein Intelligentes Lineal."
- Wenn ein gefälschter Fremder nahe an einer bestimmten Freundesgruppe steht (hohe Ähnlichkeit), sagt das Lineal: „Bleib ein wenig entfernt, aber geh nicht zu weit weg." Dies bewahrt die lokale Form der Karte, sodass abstandsbasierte Detektoren (wie KNN) weiterhin funktionieren.
- Wenn ein gefälschter Fremder weit von jeder Freundesgruppe entfernt steht (geringe Ähnlichkeit), sagt das Lineal: „Lauf ganz zum Zentrum!" Dies macht sie für vertrauensbasierte Detektoren sehr leicht zu erkennen.

Dieses „Intelligente Lineal" passt das Trainingsziel für jeden einzelnen gefälschten Fremden basierend darauf an, wo er steht. Es ist wie ein Tanzlehrer, der Tänzer in der Nähe des Zentrums anweist, nah an der Gruppe zu bleiben, aber Tänzer im hinteren Bereich anweist, nach vorne zu gehen, wodurch sichergestellt wird, dass alle in einer Formation bleiben, die aus allen Winkeln leicht zu überwachen ist.

Warum dies wichtig ist

Universelle Kompatibilität: Die meisten Methoden brechen einen Detektortyp, um einen anderen zu reparieren. GEODE ist das erste, das sagt: „Ich kann den Beamten sowohl gut im Lesen von Vertrauenswerten als auch im Prüfen physischer Abstände machen." Es funktioniert mit allen sieben Standardmethoden zur Erkennung von Fremden, ohne eine davon zu zerstören.
Keine zusätzlichen Daten erforderlich: Sie müssen kein Dataset von „Fremden" suchen, um darauf zu trainieren. GEODE erzeugt das Trainingssignal selbst, indem es die bereits vorhandenen Daten durcheinanderwirbelt.
Die „Nullraum"-Falle: Die Studie warnt vor anderen Methoden (wie PFS), die versuchen, Fremde in einen „blinden Fleck" (Nullraum) zu drängen, den der Beamte nicht sehen kann. Obwohl dies den Beamten hervorragend bei Vertrauenswerten macht, macht sie ihn für abstandsbasierte Prüfungen völlig blind (wie ein Beamter, der Ausweise lesen kann, aber blind ist). GEODE vermeidet diese Falle, indem es die „Fremden" an den richtigen Stellen sichtbar hält.

Das Fazit

GEODE ist eine neue Trainingstechnik, die ein Computermodell darauf schult, Fremde zu erkennen, indem es intelligente, adaptive gefälschte Fremde im laufenden Betrieb erstellt. Anstatt alle Fremde in eine einzige „schlechte" Zone zu zwingen, platziert es sie in einem geometrischen Muster, das die Grenzen zwischen „Freund" und „Fremd" für jede Art von Erkennungsmethode klar hält.

Dies wird erreicht, ohne zusätzliche Daten zu benötigen, und es vermeidet den häufigen Fehler, ein Problem zu beheben und dabei ein anderes zu zerstören. Kurz gesagt: Es macht den Sicherheitsbeamten robust, vielseitig und bereit für jede Art von Fremden, die auftauchen könnten.

Technische Zusammenfassung: GEODE – Winkeladaptive OOD-Erkennung mit universeller Scorer-Kompatibilität

1. Problemstellung

Die Erkennung von Out-of-Distribution (OOD)-Daten zielt darauf ab, Eingaben zu markieren, für die ein eingesetzter Klassifikator nicht trainiert wurde. Aktuelle Ansätze stehen vor einem fundamentalen Spannungsverhältnis zwischen post-hoc-Scoring (angewendet auf eingefrorene Modelle) und trainingsbasierten Methoden (die Merkmale oder Logits umgestalten).

Der Trade-off: Trainingsmethoden, die logit-basierte Scorer verbessern (z. B. MSP, Energy), verschlechtern oft die Leistung von feature-space-basierten Scorern (z. B. KNN), und umgekehrt. Keine bestehende Methode erzielt gleichzeitig eine starke Erkennungsleistung über alle Standard-Scorer hinweg sowie in beiden Regimen: Near-OOD und Far-OOD.
Einschränkungen von Outlier Exposure (OE): Obwohl OE ein dominanter trainingsbasierter Ansatz unter Verwendung echter, zusätzlicher OOD-Daten ist, leidet er unter zwei Problemen:
1. Scorer-Abhängigkeit: Er zeigt Trade-offs, bei denen er bei einigen Scorern stark, bei anderen jedoch schwach ist.
2. Datenabhängigkeit: Er erfordert kuratierte zusätzliche Daten, die der tatsächlichen OOD-Verteilung zur Testzeit entsprechen müssen – eine Anforderung, die arbeitsintensiv und fragil ist.
Das Nullraum-Versagen: Neuere Methoden wie PFS versuchen, OOD-Merkmale in den Nullraum des Klassifikators zu drücken, um die Logit-Scores zu erhöhen. Dies zerstört jedoch katastrophal die Geometrie des Merkmalsraums, wodurch die KNN-basierte Erkennung versagt (schlechter als Zufall).

Die zentrale Frage lautet: Welche geometrische Eigenschaft macht OE effektiv, und kann dies synthetisch ohne echte OOD-Daten repliziert werden, um eine universelle Scorer-Kompatibilität zu erreichen?

2. Methodik: GEODE

Die Autoren schlagen GEODE (GEOmetry-preserving DEtection) vor, eine trainingsbasierte Methode, die OOD-Signale synthetisiert, um die Entscheidungsgrenze zu kalibrieren und gleichzeitig die Merkmalsgeometrie zu erhalten.

2.1 Geometrische Analyse von OE

Durch geometrische Analyse in der vorletzten Schicht eines trainierten Backbones (ResNet-18) stellten die Autoren fest:

OE ist Grenzkalibrierung, keine Abdeckung: OE-Merkmale sind geometrisch von echten Near-OOD-Daten nicht zu unterscheiden. Insbesondere stimmen sie im Normverhältnis, der maximalen Kosinusähnlichkeit zu den Klassenmitteln und der Unterraumprojektion überein.
Der Quartile-Effekt: Das „grenznachbare Quartil" der OE-Daten (Stichproben mit hoher Kosinusähnlichkeit zu den ID-Klassenmitteln, $>0,85$ ) treibt fast den gesamten Leistungsgewinn von OE an. Beispiele, die weit von der Grenze entfernt sind, tragen wenig bei.
Fazit: Der wirksame Mechanismus ist die Kalibrierung des Grenzregion, nicht die Abdeckung des gesamten OOD-Raums.

2.2 Der GEODE-Mechanismus

GEODE repliziert diese Kalibrierung synthetisch mittels Feature-Shuffling (Permutieren von Dimensionen über einen Batch hinweg) und eines winkeladaptiven Normverlusts.

Synthetische OOD-Generierung: Anstatt zusätzliche Daten zu verwenden, erstellt GEODE synthetische OOD-Merkmale ( $h_{ood}$ ), indem es die Merkmalsdimensionen über einen Batch von ID-Merkmalen unabhängig voneinander permutiert. Dies bricht interdimensionale Korrelationen auf, erhält jedoch die marginalen Statistiken.
Winkeladaptives Ziel: Die Kerninnovation ist eine Zielnorm $t$ $t$ , die pro Stichprobe basierend auf der Kosinusähnlichkeit ( $s$ $s$ ) des synthetischen Merkmals zum nächsten Klassenmittel ( $\mu_c$ $μ_{c}$ ) skaliert wird:
$s = \max_c \cos(h_{ood}, \mu_c)$
$t = s^2 \cdot \alpha \cdot r_{id}$
Dabei ist $r_{id}$ $r_{i d}$ die durchschnittliche ID-Merkmalsnorm und $\alpha$ $α$ ein Entspannungsparameter.
- Nahe Klassenmittel ( $s \approx 1$ ): Die Zielnorm ist groß ( $t \approx \alpha \cdot r_{id}$ ). Dies erhält die lokale Merkmalsgeometrie, die für distanzbasierte Scorer wie KNN erforderlich ist.
- Weit entfernt von Klassen ( $s \approx 0$ ): Die Zielnorm ist klein ( $t \approx 0$ ). Dies drückt Merkmale zum Ursprung hin, was die Trennung für logit-basierte Scorer wie MSP und Energy schärft.
Kontrastiver ID-Margin: Um den Margin von beiden Seiten zu erweitern, ermutigt ein kontrastiver Term ID-Merkmale, Normen zu haben, die leicht größer als $r_{id}$ sind (ID-Merkmale werden nur bestraft, wenn $\|h\| < r_{id}$ ).
Verlustfunktion: Der Gesamtverlust kombiniert Cross-Entropy, die adaptive OOD-Norm-Strafe und den kontrastiven ID-Margin.

2.2 Theoretische Begründung

Das Design basiert auf der Theorie des Neural Collapse (NC), bei der Klassenmittel zu einem Simplex Equiangular Tight Frame (ETF) konvergieren.

Theorem 1: Geshuffelte Merkmale konzentrieren sich am globalen Mittel, was die Notwendigkeit einer adaptiven Zielsetzung basierend auf den Winkeln einzelner Stichproben begründet.
Theorem 2 & 3: Das adaptive Ziel bewahrt lokale paarweise Abstände nahe den Klassengrenzen (entscheidend für KNN) besser als eine uniforme Norm-Strafe.
Theorem 4: Das Drücken von OOD-Merkmalen in den Nullraum (wie es PFS tut) eliminiert die klassenbedingte Abstandsviariation, wodurch KNN versagt. GEODE vermeidet dies, indem es OOD-Merkmale innerhalb des Klassifikator-Unterraums hält.

3. Hauptbeiträge

Geometrische Rahmung: Die Arbeit liefert die erste geometrische Charakterisierung, warum OE funktioniert (Grenzkalibrierung), und diagnostiziert das katastrophale Versagen von Nullraum-Methoden (PFS) bei KNN.
Methodendesign: GEODE führt einen winkeladaptiven Normverlust ein, der OOD-Signale ohne zusätzliche Daten synthetisiert und die Geometrie erhält, die sowohl für logit-basierte als auch für feature-space-basierte Scorer erforderlich ist.
Empirische Universalität: GEODE erzielt auf CIFAR-10 und CIFAR-100 eine konkurrenzfähige AUROC über alle sieben Standard-Scorer hinweg (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) ohne katastrophales Versagen bei einem einzelnen Scorer.
Komponierbarkeit: GEODE ist orthogonal zu OE. Die Kombination beider erzielt State-of-the-Art-Ergebnisse (z. B. 95,0 MSP / 94,8 KNN auf CIFAR-10) und schlägt OE allein bei jedem Scorer.

4. Experimentelle Ergebnisse

Evaluiert auf den OpenOOD v1.5-Benchmarks (CIFAR-10, CIFAR-100, ImageNet-200) unter Verwendung von ResNet-18 und WRN-28-10:

CIFAR-10 (Near-OOD): GEODE erreicht 92,30 AUROC (EBO) und liegt im Bereich von 89,0 bis 92,3 über alle sieben Scorer hinweg. Es vermeidet das „katastrophale Versagen", das bei anderen Methoden zu sehen ist (z. B. fällt PFS bei KNN auf 14,38; GEODE hält 89,04, ein bewusster Trade-off von 1,6 Punkten für massive Logit-Gewinne).
CIFAR-100: GEODE übertrifft das reine CE bei angepassten Epochenzahlen und schlägt OE bei allen drei Scorern (MSP, Energy, KNN) in Kombination.
ImageNet-200: GEODE zeigt bei keinem der Scorer katastrophale Ausfälle (Bereich 77,93–83,48), während LogitNorm bei Energy (29,67) und ReAct (26,53) katastrophal versagt.
Trainingsdynamik: GEODE übertrifft das reine CE im Verlauf des Trainings (bis zu 400 Epochen) und profitiert von der Neural-Collapse-Konvergenz. Im Gegensatz dazu verschlechtert sich LogitNorm bei längerem Training, da es die NC-Konvergenz stört.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GEODE den langjährigen Trade-off zwischen logit-basierter und feature-space-basierter OOD-Erkennung löst. Indem erkannt wird, dass eine effektive OOD-Erkennung auf Grenzkalibrierung und nicht auf einer vollständigen OOD-Abdeckung beruht, synthetisiert GEODE ein Trainingssignal, das den geometrischen Ort der Entscheidungsgrenze respektiert.

Universelle Kompatibilität: Im Gegensatz zu früheren Methoden, die eine spezifische Scorer-Familie auf Kosten anderer optimieren, funktioniert GEODE über alle Standard-Scorer hinweg ohne katastrophales Versagen.
Dateneffizienz: Es erzielt diese Ergebnisse ohne kuratierte zusätzliche OOD-Datensätze, sondern verlässt sich stattdessen auf synthetisches Feature-Shuffling.
Theoretische Ausrichtung: Die Methode ist so konzipiert, dass sie mit der natürlichen Konvergenz von Neural Collapse kompatibel ist, im Gegensatz zu logit-modifizierenden Methoden, die diese Konvergenz stören.

Die Autoren vermerken bescheiden Einschränkungen: Die kontrastive Margin-Komponente generalisiert nicht gut auf CIFAR-100 (aufgrund der fragilen 100-Klassen-ETF-Geometrie), und GEODE verbessert das reine ViT-B/16 auf kleinen Datensätzen nicht (wahrscheinlich aufgrund von LayerNorm, das Normvariationen auslöscht, und weil das Modell das NC-Regime nicht erreicht). Als zukünftige Arbeit werden Transformer-freundliche Varianten und Benchmarks in größerem Maßstab vorgeschlagen.