Ranked Activation Shift for Post-Hoc Out-of-Distribution Detection

Die Arbeit stellt „Ranked Activation Shift" vor, eine hyperparameterfreie Nachbearbeitungsmethode zur robusten Erkennung von Out-of-Distribution-Daten, die durch den Ersatz sortierter Aktivierungsmagnituden durch ein festes Referenzprofil die Instabilität bestehender skalenbasierter Ansätze überwindet und dabei die Klassifizierungsgenauigkeit erhält.

Das Wesentliche

Das Problem: Der verwirrte KI-Koch

Stellen Sie sich eine künstliche Intelligenz (KI) wie einen erfahrenen Koch vor, der jahrelang nur italienische Gerichte gelernt hat. Er kann Pizza und Pasta perfekt erkennen. Aber was passiert, wenn jemand ihm plötzlich einen Sushi oder eine Tacos auf den Teller legt?

Der Koch ist verwirrt. Da er Sushi und Tacos nie gesehen hat, versucht er trotzdem, sie als "Pasta" zu klassifizieren, weil er sich unsicher ist. Er ist sich zu 99 % sicher, dass es Pasta ist – aber er liegt komplett falsch. Das ist das Problem der Out-of-Distribution (OOD)-Erkennung: Die KI muss merken, wenn etwas völlig Neues vor ihr liegt, statt blindlings eine falsche Antwort zu geben.

Die bisherigen Lösungen: Der "Schere-und-Kleber"-Ansatz

Bisherige Methoden, um diese KI zu warnen, funktionieren wie ein Schere-und-Kleber-System:

• Sie schauen sich die "Gedanken" der KI (die Aktivierungen) an.
• Wenn ein Wert zu hoch ist (wie ein lauter Schrei des Kochs), wird er einfach abgeschnitten (wie mit einer Schere).
• Oder sie versuchen, die Werte zu skalieren (wie mit einem Vergrößerungsglas), um sie besser zu vergleichen.

Das Problem dabei: Diese Methoden sind sehr empfindlich.

1. Sie brauchen oft eine Schere, die man genau einstellen muss (Hyperparameter). Ist die Einstellung falsch, schneidet man zu viel oder zu wenig ab.
2. Sie funktionieren nur gut, wenn die "Gedanken" des Kochs immer positiv sind (wie bei einem Koch, der nur positive Gefühle hat). Aber moderne KIs (wie Vision Transformers) haben auch "negative Gedanken". Wenn man dort mit der Schere schneidet, passiert das Gegenteil von dem, was man will: Die KI wird noch verwirrter.

Die neue Lösung: RAS (Der "Gedächtnis-Check")

Die Autoren schlagen eine neue Methode vor, die sie RAS (Ranked Activation Shift) nennen. Man kann sich das wie einen perfekten Gedächtnis-Check vorstellen.

Statt zu schneiden oder zu skalieren, macht RAS folgendes:

1. Der Referenz-Check: Zuerst schaut sich die KI an, wie ein "normaler" italienischer Gast (ein bekanntes Bild) aussieht. Sie erstellt eine durchschnittliche Rangliste der "Gedanken" für alle normalen Gerichte. Welcher Gedanke ist am stärksten? Welcher ist am schwächsten? Das ist der Referenz-Plan.
2. Der Umzug: Wenn nun ein Sushi (ein unbekanntes Bild) hereinkommt, schaut die KI nicht auf die Stärke der Gedanken, sondern auf deren Reihenfolge.
   • Der stärkste Gedanke des Sushis wird genommen und durch den stärksten Gedanken des Referenz-Plans ersetzt.
   • Der zweitstärkste Gedanke wird durch den zweitstärksten Referenz-Gedanken ersetzt.
   • Und so weiter.

Die Analogie:
Stellen Sie sich vor, Sie haben eine Gruppe von Menschen, die nach Größe sortiert sind (der kleinste steht links, der größte rechts).

• Die alte Methode: Wenn jemand zu groß ist, wird er abgeschnitten oder sein Maßstab verändert. Das funktioniert nicht, wenn die Leute unterschiedliche Körperbau haben.
• Die RAS-Methode: Wir nehmen die neue Person, sortieren sie nach Größe und lassen sie dann exakt in die Positionen der Referenz-Gruppe rücken. Der Kleinste der neuen Person bekommt die Kleidung des Kleinsten der Referenzgruppe, der Größte die des Größten.

Warum ist das genial?

1. Keine Schere, kein Kleber: Es gibt keine Einstellungen, die man justieren muss. Die Methode funktioniert "plug-and-play" (einfach einstecken und loslegen).
2. Funktioniert überall: Ob die KI positive oder negative "Gedanken" hat – egal. Da wir nur die Reihenfolge (den Rang) betrachten und nicht den Wert, funktioniert es bei allen modernen Architekturen (wie ViT oder ConvNeXt), bei denen andere Methoden scheitern.
3. Die Wahrheit liegt in der Mitte: Die Forscher haben entdeckt, dass man nicht nur laute Gedanken dämpfen muss (inhibieren), sondern auch leise Gedanken lauter machen kann (exzitieren). Beide Richtungen helfen der KI, den Unterschied zwischen "bekannt" und "fremd" zu erkennen. RAS macht beides gleichzeitig.

Das Ergebnis

Die KI wird dadurch wie ein erfahrener Kritiker, der sofort merkt: "Hey, diese Anordnung von Gedanken passt nicht in mein normales Menü." Sie wird nicht verwirrt, sondern sagt: "Das ist kein italienisches Gericht."

Zusammenfassend:
RAS ist wie ein universeller Adapter, der jede fremde Eingabe so umformt, dass sie sich wie ein bekanntes Muster anfühlt. Wenn die KI das Muster nicht wiedererkennen kann, weiß sie sofort: "Hier stimmt etwas nicht!" Und das alles, ohne dass man ihr neue Regeln beibringen oder ihre Einstellungen mühsam justieren muss.

Technische Zusammenfassung

1. Problemstellung

Out-of-Distribution (OoD) Detektion ist entscheidend für den sicheren Einsatz von KI-Systemen in realen Szenarien (z. B. autonomes Fahren, Medizin), um Modelle vor Eingaben zu warnen, die von den Trainingsdaten abweichen.
Der Fokus liegt auf Post-Hoc-Methoden, die nach dem Training des Klassifikators angewendet werden, ohne das Modell neu trainieren zu müssen.

• Herausforderung: State-of-the-Art-Methoden zur Verbesserung der OoD-Detektion (wie ReAct, ASH, SCALE) manipulieren die Aktivierungen der vorletzten Schicht (penultimate layer), um Rauschen zu unterdrücken oder Signale zu verstärken.
• Schwächen bestehender Methoden:
  • Sie zeigen inkonsistente Leistungen über verschiedene Datensätze und Architekturen hinweg.
  • Viele skalierungsbasierte Methoden (wie ASH-S und SCALE) basieren auf der Annahme, dass Aktivierungen rektifiziert (nicht-negativ) sind und eine bestimmte Verteilung aufweisen.
  • Moderne Architekturen (z. B. Vision Transformers, ConvNeXts) verwenden oft Aktivierungsfunktionen (wie GELU oder SiLU), die negative Werte zulassen. Dies führt zu einem Versagensmodus bei skalierungsbasierten Methoden, da die theoretischen Annahmen (z. B. das Verhältnis von Summe zu Summe der oberen Perzentile) verletzt werden.
  • Die meisten Methoden erfordern eine Hyperparameter-Optimierung (z. B. Schwellenwerte) unter Verwendung von OoD-Daten, was in der Praxis oft nicht verfügbar ist.

2. Methodik: Ranked Activation Shift (RAS)

Die Autoren schlagen RAS vor, eine hyperparameterfreie Post-Hoc-Methode, die die Aktivierungsmagnituden durch ein festes Referenzprofil ersetzt.

• Prinzip: Anstatt Aktivierungen zu beschneiden (pruning) oder zu skalieren, vergleicht RAS die sortierten (gerankten) Aktivierungsstärken eines neuen Samples mit dem durchschnittlichen Profil der In-Distribution (ID)-Daten.

• Ablauf:

  1. Setup-Phase (Offline): Aus einem Teil der ID-Trainingsdaten wird ein Referenzvektor $\mu$ berechnet. Dafür werden die Aktivierungsvektoren aller ID-Samples sortiert (aufsteigend oder absteigend) und dann über alle Samples gemittelt. Dies ergibt ein durchschnittliches „Ranking-Profil" der ID-Aktivierungen.
  2. Inferenz-Phase: Für ein neues Eingabebild $x$ werden die Aktivierungen $a$ der vorletzten Schicht extrahiert.
  3. Shift: Die Aktivierungen werden sortiert. Die sortierten Werte werden dann durch die entsprechenden Werte des Referenzvektors $\mu$ ersetzt.
  4. Rückplatzierung: Die neuen Werte werden an die ursprünglichen Positionen der sortierten Aktivierungen zurückgesetzt.
  5. Das modifizierte Aktivierungsvektor $\bar{a}$ wird an den Klassifikator weitergegeben.

• Schlüsselunterschied: RAS erzwingt die Verteilung der ID-Daten auf das Eingabesample, behält aber die räumliche Orientierung (welche Neuronen aktiv waren) bei. Es ist eine Art Histogramm-Matching auf der Ebene der Aktivierungsstärken.

3. Schlüsselbeiträge

1. Analyse des Versagens: Die Autoren zeigen, dass skalierungsbasierte Methoden versagen, wenn die Aktivierungen der vorletzten Schicht nicht rektifiziert sind (z. B. bei ViTs oder ConvNeXts), da dies die theoretischen Annahmen über das Verhältnis von Summen ($Q/Q_p$) zerstört.
2. RAS-Einführung: Entwicklung einer universellen, hyperparameterfreien Methode, die keine Annahmen über das Vorzeichen der Aktivierungen trifft und somit auf eine breite Palette von Architekturen (CNNs, Transformers) anwendbar ist.
3. Analyse der Verbesserungsmechanismen: Durch Ablationsstudien (RAS-inhibit vs. RAS-excite) zeigen die Autoren, dass sowohl das Unterdrücken zu hoher Aktivierungen als auch das Anheben zu niedriger Aktivierungen unabhängig voneinander zur Trennung von ID- und OoD-Daten beitragen. RAS nutzt beide Effekte gleichzeitig.
4. Robustheit: Die Methode benötigt keine OoD-Daten für das Tuning und verändert die In-Distribution-Klassifikationsgenauigkeit kaum.

4. Ergebnisse

Die Evaluation erfolgte auf dem OpenOOD-Benchmark mit verschiedenen Architekturen (ResNet, EfficientNet, ConvNeXt, ViT, Swin) und Datensätzen (CIFAR-10/100, ImageNet, ImageNet-200).

• Leistung: RAS erreicht konsistent die besten oder wettbewerbsfähigsten Ergebnisse im Vergleich zu State-of-the-Art-Methoden (wie EBO, ReAct, ASH, SCALE), insbesondere bei Architekturen mit nicht-rektifizierten Aktivierungen, wo andere Methoden versagen.
• Hyperparameter-Freiheit: Im Gegensatz zu ASH oder SCALE, die optimale Schwellenwerte benötigen, funktioniert RAS ohne jegliches Tuning und schlägt dennoch Methoden, die mit ihren optimalen Hyperparametern betrieben werden.
• Kompatibilität: RAS kann modular mit verschiedenen Scoring-Funktionen (EBO, ViM, GEN) kombiniert werden und verbessert deren Leistung konsistent.
• Genauigkeit: Die In-Distribution-Klassifikationsgenauigkeit bleibt nahezu unverändert (im Gegensatz zu Methoden wie DICE oder RankFeat, die die Genauigkeit signifikant senken können).
• Effizienz: Der Rechenaufwand ist gering ($O(D \log D)$ durch das Sortieren), was nur einen minimalen Overhead (ca. 6 %) gegenüber der Standard-Inferenz bedeutet.

5. Bedeutung und Fazit

Das Paper adressiert eine kritische Lücke in der OoD-Detektion: Die Abhängigkeit bestehender Methoden von spezifischen Architektureigenschaften (Rektifizierung) und Hyperparametern.

• Robustheit: RAS bietet eine robuste Lösung, die unabhängig von der spezifischen Aktivierungsfunktion des Modells funktioniert. Dies ist besonders relevant für den Aufstieg von Transformer-Architekturen (ViT), bei denen negative Aktivierungen häufig sind.
• Praktische Anwendbarkeit: Da keine OoD-Daten für das Tuning benötigt werden und keine Hyperparameter gewählt werden müssen, ist RAS ideal für den Einsatz in realen Pipelines, wo solche Daten oft nicht verfügbar sind.
• Theoretische Einsicht: Die Arbeit widerlegt die Annahme, dass OoD-Detektion nur durch das Unterdrücken hoher Aktivierungen verbessert wird, und zeigt, dass eine Anpassung an das globale ID-Profil (sowohl nach oben als auch nach unten) der Schlüssel zur Verbesserung ist.

Zusammenfassend stellt RAS einen einfachen, aber effektiven „Plug-and-Play"-Ansatz dar, der die Zuverlässigkeit von KI-Systemen bei unbekannten Eingaben signifikant verbessert, ohne die ursprüngliche Leistung zu beeinträchtigen.