🤖 machine learning

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

Dieser Artikel stellt eine neuartige Methode zur Out-of-Distribution-Erkennung mit vortrainierten Vision-Language-Modellen vor, die das Problem der falsch-negativen Ergebnisse beim Mining negativer Labels durch die Einführung eines theoretischen Rahmens für entvorteilte Stichprobenziehung adressiert, der praktisch als Monte-Carlo-Sampling implementiert wird, um einen State-of-the-Art-Ergebnis zu erzielen.

Ursprüngliche Autoren: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Fremde Gefahr"-Problem für KI

Stellen Sie sich vor, Sie haben einen sehr klugen Sicherheitsbeamten (ein KI-Modell), der trainiert wurde, 1.000 spezifische Tiere zu erkennen (wie Katzen, Hunde und Adler). Dieser Beamte ist hervorragend darin, diese Tiere zu identifizieren. In der realen Welt könnte der Beamte jedoch auf ein völlig neues Tier stoßen, das er noch nie gesehen hat, wie ein Schnabeltier oder einen Roboterhund.

Wenn der Beamte zu selbstbewusst ist, versucht er möglicherweise, das Schnabeltier gewaltsam in die Kategorie „Ente" oder „Biber" zu zwängen, was ein Fehler ist. Dies wird als Out-of-Distribution (OOD)-Fehler bezeichnet. Das Ziel dieses Papers ist es, dem Beamten beizubringen, zu sagen: „Ich weiß nicht, was das ist", anstatt falsch zu raten.

Die aktuelle Lösung: Die „Liste der Nicht-Dieses"-Tiere

Um dem Beamten zu helfen, Fremde zu erkennen, haben Forscher ein spezielles Werkzeug namens Vision-Language Model (VLM) entwickelt. Stellen Sie sich dieses Werkzeug als einen Beamten vor, der nicht nur das Tier sieht, sondern auch die Namen von Tausenden anderer Tiere kennt.

Die derzeit beliebte Methode funktioniert wie folgt:

Der Beamte betrachtet das unbekannte Tier.
Er vergleicht das Tier mit den 1.000 bekannten Tieren (In-Distribution oder ID).
Er vergleicht das Tier auch mit einer langen Liste von zufälligen Tieren, die er aus einem Wörterbuch ausgewählt hat (Negative Labels).
Wenn das unbekannte Tier mehr wie die „zufällige Liste" aussieht als wie die „bekannte Liste", markiert der Beamte es als Fremden.

Das Problem: Die aktuelle Methode wählt diese „zufälligen Tiere" (negative Labels) mit einer einfachen Regel aus: „Wähle Wörter, die sich vom Klang oder Aussehen her von den bekannten Tieren unterscheiden."

Der Fehler: Dies ist wie der Versuch, ein „Nicht-Hund" zu finden, indem man Wörter wählt, die nicht „Hund" sind. Man könnte versehentlich „Wolf" oder „Fuchs" auswählen. Für die KI sieht ein Wolf einem Hund sehr ähnlich. Daher gerät die KI in Verwirrung. Sie denkt: „Nun, dieses neue Tier sieht aus wie ein Wolf, und ein Wolf steht auf meiner 'Nicht-Hund'-Liste, also muss dies ein Hund sein!"
Das Ergebnis: Die KI macht Fehler, weil ihre „Liste der Fremden" mit Dingen kontaminiert ist, die tatsächlich so aussehen wie die Dinge, die sie kennen sollte. Dies wird als Negative Mining Bias bezeichnet.

Die Lösung des Papers: Der „entzerrte" Detektiv

Die Autoren dieses Papers sagen: „Wir brauchen einen besseren Weg, um unsere 'Fremden'-Liste auszuwählen, ohne versehentlich Dinge auszuwählen, die unseren Freunden ähneln."

Sie haben einen mathematischen Trick entwickelt, um diese Verzerrung zu beheben, ohne dass ein Mensch jedes einzelne Wort auf der Liste überprüfen muss. So gehen sie vor, unter Verwendung einer Analogie:

Die Analogie: Der verrauschte Radiosender

Stellen Sie sich vor, Sie versuchen, einen bestimmten Song zu hören (das „Echte Fremde"-Signal), aber Ihr Radio fängt statisches Rauschen und andere Songs auf (das „Wild Corpus" oder ungelabelte Daten).

Alte Methode: Sie drehen einfach die Lautstärke des Rauschens hoch und hoffen, dass der Song, den Sie wollen, laut genug ist, um herauszustechen. Manchmal ertränkt das Rauschen den Song, oder Sie verwechseln einen ähnlich klingenden Song mit dem, den Sie wollen.
Neue Methode (Debiased Negative Mining): Die Autoren stellten fest, dass das „Rauschen" (die wilden Daten) tatsächlich eine Mischung aus zwei Dingen ist:
1. Dinge, die Ihren bekannten Freunden ähnlich sind (Positives Rauschen).
2. Dinge, die wirklich Fremde sind (Negatives Rauschen).

Anstatt zu raten, was was ist, verwenden sie einen mathematischen Subtraktionstrick.

Sie schätzen ab, wie viel „freundähnliches" Rauschen in der Mischung enthalten ist.
Sie subtrahieren dieses „freundähnliche" Rauschen mathematisch von der gesamten Störung.
Was übrig bleibt, ist ein viel klareres Signal davon, wie ein „wahrer Fremder" tatsächlich aussieht.

In technischen Begriffen verwenden sie eine Technik namens Importance Sampling. Sie nehmen die unordentlichen, ungelabelten Daten und korrigieren mathematisch dafür, dass ein Teil davon den bekannten Klassen zu sehr ähnelt. Dies erzeugt einen „entzerrten" (Debiased) Score.

Wie sie es tun (Die 3 Schritte)

Das Paper beschreibt einen praktischen Dreischritt-Prozess, um diesen besseren „Fremden-Detektor" zu bauen:

Die besten „Fremden" auswählen: Sie nehmen ein riesiges, unordentliches Wörterbuch von Wörtern (das Wild Corpus). Anstatt sie zufällig auszuwählen, wählen sie die Wörter aus, die am „dichtesten" oder am stärksten gruppiert sind. Denken Sie daran wie an die Auswahl der repräsentativsten Beispiele für „Fremdartigkeit" anstatt zufälliger Ausreißer.
Die „Freunde" simulieren: Da sie keine Liste mit „wahren Freunden" haben, um sie abzuziehen, erstellen sie eine gefälschte Liste. Sie nehmen die bekannten Tiernamen (z. B. „Katze") und fügen in den Speicher des Computers ein wenig „Rauschen" (Zufälligkeit) hinzu. Dies simuliert, wie ein „Freund" in den unordentlichen Daten aussieht.
Die mathematische Magie: Sie stecken diese beiden Listen in ihre Formel. Sie berechnen den Score für das unbekannte Tier und subtrahieren dann den simulierten „Freund"-Score vom unordentlichen „Fremden"-Score. Dies hebt die Verwirrung auf.

Die Ergebnisse: Warum es wichtig ist

Die Autoren testeten diese neue Methode gegen die alten mit berühmten Bilddatensätzen (wie ImageNet).

Das Ergebnis: Ihre Methode schlug die bisherigen besten Methoden konsequent.
Der Beweis: Bei den Tests war ihre KI viel besser darin, „Ich weiß es nicht" zu sagen, wenn ihr ein seltsames Bild gezeigt wurde, und viel weniger wahrscheinlich, mit Selbstvertrauen das falsche Tier zu erraten.
Robustheit: Es funktionierte gut, selbst wenn die „bekannten" Tiere leicht unterschiedlich waren (z. B. Zeichnungen statt Fotos) oder wenn verschiedene Arten von KI-Gehirnen verwendet wurden.

Zusammenfassung

Dieses Paper behebt einen spezifischen Fehler darin, wie KI lernt, „Unbekanntes" zu erkennen. Der alte Weg war wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man das Heu ignoriert, aber versehentlich andere Nadeln aufgreift, die ähnlich aussahen. Der neue Weg verwendet einen mathematischen Filter, um diese „falschen Nadeln" zu entfernen, und gibt der KI einen viel klareren Blick darauf, was wirklich unbekannt ist. Dies macht die KI sicherer und zuverlässiger, wenn sie auf Dinge stößt, die sie noch nie gesehen hat.

Technische Zusammenfassung: Entzerrtes Negatives Mining verbessert die Erkennung von Out-of-Distribution-Daten mit vorab trainierten Vision-Language-Modellen

Problemstellung
Die Erkennung von Out-of-Distribution (OOD) ist entscheidend, um die Zuverlässigkeit von Machine-Learning-Modellen in Open-World-Szenarien zu gewährleisten, in denen Testdaten unbekannte Klassen enthalten können. Während vorab trainierte Vision-Language-Modelle (VLMs) wie CLIP vielversprechende Ergebnisse bei der nachträglichen OOD-Erkennung gezeigt haben, indem sie semantische Affinitäten zwischen In-Distribution (ID)-Labels und „negativen" Labels (semantisch von ID verschieden) nutzen, stoßen bestehende Ansätze auf eine erhebliche theoretische Einschränkung. Aktuelle Methoden, wie NegLabel, verlassen sich auf heuristische Regeln (z. B. Kosinus-Ähnlichkeit), um negative Labels aus ungelabelten „wilden" Korpusdaten (z. B. WordNet) zu extrahieren. Die Autoren argumentieren, dass diese heuristischen Regeln keine theoretischen Garantien für die Erfassung echter semantischer Dissimilarität bieten, was zu einer „Verzerrung beim negativen Mining" führt. Diese Verzerrung entsteht, weil die extrahierte negative Menge unvermeidlich mit „falsch negativen" Fällen kontaminiert ist (Labels, die tatsächlich semantisch ähnlich zu ID-Klassen sind), was zu suboptimalen OOD-Bewertungsfunktionen führt. Die zentrale Herausforderung besteht darin, diese Stichprobenverzerrung zu mindern, ohne Informationen über die wahre Ähnlichkeit oder zusätzliches menschliches Feedback zum wilden Korpus zu benötigen.

Methodik
Die vorgeschlagene Methode, Entzerrtes Negatives Mining, führt ein theoretisches Rahmenwerk ein, um die Stichprobenverzerrung negativer Labels zu korrigieren, indem die wahre Verteilung negativer Labels indirekt angenähert wird. Der Ansatz basiert auf folgenden Schritten:

Verteilungsmodellierung: Die Autoren modellieren die Verteilung der ungelabelten wilden Daten ( $Q_Y$ ) als Mischung aus wahren positiven Labels ( $P^+_Y$ ) und wahren negativen Labels ( $P^-_Y$ ) unter Verwendung des Huber-Verschmutzungsmodells: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$ , wobei $\tau$ eine Prior-Wahrscheinlichkeit ist, die als Hyperparameter behandelt wird.
Theoretische Herleitung: Durch Umstellung des Mischmodells wird die wahre negative Verteilung als $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$ ausgedrückt. Die Autoren leiten eine unverzerrte OOD-Bewertungsfunktion basierend auf dieser Beziehung ab.
Asymptotische Approximation: Um rechenintensive Schätzungen zu vermeiden, nutzt die Methode den Satz von der dominierten Konvergenz, um zu zeigen, dass sich die Bewertungsfunktion, wenn die Anzahl der negativen Labels gegen unendlich geht, einer Form annähert, die von den Erwartungswerten der wilden Verteilung und der positiven Verteilung abhängt.
Monte-Carlo-Importance Sampling: Die finale entzerrte Bewertungsfunktion wird als Monte-Carlo-Schätzer implementiert. Sie erfordert:
- Stichprobenziehung aus dem wilden Korpus ( $u_i$ ): Auswahl repräsentativer Stichproben aus dem wilden Korpus basierend auf lokaler Dichte (unter Verwendung von $\alpha$ -nächsten Nachbarn), um den Erwartungswert über $Q_Y$ zu approximieren.
- Synthese positiver Labels ( $v_i$ ): Da wahre positive Labels aus dem wilden Korpus unbekannt sind, synthetisiert die Methode positive Merkmale, indem sie eine semantik-erhaltende Transformation (Hinzufügen von Gaußschem Rauschen und Normalisierung) auf die Einbettungen bekannter ID-Labels anwendet.
- Bewertung: Die finale OOD-Bewertung wird berechnet, indem die Affinitäten der ID-Labels mit der gewichteten Differenz zwischen dem Erwartungswert des wilden Korpus und dem synthetisierten positiven Erwartungswert kombiniert werden, wodurch die Kontamination durch falsch negative Fälle effektiv ausgeglichen wird.

Hauptbeiträge

Theoretisches Rahmenwerk: Das Papier entwickelt ein neuartiges theoretisches Rahmenwerk, das die Stichprobenverzerrung negativer Labels korrigiert, ohne Informationen über wahre Ähnlichkeit oder Dissimilarität zu benötigen, und damit das Problem der „falsch negativen" Fälle adressiert, das beim heuristischen Mining inherent ist.
Praktische Implementierung: Die Autoren setzen diese Korrektur als effiziente Importance-Sampling-Strategie um, die ausschließlich auf den Zugriff auf positive Beispiele (ID-Labels) und ungelabelte wilde Daten angewiesen ist, wodurch der Bedarf an zusätzlicher Überwachung entfällt.
State-of-the-Art-Leistung: Umfangreiche Experimente zeigen, dass die Methode neue State-of-the-Art-Ergebnisse über verschiedene OOD-Erkennungs-Benchmarks, verschiedene CLIP-Architekturen (ViT-B/32, ViT-L/14, ResNet-50) und verschiedene Eingabeauflösungen hinweg erzielt.
Robustheit: Die Methode zeigt starke Generalisierung und Robustheit in Szenarien mit Domänenverschiebung (z. B. ImageNet-A, ImageNet-R, ImageNetV2) und übertrifft bestehende Zero-Shot-Methoden.

Experimentelle Ergebnisse
Die Methode wurde am ImageNet-1K-Benchmark mit ID-Labels evaluiert und gegen OOD-Datensätze getestet, darunter iNaturalist, SUN, Places365 und Textures.

Leistung: Die vorgeschlagene Methode erreichte eine durchschnittliche AUROC von 94,52 % und einen FPR95 von 22,37 % und übertraf damit die bisher beste Zero-Shot-Methode, NegLabel (94,21 % AUROC, 25,40 % FPR95).
Ablation: Die Methode übertraf NegLabel konsistent über verschiedene visuelle Backbones (ViT-B/32, ViT-L/14, ResNet-50) und Eingabeauflösungen (224x224 vs. 336x336) hinweg.
Korpus-Sensitivität: Die Methode zeigte eine überlegene Leistung gegenüber NegLabel, wenn sie mit verschiedenen Korpusquellen getestet wurde (Common-20K und Part-of-Speech-Tags), was die Flexibilität bei der Wahl der wilden Daten unterstreicht.
Hyperparameter: Die Methode erwies sich als stabil über einen weiten Bereich von Hyperparametern hinweg, einschließlich der Prior-Wahrscheinlichkeit $\tau$ , der Rauschintensität $\sigma$ und der Anzahl der extrahierten Labels $L$ .

Bedeutung
Das Papier behauptet, dass das Mining negativer Labels zwar eine erfolgreiche Heuristik war, seine Kraft jedoch aufgrund des ungelösten Problems der falsch negativen Fälle nicht vollständig entfaltet wurde. Durch die Bereitstellung einer theoretischen Korrektur für diese Verzerrung „entfesselt" die Arbeit das Potenzial von VLMs für die OOD-Erkennung. Die Autoren betonen, dass ihr Ansatz diese Verbesserungen ohne zusätzliche Trainingsdaten oder menschliches Feedback zum wilden Korpus erreicht, was ihn zu einer praktischen und robusten Lösung für die Zero-Shot-OOD-Erkennung macht. Die Arbeit legt nahe, dass zukünftige Richtungen die Integration von vorab trainierten Multi-modalen Large Language Models beinhalten könnten, der aktuelle Beitrag jedoch auf die Verfeinerung des negativen Mining-Prozesses innerhalb bestehender VLM-Rahmenwerke fokussiert ist.