🤖 machine learning

Scaling Pretrained Representations Enables Label-Free Out-of-Distribution Detection Without Fine-Tuning

Dieser Artikel zeigt, dass das Skalieren vortrainierter Repräsentationen eine genaue, labelfreie Erkennung von Out-of-Distribution-Daten ohne Fine-Tuning ermöglicht, indem er aufdeckt, dass eingefrorene Modelle inhärent eine ausreichende geometrische Struktur kodieren, wodurch die Leistungsunterschiede zwischen lokalen und globalen Detektoren verschwinden, sobald sich die Qualität der Repräsentationen verbessert.

Ursprüngliche Autoren: Brett Barkley, Preston Culbertson, David Fridovich-Keil

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Brett Barkley, Preston Culbertson, David Fridovich-Keil

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „übermütige Experte"

Stellen Sie sich vor, Sie haben einen brillanten Experten, der Tausende von Bildern von Katzen und Hunden studiert hat. Wenn Sie ihm ein Bild einer Katze zeigen, sagt er mit 100-prozentiger Sicherheit: „Das ist eine Katze!" Doch wenn Sie ihm ein Bild eines Toasters zeigen, sagt er vielleicht immer noch mit genauso viel Sicherheit: „Das ist eine sehr seltsame Katze!"

In der Welt der KI nennt man dies das Out-of-Distribution (OOD)-Problem. Deep-Learning-Modelle sind hervorragend darin, Dinge zu erkennen, die sie bereits gesehen haben, aber sie sind schrecklich darin zu merken, wenn etwas völlig neu oder seltsam ist. Sie haben keinen „Stopp und Nachdenken"-Knopf; sie raten einfach, oft falsch.

Der alte Weg: Einen neuen Spezialisten einstellen

Früher dachten Forscher, um dies zu beheben, müssten Sie zwei Dinge tun:

Dem Modell Labels geben: Sagen Sie ihm genau, was jedes Bild ist (z. B. „Das ist eine Katze", „Das ist ein Hund").
Es feinabstimmen: Trainieren Sie das Modell speziell darauf, die seltsamen Dinge zu erkennen, im Wesentlichen also für jeden neuen Job einen neuen Spezialisten einstellen.

Das ist langsam, teuer und erfordert viele Daten, die oft nicht existieren (wie beschriftete Beispiele für „seltsame" Eingaben).

Die neue Entdeckung: Das „eingefrorene" Modell ist bereits schlau

Dieses Papier stellt eine einfache Frage: Müssen wir das Modell wirklich neu trainieren?

Die Autoren testeten moderne, vortrainierte KI-Modelle (wie DINO für Bilder und Qwen für Text), die „eingefroren" sind. Das bedeutet, sie sind bereits trainiert und wir dürfen ihr internes Gehirn nicht verändern. Sie nutzen lediglich die „Gedanken" (Repräsentationen), die das Modell generiert, wenn es Daten betrachtet.

Sie stellten fest, dass diese eingefrorenen Modelle bereits eine verborgene „geometrische Karte" in sich tragen. Selbst ohne gelehrt worden zu sein, was „seltsam" ist, trennt die Art und Weise, wie das Modell seine Gedanken organisiert, natürliche Dinge auf natürliche Weise von seltsamen Dingen.

Die beiden Detektoren: Die „globale Karte" vs. der „lokale Späher"

Um dies zu testen, verwendeten die Autoren zwei verschiedene Werkzeuge, um die Gedanken des Modells zu untersuchen:

Die globale Karte (Mahalanobis): Stellen Sie sich vor, Sie schauen aus einem Drohnenflug auf eine Menschenmenge. Sie zeichnen einen großen Kreis um die „normalen" Menschen. Wenn jemand weit außerhalb dieses Kreises steht, ist er seltsam. Diese Methode betrachtet das große Ganze und die Gesamtform der Daten.
Der lokale Späher (ReSCOPED): Stellen Sie sich einen Späher vor, der durch die Menge läuft und die Textur des Bodens sowie die spezifischen Details des Gesichts jeder Person überprüft. Diese Methode verwendet einen „Diffusions"-Prozess (denken Sie daran wie das langsame Reinigen eines schmutzigen Fensters), um zu sehen, ob die Details „typisch" oder „atypisch" aussehen.

Die Hauptentdeckung: Größer ist besser, und Einfaches reicht aus

Die Autoren testeten diese Werkzeuge an 59 verschiedenen Kombinationen von Aufgaben (Vision und Sprache) und Modellgrößen. Hier ist, was sie fanden:

Kleine Modelle sind wählerisch: Wenn das KI-Modell klein oder nicht sehr schlau ist, stimmen die „globale Karte" und der „lokale Späher" nicht überein. Manchmal hat die Karte recht; manchmal hat der Späher recht. Sie müssen erraten, welches Werkzeug für den spezifischen Job zu verwenden ist.
Große Modelle sind konsistent: Wenn die Modelle größer und schlauer werden (Skalierung), werden beide Werkzeuge unglaublich gut darin, die seltsamen Dinge zu erkennen.
Die Lücke verschwindet: In den größten und fortschrittlichsten Modellen spielt es keine Rolle, welches Werkzeug Sie verwenden. Sowohl die „globale Karte" als auch der „lokale Späher" funktionieren fast perfekt. Die „Seltsamkeit" ist in den Gedanken des Modells so deutlich sichtbar, dass selbst das einfachste Werkzeug sie finden kann.

Die „Sweet Spot"-Analogie

Das Papier entdeckte auch einen „Sweet Spot" (optimalen Bereich) darin, wie der „lokale Späher" (ReSCOPED) funktioniert.
Stellen Sie sich vor, Sie versuchen, einen bestimmten Sound in einem lauten Raum zu hören.

Wenn Sie die Lautstärke zu hoch drehen (zu viel Rauschen), hören Sie alles und können nicht unterscheiden, was wichtig ist.
Wenn Sie sie zu niedrig drehen (zu wenig Rauschen), verpassen Sie die Details.
Die Autoren fanden heraus, dass es eine perfekte mittlere Lautstärke gibt, bei der die „seltsamen" Signale klar werden. Überraschenderweise ist diese „perfekte Lautstärke" dieselbe, egal ob Sie Bilder betrachten oder Text lesen. Es ist eine universelle Einstellung für moderne KI.

Praktische Anwendung: Der „Türsteher"

Da diese Modelle bereits schlau genug sind, um die seltsamen Dinge ohne Neutrainieren zu erkennen, zeigten die Autoren, wie man sie als Türsteher einsetzen kann.

Stellen Sie sich einen Chatbot vor. Bevor der Chatbot beginnt, eine lange Antwort zu schreiben, prüft dieser „Türsteher" die Frage des Benutzers.

Wenn die Frage normal aussieht, sagt der Türsteher: „Machen Sie weiter."
Wenn die Frage seltsam oder gefährlich aussieht, sagt der Türsteher: „Stopp! Antworten Sie dies nicht."

Das Tolle daran ist, dass dieser Türsteher blitzschnell ist. Er fügt nur etwa 5 Millisekunden (0,005 Sekunden) Verzögerung hinzu. Er muss den Chatbot nicht neu trainieren oder Labels anfordern; er nutzt einfach die eigenen „Gedanken" des Chatbots, um die Entscheidung zu treffen.

Zusammenfassung

Alte Überzeugung: Sie müssen Modelle neu trainieren und komplexe Werkzeuge verwenden, um seltsame Eingaben zu fangen.
Neue Entdeckung: Moderne, große, eingefrorene Modelle haben die „Seltsamkeit" bereits in ihrer Struktur eingebaut.
Ergebnis: Sie können seltsame Eingaben mit einfachen Werkzeugen erkennen, ohne zusätzliches Training. Wenn Modelle größer werden, spielt die Wahl des Werkzeugs weniger eine Rolle, da das Signal so klar wird.
Vorteil: Dies ermöglicht schnelle, effiziente Sicherheitsprüfungen für KI-Modelle direkt ab Werk.

Technische Zusammenfassung: Skalierung vortrainierter Repräsentationen ermöglicht label-freie Out-of-Distribution-Erkennung ohne Fine-Tuning

Problemstellung

Deep-Learning-Modelle versagen häufig darin, zu signalisieren, wenn Eingaben außerhalb ihrer Trainingsdaten-Manigfaltigkeit liegen, was zu unzuverlässigen Vorhersagen unter Verteilungsverschiebung führt. Während unüberwachte Out-of-Distribution (OOD)-Erkennung aufgrund ihrer aufgabenagnostischen Natur wertvoll ist, stehen traditionelle Methoden vor erheblichen Hürden: Likelihood-basierte Schätzer weisen OOD-Stichproben häufig höhere Wahrscheinlichkeiten zu als In-Distribution (ID)-Daten, und rekonstruktionsbasierte Methoden sind empfindlich gegenüber der Abstimmung von Bottlenecks.

Eine vorherrschende Annahme in diesem Bereich besagt, dass eine effektive OOD-Erkennung entweder eine klassenbedingte Modellierung (die gelabelte ID-Daten erfordert) oder ein überwachtes Fine-Tuning der Repräsentation zur Offenlegung von OOD-relevanter Struktur voraussetzt. Darüber hinaus deuten frühere Arbeiten darauf hin, dass die Rangfolge von Detektoren über Datensätze hinweg inkonsistent ist und keine einzelne Methode andere universell übertrifft. Diese Arbeit stellt die Notwendigkeit von Labels und Fine-Tuning in Frage und untersucht, ob moderne, eingefrorene vortrainierte Repräsentationen inhärent ausreichende geometrische Strukturen für eine präzise, label-freie OOD-Erkennung kodieren.

Methodik

Die Autoren evaluieren diese Hypothese über 59 Backbone-Aufgaben-Paarungen hinweg, die Vision (DINO, DINOv3) und Sprache (BERT, Qwen3) umfassen. Sie vergleichen zwei komplementäre, label-freie Detektoren, die auf eingefrorenen latenten Repräsentationen operieren:

Globaler Mahalanobis-Schätzer: Eine label-freie Anpassung der klassischen Mahalanobis-Distanz. Anstatt klassenbedingte Gauß-Verteilungen anzupassen (was Labels erfordert), passt diese Methode ein einzelnes globales Gauß-Modell an die ungelabelten In-Distribution-latenten Repräsentationen an. Sie berechnet den Abstand eines Testpunkts vom globalen Mittelwert, normalisiert durch die globale Kovarianzmatrix.
ReSCOPED (Lokaler Score-Krümmung-Schätzer): Ein leichter, diffusionsbasierter Typizitätsschätzer, der auf lokaler Ebene operiert. Aufbauend auf SCOPED trainiert ReSCOPED einen kleinen Diffusionsbeobachter (ca. 8 Millionen Parameter) auf eingefrorenen Repräsentationen. Es bewertet die lokale Geometrie unter Verwendung eines Score-Krümmungs-Verhältnisses ( $T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$ ), wobei $s_\theta$ der Diffusions-Score und $\kappa$ die Spur der Score-Jacobi-Matrix (Krümmung) ist. Dies fungiert als Mehrskalenfilter, um OOD-Signale freizulegen, die global möglicherweise nicht zugänglich sind.

Beide Methoden werden direkt auf eingefrorene Backbones ohne Fine-Tuning angewendet und verwenden ausschließlich ungelabelte In-Distribution-Daten zum Anpassen.

Hauptergebnisse

1. Hohe Leistung ohne Fine-Tuning

Moderne eingefrorene Repräsentationen ermöglichen eine starke label-freie OOD-Erkennung. Auf Vision-Benchmarks (z. B. CIFAR-10 vs. CIFAR-100) erreichte ReSCOPED mit einem eingefrorenen DINOv3-L-Backbone 94,3 % AUROC und entsprach damit eng der Leistung von Modellen, die ein vollparametrisches überwachtes Fine-Tuning erforderten. Ebenso erzielten skalierte Modelle (Qwen3) in Sprachaufgaben hohe AUROC-Werte auf den CLINC150- und SST-Benchmarks ohne Labels.

2. Der Effekt des „Skalierungsregimes"

Die Arbeit identifiziert ein regimeabhängiges Muster bezüglich der Detektorwahl:

Schwache/Kleine Repräsentationen: Bei kleineren oder weniger strukturierten Backbones (z. B. BERT, DINOv3-S) ist die Detektorleistung datensatzabhängig. Beispielsweise übertraf ReSCOPED Mahalanobis auf CLINC150, während Mahalanobis ReSCOPED auf SST übertraf. Keine einzelne Methode war universell am besten.
Starke/Skalierte Repräsentationen: Mit zunehmender Backbone-Skala (z. B. DINOv3-L, Qwen3-4B) wird die Leistungslücke zwischen dem einfachen globalen Mahalanobis-Detektor und dem komplexen lokalen ReSCOPED-Detektor vernachlässigbar. Beide Methoden konvergieren zu hoher Leistung, was darauf hindeutet, dass Skalierung OOD-relevante Geometrie sowohl für globale als auch für lokale Sonden zugänglich macht.

3. Empirische Regelmäßigkeit bei Denoising-Skalen

Über 59 Konfigurationen hinweg in Vision und Sprache beobachteten die Autoren einen konsistenten „Leistungsplateau"-Effekt für ReSCOPED bei einem spezifischen intermediären Denoising-Rauschpegel ( $t \approx 5$ ). Dies deutet darauf hin, dass OOD-relevante Strukturen in vortrainierten Transformer-Repräsentationen auf einer stabilen, gemeinsamen Skala freigelegt werden, unabhängig von der spezifischen Modalität oder dem Trainingsziel.

4. Praktische Effizienz

Der vorgeschlagene Ansatz ermöglicht eine effiziente Bereitstellung. ReSCOPED fügt nur minimale Latenz hinzu (ca. 5,4 ms für Qwen3-4B auf einer NVIDIA 4090), da es nur einen Vorwärtsdurchlauf durch den eingefrorenen Encoder, einen durch den leichten Beobachter und ein einzelnes Jacobi-Vektor-Produkt erfordert. Dies ermöglicht eine Echtzeit-„Gatekeeping"-Funktion während der Prefill-Phase der LLM-Inferenz, bei der Out-of-Distribution-Prompts abgelehnt werden, bevor die autoregressive Dekodierung beginnt.

Hauptbeiträge

Label-freie Machbarkeit: Es wurde nachgewiesen, dass moderne vortrainierte Vision- und Sprachrepräsentationen eine starke label-freie OOD-Erkennung ohne Fine-Tuning oder Klassenlabels ermöglichen, wobei sowohl lokale (ReSCOPED) als auch globale (Mahalanobis) geometrische Ansichten genutzt werden.
Skalenabhängige Detektorwahl: Es wurde gezeigt, dass Backbone-Familie und Skala die Detektorwirksamkeit bestimmen. Bei schwächeren Backbones ist die Detektorwahl kritisch und datensatzabhängig; bei skalierten Backbones (DINOv3, Qwen3) verschwindet die Lücke zwischen einfachen globalen und ausdrucksstarken lokalen Methoden.
Gemeinsames Granularitätsregime: Es wurde ein konsistentes Denoising-Skalen-Plateau über Modalitäten hinweg identifiziert, was darauf hindeutet, dass OOD-relevante Strukturen in Transformer-Repräsentationen auf einer gemeinsamen Skala zugänglich werden.
Bereitstellungspfad: Es wurde ein praktischer, latenzarmer Bereitstellungspfad für OOD-Erkennung auf eingefrorenen Modellen demonstriert, einschließlich Echtzeit-Prefill-Phase-Gatekeeping für LLMs.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die Geometrie, die durch eingefrorene vortrainierte Backbones freigelegt wird, der primäre Treiber der OOD-Erkennungsleistung ist und nicht die spezifische Wahl des Detektors oder die Notwendigkeit einer überwachten Anpassung. Während Foundation-Modelle skalieren, legen sie OOD-relevante Abweichungen in einer Form offen, die sowohl für einfache globale Statistiken als auch für komplexe lokale Krümmungsmaße zugänglich ist.

Folglich behaupten die Autoren, dass für skalierte Foundation-Modelle die Bedeutung der Auswahl eines spezifischen Detektors abnimmt. Der Fokus verschiebt sich vom Engineering komplexer Detektoren hin zum Verständnis, wann eingefrorene Repräsentationen bereits die notwendige Geometrie freilegen. Diese Erkenntnis reduziert die Rechen- und Datenbelastung der OOD-Erkennung und ermöglicht eine effiziente Bereitstellung direkt auf eingefrorenen Modellen ohne die Notwendigkeit aufgabenspezifischen Fine-Tunings oder gelabelter Anomaliedaten.

Einschränkungen: Die Autoren stellen fest, dass die Studie zwar eine breite Palette von Backbones und Datensätzen abdeckt, aber nicht alle Foundation-Modelle oder Bereitstellungsregime erschöpfend behandelt. Der Vergleich beschränkt sich auf zwei komplementäre label-freie Methoden, und zukünftige Arbeiten sind erforderlich, um zu verifizieren, ob diese Konvergenz für andere Detektorfamilien oder schwierigere Verteilungsverschiebungen gilt, bei denen aktuelle Repräsentationen die Leistung noch nicht vollständig ausschöpfen.