Technische Samenvatting: Schalen van voorgeöefende representaties maakt labelvrije Out-of-Distribution-detectie mogelijk zonder fine-tuning

Probleemstelling

Deep learning-modellen signaleren vaak niet wanneer invoer buiten het trainingsdatamanifold valt, wat leidt tot onbetrouwbare voorspellingen bij distributieverandering. Hoewel onbewaakte Out-of-Distribution (OOD)-detectie waardevol is vanwege zijn taak-onafhankelijke aard, staan traditionele methoden voor aanzienlijke hindernissen: likelihood-gebaseerde schatters wijzen OOD-steekproeven vaak hogere kansen toe dan in-distribution (ID)-data, en reconstructie-gebaseerde methoden zijn gevoelig voor afstemming van de bottleneck.

Een heersende aanname in het veld is dat effectieve OOD-detectie vereist ofwel class-voorwaardelijke modellering (afhankelijk van gelabelde ID-data) ofwel supervisie-gestuurde fine-tuning van de representatie om OOD-relevante structuur bloot te leggen. Bovendien suggereert eerdere werk dat detectorrangschikkingen inconsistent zijn over datasets, waarbij geen enkele methode universeel beter presteert dan andere. Dit artikel daagt de noodzaak van labels en fine-tuning uit, en vraagt of moderne bevroren voorgeöefende representaties van nature voldoende geometrische structuur coderen voor accurate, labelvrije OOD-detectie.

Methodologie

De auteurs evalueren deze hypothese over 59 backbone-taak-koppelingen die visie (DINO, DINOv3) en taal (BERT, Qwen3) modaliteiten omvatten. Ze vergelijken twee complementaire, labelvrije detectoren die werken op bevroren latente representaties:

1. Global Mahalanobis Schatter: Een labelvrije aanpassing van de klassieke Mahalanobis-afstand. In plaats van class-voorwaardelijke Gaussians te fitten (wat labels vereist), past deze methode een enkel globaal Gaussisch model aan op de ongelabelde in-distribution latente representaties. Het berekent de afstand van een testpunt tot het globale gemiddelde, genormaliseerd door de globale covariantiematrix.
2. ReSCOPED (Local Score-Curvature Schatter): Een lichtgewicht, diffusie-gebaseerde typiciteitsschatter die op lokaal niveau werkt. Op basis van SCOPED traint ReSCOPED een kleine diffusie-observer (ongeveer 8M parameters) op bevroren representaties. Het evalueert lokale geometrie met behulp van een score-kromming ratio ($T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$), waarbij $s_\theta$ de diffusiescore is en $\kappa$ de trace van de score-Jacobiiaan (kromming). Dit fungeert als een multischaalfilter om OOD-signalen bloot te leggen die mogelijk niet globaal toegankelijk zijn.

Beide methoden worden direct toegepast op bevroren backbones zonder fine-tuning, met uitsluitend ongelabelde in-distribution data voor het fitten.

Belangrijkste Resultaten

1. Hoge Prestaties zonder Fine-tuning

Moderne bevroren representaties maken sterke labelvrije OOD-detectie mogelijk. Op visie-benchmarks (bijv. CIFAR-10 versus CIFAR-100) bereikte ReSCOPED met een bevroren DINOv3-L backbone 94,3% AUROC, wat nauw aansluit bij de prestaties van modellen die volledige parameter-supervisie-gestuurde fine-tuning vereisten. Evenzo bereikten geschaalde modellen (Qwen3) in taaltoepassingen hoge AUROC-waarden op CLINC150 en SST-benchmarks zonder labels.

2. Het "Schalingsregime"-effect

Het artikel identificeert een regime-afhankelijk patroon met betrekking tot de keuze van de detector:

• Zwakke/Kleine Representaties: Bij kleinere of minder gestructureerde backbones (bijv. BERT, DINOv3-S) is de prestatie van de detector dataset-afhankelijk. Bijvoorbeeld, ReSCOPED presteerde beter dan Mahalanobis op CLINC150, terwijl Mahalanobis beter presteerde dan ReSCOPED op SST. Geen enkele methode was universeel het beste.
• Sterke/Geschaalde Representaties: Naarmate de backbone-schaal toeneemt (bijv. DINOv3-L, Qwen3-4B), wordt het prestatieverschil tussen de eenvoudige globale Mahalanobis-detector en de complexe lokale ReSCOPED-detector verwaarloosbaar. Beide methoden convergeren naar hoge prestaties, wat suggereert dat schaling OOD-relevante geometrie toegankelijk maakt voor zowel globale als lokale probes.

3. Empirische Regulariteit in Denoising-schalen

Over 59 configuraties in zowel visie als taal zagen de auteurs een consistent "prestatieplateau" voor ReSCOPED op een specifiek intermediair denoising-ruisniveau ($t \approx 5$). Dit suggereert dat OOD-relevante structuur in voorgeöefende Transformer-representaties wordt blootgelegd op een stabiele, gedeelde schaal, ongeacht de specifieke modaliteit of trainingsdoel.

4. Praktische Efficiëntie

De voorgestelde aanpak maakt efficiente implementatie mogelijk. ReSCOPED voegt minimale latentie toe (ongeveer 5,4 ms voor Qwen3-4B op een NVIDIA 4090) omdat het slechts één forward pass door de bevroren encoder, één door de lichtgewicht observer en één enkele Jacobiiaan-vectorproduct vereist. Dit maakt real-time "poortwachterschap" mogelijk tijdens het prefill-stadium van LLM-inferentie, waarbij out-of-distribution prompts worden afgewezen voordat autoregressieve decoding begint.

Belangrijkste Bijdragen

1. Labelvrije Leefbaarheid: Aangetoond dat moderne voorgeöefende visie- en taalrepresentaties sterke labelvrije OOD-detectie mogelijk maken zonder fine-tuning of class-labels, met gebruik van zowel lokale (ReSCOPED) als globale (Mahalanobis) geometrische perspectieven.
2. Schaal-afhankelijke Detectorkeuze: Aangetoond dat backbone-familie en schaal de effectiviteit van de detector bepalen. Bij zwakkere backbones is de keuze van de detector cruciaal en dataset-afhankelijk; bij geschaalde backbones (DINOv3, Qwen3) verdwijnt het gat tussen eenvoudige globale en expressieve lokale methoden.
3. Gedeeld Granulariteitsregime: Geïdentificeerd een consistent denoising-schaalplateau over modaliteiten, wat aangeeft dat OOD-relevante structuur toegankelijk wordt op een gedeelde schaal in Transformer-representaties.
4. Implementatiepad: Aangetoond een praktische, laag-latente implementatiepad voor OOD-detectie op bevroren modellen, inclusief real-time poortwachterschap in het prefill-stadium voor LLM's.

Betekenis en Beweringen

Het artikel betoogt dat de geometrie die wordt blootgelegd door bevroren voorgeöefende backbones de primaire drijvende kracht is van OOD-detectieprestaties, en niet de specifieke keuze van de detector of de behoefte aan supervisie-gestuurde adaptatie. Naarmate foundation-modellen schalen, leggen ze van nature OOD-relevante afwijkingen bloot in een vorm die toegankelijk is voor zowel eenvoudige globale statistieken als complexe lokale krommingsmaten.

Derhalve beweren de auteurs dat voor geschaalde foundation-modellen het belang van het selecteren van een specifieke detector afneemt. De focus verschuift van het ontwerpen van complexe detectoren naar het begrijpen van wanneer bevroren representaties al de benodigde geometrie blootleggen. Deze bevinding vermindert de computatie- en data-belasting van OOD-detectie, waardoor efficiënte implementatie direct op bevroren modellen mogelijk is zonder de noodzaak van taak-specifieke fine-tuning of gelabelde anomaliedata.

Beperkingen: De auteurs merken op dat hoewel de studie een brede reeks backbones en datasets bestrijkt, deze niet exhaustief alle foundation-modellen of implementatierégimes dekt. De vergelijking is beperkt tot twee complementaire labelvrije methoden, en toekomstig werk is nodig om te verifiëren of deze convergentie geldt voor andere detectorfamilies of moeilijkere distributieveranderingen waar huidige representaties de prestaties nog niet verzadigen.