🤖 AI

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

Dit artikel stelt een online pseudo-superviserend raamwerk voor dat visuele klassenprototypen leert uit niet-gelabelde testdata om het intrinsieke modaaliteitskloof tussen tekst- en visuele representaties te overbruggen, waardoor state-of-the-art post-hoc out-of-distribution-detectie wordt bereikt zonder dat in-distributietraindata vereist is.

Oorspronkelijke auteurs: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen bibliothecaris (het AI-model) hebt die jarenlang een enorme bibliotheek met boeken over specifieke onderwerpen, zoals "katten", "auto's" en "bomen", heeft bestudeerd. Deze bibliothecaris is uitstekend in het identificeren van deze dingen. Echter, in de echte wereld kunnen mensen binnenlopen en de bibliothecaris een foto laten zien van een "glitterende broodrooster" of een "vliegende banaan". Dit zijn dingen die de bibliothecaris nog nooit heeft gezien.

Het doel van Out-of-Distribution (OOD) detectie is om de bibliothecaris te leren zeggen: "Ik weet niet wat dit is," in plaats van te gokken dat het een kat of een auto is en het verkeerd te hebben.

De Oude Weg: Het "Leermiddel"-Probleem

Recent hebben wetenschappers een nieuw hulpmiddel ontdekt: een Vision-Language Model (zoals CLIP). Denk hierbij aan een bibliothecaris die zowel afbeeldingen als woorden kan lezen. Om de bibliothecaris te helpen "katten" te herkennen, schreef de oude methode simpelweg het woord "kat" op een kaart en vertelde de bibliothecaris: "Dit woord vertegenwoordigt het idee van een kat."

Het probleem is dat woorden en afbeeldingen verschillende talen zijn.

Het woord "kat" bestaat in de wereld van tekst.
De afbeelding van een kat bestaat in de wereld van beelden.

Het artikel betoogt dat het simpelweg gebruiken van het woord "kat" als vervanging voor de afbeelding van een kat, vergelijkbaar is met proberen een stad te navigeren met een kaart van een andere stad. Hoewel de kaart en de stad sommige namen delen, lopen de straten niet perfect in lijn. Er is een "Modality Gap" (modaliteitskloof) — een structurele mismatch tussen de tekstbeschrijving en de werkelijke visuele realiteit. Hoe slim je de prompt (de instructies) ook herschrijft, je kunt deze kloof niet oplossen omdat tekst en afbeelding gewoon niet in dezelfde "buurt" wonen in het brein van de AI.

De Nieuwe Oplossing: Leren door te Doen (De "Online" Aanpak)

De auteurs stellen een nieuwe manier voor om dit op te lossen. In plaats van te vertrouwen op statische tekstkaarten, laten ze de bibliothecaris de visuele kaart direct leren terwijl ze aan het werk zijn.

Hier is hoe hun methode werkt, met behulp van een eenvoudige analogie:

De Opstelling: De bibliothecaris begint met de tekstkaarten (de oude manier) als een ruig startpunt.
De Stroom: Terwijl mensen binnenlopen met nieuwe afbeeldingen (testdata), bekijkt de bibliothecaris ze.
De Gok: De bibliothecaris doet een "zachte gok" op basis van hun huidige kennis. "Dit lijkt voor 80% op een kat, 20% op een hond."
De Update:
- Als de bibliothecaris zeer zeker is dat het een kat is, passen ze hun mentale "kat-kaart" lichtjes aan om te overeenkomen met de daadwerkelijke afbeelding die ze zojuist zagen.
- Als de bibliothecaris zeer zeker is dat het geen kat is (het is een onbekend object), passen ze hun "onbekend object-kaart" aan.
- Als de bibliothecaris in de war is, negeren ze de afbeelding voor nu.
Het Resultaat: Na verloop van tijd stopt de bibliothecaris met vertrouwen op de onvolmaakte tekstkaarten en bouwt een perfecte, visuele kaart van hoe "kat" en "onbekend" er in de echte wereld werkelijk uitzien.

Waarom Dit Belangrijk Is

Het artikel bewijst wiskundig dat de oude manier (het gebruik van tekst als prototype) een permanente gebrek heeft omdat tekst en afbeeldingen fundamenteel verschillend zijn. Hun nieuwe meth lost dit op door de kaart onderweg te kalibreren met behulp van de afbeeldingen zelf, zonder dat er menselijke labels nodig zijn of het hele systeem opnieuw getraind hoeft te worden.

Het Bewijs

Ze hebben dit getest op enorme datasets (zoals ImageNet, dat duizenden categorieën bevat). De resultaten waren indrukwekkend:

De nieuwe methode was veel beter in het opsporen van "onbekenden" (zoals de vliegende banaan) dan eerdere methoden.
Het verminderde het aantal keren dat de AI met vertrouwen het verkeerde ding raadde (False Positives) aanzienlijk.
Het werkte goed, zelfs wanneer de afbeeldingen in verschillende volgorde werden geschud of uit verschillende bronnen kwamen.

Kortom, het artikel zegt: "Lees niet alleen het etiket; kijk naar de afbeelding en leer er tijdens het proces van." Dit maakt de AI veel betrouwbaarder wanneer ze dingen tegenkomt die ze nog nooit heeft gezien.

Technische Samenvatting: Respecteren van de Modale Kloof bij Post-hoc Out-of-distribution Detectie met Vooraf Getrainde Vision-Language Modellen

Probleemstelling

Out-of-distribution (OOD) detectie is cruciaal voor het waarborgen van de betrouwbaarheid van machine learning-modellen in open-wereld scenario's, waarbij testsamples mogelijk tot onbekende klassen behoren die niet tijdens het trainen zijn gezien. Hoewel recente vooruitgang in vooraf getrainde Vision-Language Modellen (VLM's), met name CLIP, zero-shot OOD-detectie mogelijk heeft gemaakt zonder toegang tot in-distribution (ID) trainingsdata, vertrouwen bestaande benaderingen op een specifiek paradigma: het behandelen van tekst-embeddings van klassenamen als klassenprototypen.

Dit artikel daagt de geldigheid van dit "tekst-als-prototype"-paradigma uit. Het betoogt dat bestaande methoden impliciet aannemen dat tekstuele representaties goed zijn uitgelijnd met optimale visuele klassenprototypen. Echter, recente bewijzen suggereren een aanhoudende "modale kloof" waarbij tekst- en visuele representaties in CLIP-gebaseerde modellen distinct blijven. De auteurs stellen dat kant-en-klare tekstuele prototypen over het algemeen niet zijn uitgelijnd met de optimale visuele prototypen, wat een intrinsieke structurele kloof creëert die niet uitsluitend kan worden opgelost door prompt engineering of mining van negatieve labels. Deze misalignatie leidt tot suboptimale prestaties bij OOD-detectie.

Methodologie

Om de modale kloof aan te pakken onder post-hoc beperkingen (waarbij geen ID-trainingsdata beschikbaar is), stelt het artikel een online pseudo-supervised framework voor dat direct klassenprototypen leert en bijwerkt binnen de visuele kenmerkruimte.

1. Theoretische Karakterisering van de Modale Kloof

De auteurs bieden eerst een theoretische analyse onder een geïdealiseerde supervised formulering. Zij leiden een gesloten-vorm expressie af voor optimale visuele klassenprototypen, en bewijzen dat deze prototypen volledig moeten liggen binnen de span van de visuele kenmerkruimte. Daarentegen bevatten tekst-afgeleide prototypen vaak componenten die orthogonaal zijn tot deze visuele deelruimte.

Stelling 1: Stelt vast dat optimale visuele prototypen lineaire combinaties zijn van visuele kenmerken.
Stelling 2: Bewijst een niet-verdwijnende ondergrens voor de afstand tussen tekstuele prototypen en optimale visuele prototypen, zolang de tekst-embeddings componenten bevatten buiten de visuele kenmerkdeelruimte. Dit formaliseert de "modale kloof" als een structurele beperking.

2. Online Pseudo-Supervised Learning Framework

Omdat grondwahrheid labels niet beschikbaar zijn in de zero-shot setting, maakt de methode gebruik van de sterke zero-shot transfer capaciteiten van vooraf getrainde CLIP-modellen om zachte pseudo-labels te genereren.

Pseudo-Supervised Doelfunctie: Het framework vervangt harde grondwahrheid labels door zachte voorspellingen van de vooraf getrainde VLM om een pseudo-supervised verliesfunctie te construeren.
Online Optimalisatie: Er wordt een online optimalisatieprocedure ontwikkeld om visuele prototypen incrementeel bij te werken met behulp van ongelabelde test-tijd datastromen. Dit respecteert de post-hoc beperking door data te verwerken zodra deze binnenkomt.
Prototype Update Strategie:
- De ID-labelruimte wordt uitgebreid met $L$ OOD pseudo-klassen (placeholders).
- Een harde drempelregel gebaseerd op bestaande OOD-scores (bijvoorbeeld van NegLabel) classificeert binnenkomende testsamples als "positief" (waarschijnlijk ID) of "negatief" (waarschijnlijk OOD).
- ID-klassenprototypen worden alleen bijgewerkt wanneer een sample als ID wordt geclassificeerd; OOD pseudo-klassenprototypen worden bijgewerkt wanneer een sample als OOD wordt geclassificeerd.
- Samples met onzekere scores worden genegeerd.
Convergentie Garantiën: Stelling 3 biedt theoretische garanties voor de convergentie van de voorgestelde online optimalisatieprocedure, waarbij de cumulatieve regret wordt begrensd door $O(\sqrt{N})$ .

3. OOD Scoring

De uiteindelijke OOD-score voor een testafbeelding wordt berekend door het visuele kenmerk van de afbeelding te vergelijken met de bijgewerkte visuele prototypen (zowel ID als OOD pseudo-klassen) met behulp van een op softmax gebaseerde gelijkheidsmaatstaf, in plaats van te vertrouwen op de originele tekst-embeddings.

Belangrijkste Bijdragen

Theoretisch Inzicht: Het artikel toont theoretisch aan dat de "tekst-als-prototype"-aanname in CLIP-gebaseerde post-hoc OOD-detectie fundamenteel gebrekkig is vanwege een intrinsieke modale kloof. Het bewijst dat tekst-embeddings optimale visuele prototypen niet perfect kunnen representeren zonder visuele kalibratie.
Nieuw Framework: Het introduceert een online pseudo-supervised framework dat klassenprototypen direct leert in de visuele kenmerkruimte met behulp van ongelabelde teststromen en zachte VLM-voorspellingen, waardoor de modale kloof effectief wordt overbrugd.
Theoretische Garanties: De auteurs bieden rigoureuze convergentiegaranties voor hun online optimalisatiealgoritme.
State-of-the-Art Prestaties: De methode behaalt nieuwe state-of-the-art resultaten op diverse OOD-detectie benchmarks, waaronder ImageNet-1K, OpenOOD en CIFAR-datasets, en presteert beter dan sterke baselines zoals AdaNeg en NegLabel.

Experimentele Resultaten

Uitgebreide experimenten valideren de effectiviteit van de voorgestelde methode:

ImageNet-1K: De methode behaalt een AUROC van 97,75% en een FPR95 van 12,79%, en overtreft de vorige state-of-the-art (AdaNeg) met aanzienlijke marges (bijvoorbeeld +1,09% AUROC en -6,13% FPR95).
OpenOOD Benchmark: Er worden consistente verbeteringen waargenomen op zowel Near-OOD als Far-OOD datasets, wat robuustheid aantoont over verschillende soorten distributieveranderingen.
CIFAR Benchmarks: De methode toont consistente winsten op CIFAR-10 en CIFAR-100 setups.
Ablatie Studies: De methode blijkt robuust te zijn voor hyperparameterkeuzes, effectief over verschillende visuele encoder-architecturen (ResNet-50, ViT-B/32, ViT-L/14), en schaalbaar naar grotere invoerresoluties.
Domein Generalisatie: De aanpak behoudt superieure prestaties wanneer ID-data domeinverschuivingen ondergaat (bijvoorbeeld ImageNet-A, ImageNet-R, ImageNet-S).

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het identificeren en aanpakken van een structurele beperking in het huidige paradigma van zero-shot OOD-detectie. Door afstand te nemen van de afhankelijkheid van tekst-embeddings als statische prototypen en in plaats daarvan dynamische, gekalibreerde visuele prototypen te leren van test-tijd data, biedt de methode een meer theoretisch onderbouwde en empirisch effectieve oplossing.

De auteurs benadrukken dat hun aanpak niet slechts een technische aanpassing is, maar een fundamentele verschuiving in hoe prototypen worden geconstrueerd voor VLM-gebaseerde OOD-detectie. Zij stellen dat de modale kloof een structureel probleem is dat onafhankelijk is van strategieën voor mining van negatieve labels, en dat hun framework een principiële manier biedt om deze kloof te mitigeren, wat leidt tot consistente prestatiewinsten over diverse benchmarks zonder hertraining op ID-data.