🤖 machine learning

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

Dit artikel stelt een nieuwe methode voor voor out-of-distribution-detectie met behulp van vooraf getrainde visueel-taalmodellen die het probleem van vals-negatieven bij het minen van negatieve labels aanpakt door een theoretisch kader voor gedebiasde steekproefneming in te voeren, wat in de praktijk wordt geïmplementeerd als Monte-Carlo-steekproefneming om state-of-the-art-prestaties te bereiken.

Oorspronkelijke auteurs: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Gepubliceerd 2026-05-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Vreemdelingengevaar"-probleem voor AI

Stel je een zeer slimme bewaker voor (een AI-model) die is getraind om 1.000 specifieke dieren te herkennen (zoals katten, honden en adelaars). Deze bewaker is uitstekend in het identificeren van deze dieren. Echter, in de echte wereld kan de bewaker een volledig nieuw dier tegenkomen dat ze nog nooit hebben gezien, zoals een vogelbekdier of een robot-hond.

Als de bewaker te zelfverzekerd is, kan ze proberen het vogelbekdier in de categorie "eend" of "bever" te duwen, wat een fout is. Dit heet een Out-of-Distribution (OOD)-fout. Het doel van dit paper is om de bewaker te leren zeggen: "Ik weet niet wat dit is," in plaats van verkeerd te gokken.

De Huidige Oplossing: De "Lijst van Niet-Dit"

Om de bewaker te helpen vreemdelingen op te sporen, hebben onderzoekers een speciaal hulpmiddel ontwikkeld dat een Vision-Language Model (VLM) wordt genoemd. Denk aan dit hulpmiddel als een bewaker die niet alleen het dier ziet, maar ook de namen van duizenden andere dieren kent.

De huidige populaire methode werkt als volgt:

De bewaker kijkt naar het onbekende dier.
Ze vergelijkt het dier met de 1.000 bekende dieren (In-Distribution of ID).
Ze vergelijkt het dier ook met een lange lijst van willekeurige dieren die ze uit een woordenboek hebben gekozen (Negatieve Labels).
Als het onbekende dier meer lijkt op de "willekeurige lijst" dan op de "bekende lijst", markeren de bewakers het als een vreemdeling.

Het Probleem: De huidige methode kiest deze "willekeurige dieren" (negatieve labels) met een simpele regel: "Kies woorden die klinken of eruitzien als anders dan de bekende dieren."

De Tekortkoming: Dit is alsof je probeert een "niet-hond" te vinden door woorden te kiezen die niet "hond" zijn. Je kunt per ongeluk "wolf" of "vos" kiezen. Voor de AI lijkt een wolf veel op een hond. Dus raakt de AI in de war. Ze denkt: "Nou, dit nieuwe dier lijkt op een wolf, en een wolf staat op mijn 'niet-hond'-lijst, dus dit moet een hond zijn!"
Het Resultaat: De AI maakt fouten omdat haar "lijst van vreemdelingen" vervuild is met dingen die er eigenlijk uitzien als de dingen die ze zou moeten kennen. Dit heet Negative Mining Bias.

De Oplossing van het Paper: De "Gedebiaserde" Detective

De auteurs van dit paper zeggen: "We hebben een betere manier nodig om onze lijst van 'vreemdelingen' te kiezen, zonder per ongeluk dingen te kiezen die op onze vrienden lijken."

Ze hebben een wiskundige truc ontwikkeld om deze bias op te lossen zonder dat een mens elk woord op de lijst hoeft te controleren. Hier is hoe ze dat doen, met een analogie:

De Analogie: Het Ruizige Radiostation

Stel je voor dat je probeert naar een specifiek liedje te luisteren (het "Ware Vreemdeling"-signaal), maar je radio pakt ruis en andere nummers op (de "Wild Corpus" of ongelabelde data).

Oude Methode: Je zet gewoon het volume van de ruis hoger, in de hoop dat het liedje dat je wilt hard genoeg klinkt om op te vallen. Soms overspoelt de ruis het liedje, of verwar je een gelijkend klinkend liedje met het liedje dat je wilt.
Nieuwe Methode (Debiased Negative Mining): De auteurs beseften dat de "ruis" (de wilde data) eigenlijk een mix is van twee dingen:
1. Dingen die lijken op je bekende vrienden (Positieve ruis).
2. Dingen die echt vreemdelingen zijn (Negatieve ruis).

In plaats van te gokken wat wat is, gebruiken ze een wiskundige aftrekkingstruc.

Ze schatten hoeveel "vriend-achtige" ruis er in de mix zit.
Ze trekken die "vriend-achtige" ruis wiskundig af van de totale ruis.
Wat overblijft, is een veel schoner signaal van hoe een "ware vreemdeling" er eigenlijk uitziet.

In technische termen gebruiken ze een techniek die Importance Sampling wordt genoemd. Ze nemen de rommelige, ongelabelde data en corrigeren wiskundig voor het feit dat een deel daarvan te veel op de bekende klassen lijkt. Dit creëert een "gedebiaserde" score.

Hoe Ze Het Doen (De 3 Stappen)

Het paper schetst een praktisch drie-stappenproces om deze betere "vreemdelingendetector" te bouwen:

Kies de Beste "Vreemdelingen": Ze nemen een enorme, rommelige woordenlijst van woorden (de wild corpus). In plaats van ze willekeurig te kiezen, kiezen ze de woorden die het meest "dicht" of geclusterd bij elkaar liggen. Denk hierbij aan het kiezen van de meest representatieve voorbeelden van "vreemdheid" in plaats van willekeurige uitschieters.
Simuleer de "Vrienden": Omdat ze geen lijst van "ware vrienden" hebben om van af te trekken, maken ze een nep-lijst. Ze nemen de bekende dierennamen (bijv. "Kat") en voegen een klein beetje "ruis" (willekeur) toe in het geheugen van de computer. Dit simuleert hoe een "vriend" eruitziet in de rommelige data.
De Wiskundige Magie: Ze steken deze twee lijsten in hun formule. Ze berekenen de score voor het onbekende dier, en trekken vervolgens de gesimuleerde "vriend"-score af van de rommelige "vreemdeling"-score. Dit neutraliseert de verwarring.

De Resultaten: Waarom Het Belangrijk Is

De auteurs hebben deze nieuwe methode getest tegen de oude methoden met behulp van beroemde afbeeldingsdatasets (zoals ImageNet).

De Uitkomst: Hun methode sloeg consequent de vorige beste methoden.
Het Bewijs: In de tests was hun AI veel beter in het zeggen van "Ik weet het niet" wanneer ze een vreemde afbeelding werd getoond, en veel minder geneigd om zelfverzekerd het verkeerde dier te raden.
Robuustheid: Het werkte goed, zelfs wanneer de "bekende" dieren iets anders waren (bijv. tekeningen in plaats van foto's) of wanneer er verschillende soorten AI-heren werden gebruikt.

Samenvatting

Dit paper lost een specifieke fout op in hoe AI leert om "onbekenden" op te sporen. De oude manier was alsof je probeerde een naald in een hooiberg te vinden door het hooi te negeren, maar per ongeluk andere naalden oppakte die erop leken. De nieuwe manier gebruikt een wiskundig filter om die "nep-naalden" te verwijderen, waardoor de AI een veel duidelijker beeld krijgt van wat echt onbekend is. Dit maakt AI veiliger en betrouwbaarder wanneer ze dingen tegenkomt die ze nog nooit heeft gezien.

Technische Samenvatting: Gedebiaserde Negatieve Mining Verbetert Out-of-distribution Detectie met Vooraf Getrainde Vision-Language Modellen

Probleemstelling
Out-of-distribution (OOD) detectie is cruciaal voor het waarborgen van de betrouwbaarheid van machine learning-modellen in open-wereldscenario's, waarbij testdata onbekende klassen kan bevatten. Hoewel vooraf getrainde Vision-Language Modellen (VLM's), zoals CLIP, veelbelovend zijn gebleken voor post-hoc OOD-detectie door het benutten van semantische affiniteiten tussen In-Distribution (ID)-labels en "negatieve" labels (semantisch verschillend van ID), staan bestaande benaderingen voor een aanzienlijke theoretische beperking. Huidige methoden, zoals NegLabel, vertrouwen op heuristische regels (bijvoorbeeld cosinus-achtigheid) om negatieve labels te mijnen uit ongelabelde "wilde" corpusdata (bijvoorbeeld WordNet). De auteurs betogen dat deze heuristische regels geen theoretische garanties bieden voor het vangen van ware semantische dissimilariteit, wat leidt tot een "negatieve mining bias". Deze bias treedt op omdat de gemijnde negatieve set onvermijdelijk besmet raakt met "false negatives" (labels die in werkelijkheid semantisch vergelijkbaar zijn met ID-klassen), wat resulteert in suboptimale OOD-scorefuncties. De kernuitdaging die wordt aangepakt, is hoe deze sampling bias kan worden verzacht zonder grond-waarheidsinformatie over similariteit of extra menselijke feedback op het wilde corpus te vereisen.

Methodologie
De voorgestelde methode, Gedebiaserde Negatieve Mining, introduceert een theoretisch kader om de sampling bias van negatieve labels te corrigeren door indirect de ware verdeling van negatieve labels te benaderen. De aanpak is gebaseerd op de volgende stappen:

Verdelingsmodellering: De auteurs modelleren de verdeling van de ongelabelde wilde data ( $Q_Y$ ) als een mengsel van ware positieve labels ( $P^+_Y$ ) en ware negatieve labels ( $P^-_Y$ ) met behulp van het Huber-contaminatiemodel: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$ , waarbij $\tau$ een a priori-kans is die als hyperparameter wordt behandeld.
Theoretische Afleiding: Door het mengselmodel te herschikken, wordt de ware negatieve verdeling uitgedrukt als $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$ . De auteurs leiden een onbevooroordeelde OOD-scorefunctie af op basis van deze relatie.
Asymptotische Benadering: Om computatieel kostbare schattingen te vermijden, maakt de methode gebruik van de gedomineerde convergentiestelling om aan te tonen dat, naarmate het aantal negatieve labels naar oneindig gaat, de scorefunctie convergeert naar een vorm die afhankelijk is van de verwachtingen van de wilde verdeling en de positieve verdeling.
Monte-Carlo Importance Sampling: De uiteindelijke gedebiaserde scorefunctie wordt geïmplementeerd als een Monte-Carlo-schatting. Dit vereist:
- Wilde Corpus Sampling ( $u_i$ ): Het selecteren van representatieve steekproeven uit het wilde corpus op basis van lokale dichtheid (met behulp van $\alpha$ -naaste buren) om de verwachting over $Q_Y$ te benaderen.
- Synthese van Positieve Labels ( $v_i$ ): Aangezien ware positieve labels uit het wilde corpus onbekend zijn, synthetiseert de methode positieve kenmerken door een semantisch behoudende transformatie (toevoegen van Gaussisch ruis en normaliseren) toe te passen op de embeddings van bekende ID-labels.
- Scoren: De uiteindelijke OOD-score wordt berekend door de ID-label-affiniteiten te combineren met het gewogen verschil tussen de verwachting van het wilde corpus en de gesynthetiseerde positieve verwachting, waardoor de besmetting door false negatives effectief wordt geannuleerd.

Belangrijkste Bijdragen

Theoretisch Kader: Het paper ontwikkelt een nieuw theoretisch kader dat de sampling bias van negatieve labels corrigeert zonder grond-waarheidsinformatie over similariteit of dissimilariteit te vereisen, en zo het "false negative"-probleem aanpakt dat inherent is aan heuristische mining.
Praktische Implementatie: De auteurs implementeren deze correctie als een efficiënte importance sampling-strategie die uitsluitend vertrouwen op toegang tot positieve voorbeelden (ID-labels) en ongelabelde wilde data, waardoor de behoefte aan extra supervisie wordt vermeden.
State-of-the-art Prestaties: Uitgebreide experimenten tonen aan dat de methode nieuwe state-of-the-art resultaten vestigt op diverse OOD-detectiebenchmarks, verschillende CLIP-architecturen (ViT-B/32, ViT-L/14, ResNet-50) en verschillende invoeroplossingen.
Robuustheid: De methode toont sterke generalisatie en robuustheid in scenario's met domeinverschuiving (bijvoorbeeld ImageNet-A, ImageNet-R, ImageNetV2) en presteert beter dan bestaande zero-shot methoden.

Experimentele Resultaten
De methode werd geëvalueerd op de ImageNet-1K-benchmark met ID-labels, getest tegen OOD-datasets waaronder iNaturalist, SUN, Places365 en Textures.

Prestaties: De voorgestelde methode behaalde een gemiddelde AUROC van 94,52% en een FPR95 van 22,37%, en presteerde beter dan de vorige beste zero-shot methode, NegLabel (94,21% AUROC, 25,40% FPR95).
Ablatie: De methode presteerde consequent beter dan NegLabel over verschillende visuele backbones (ViT-B/32, ViT-L/14, ResNet-50) en invoeroplossingen (224x224 versus 336x336).
Corpusgevoeligheid: De methode toonde superieure prestaties ten opzichte van NegLabel bij testen met verschillende corpusbronnen (Common-20K en Part-of-Speech-tags), wat flexibiliteit in de keuze van wilde data aangeeft.
Hyperparameters: De methode bleek stabiel te zijn over een breed scala aan hyperparameters, waaronder de a priori-kans $\tau$ , de ruisintensiteit $\sigma$ en het aantal gestaalde labels $L$ .

Betekenis
Het paper stelt dat, hoewel negatieve label-mining een succesvolle heuristiek is geweest, de kracht ervan niet volledig is ontsloten vanwege het onopgeloste probleem van false negatives. Door een theoretische correctie voor deze bias te bieden, "ontslot" het werk het potentieel van VLM's voor OOD-detectie. De auteurs benadrukken dat hun aanpak deze winsten bereikt zonder extra trainingsdata of menselijke feedback op het wilde corpus te vereisen, waardoor het een praktische en robuuste oplossing is voor zero-shot OOD-detectie. Het werk suggereert dat toekomstige richtingen het integreren van vooraf getrainde Multi-modal Large Language Models kunnen omvatten, maar dat de huidige bijdrage zich richt op het verfijnen van het negatieve mining-proces binnen bestaande VLM-kaders.