🤖 machine learning

Decodable but Not Detectable: A Leakage Fingerprint for Near-OOD Benchmarks

Dit artikel identificeert en valideert een specifieke "lek-vingerafdruk" in near-OOD benchmarks veroorzaakt door contaminatie van de trainingsdata, waarbij wordt aangetoond dat dergelijke lekken leiden tot misleidend lage unsupervised detectiescores terwijl ze perfect decodeerbaar blijven voor supervised modellen, en stelt een gecorrigeerd protocol voor om de integriteit van de benchmark te waarborgen.

Oorspronkelijke auteurs: Vishnu Bindu Balachandran

Gepubliceerd 2026-07-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vishnu Bindu Balachandran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een robot probeert te leren hoe hij een neppe moet herkennen. Je laat de robot duizend foto's van echte katten zien en zegt: "Dit zijn de echte." Daarna laat je hem een foto van een hond zien en vraag je: "Is dit een kat?" Als de robot zegt: "Nee, dat is een hond," dan doet hij zijn werk. Dit wetenschappelijke veld wordt Out-of-Distribution (OOD) detectie genoemd. Het gaat erom computers te leren wanneer ze iets zien dat totaal anders is dan wat ze op school hebben geleerd.

Maar hier komt het lastige deel: soms is het "nepte" ding geen hond; het is een heel vreemd uitziende kat, of een foto van een kat genomen in een vreemd licht. Dit wordt een "near-OOD" probleem genoemd. Het is alsof je de robot vraagt om een kat te herkennen die verdacht veel op een tijger lijkt. Om te testen of de robot slim is, creëren wetenschappers speciale tests waarbij ze één soort dier verbergen voor de training van de robot en kijken of hij dat later kan herkennen. Het hele systeem rust op een simpele regel: de robot mag het "test"-dier nog nooit gezien hebben, anders is de test kapot. Als de robot dat testdier al eerder heeft gezien, zal hij niet kunnen onderscheiden of het een "nep" ding is of gewoon een bekende vriend.

Stel je nu voor dat je een robot auditeert die beweert een meesterdetective te zijn. Je voert een test uit, en de robot faalt spectaculair. Hij krijgt niet alleen een paar vragen fout; hij krijgt ze precies omdraait. Hij beweert vol vertrouwen dat het "nepte" dier eigenlijk een echt een is, en dat de echte dieren nep zijn. Sterker nog, hij presteert zo slecht dat hij slechter is dan wanneer hij simpelweg willekeurig zou gokken. De meeste mensen zouden aannemen dat de robot kapot is of dat de test te moeilijk was. Maar in dit artikel ontdekt de auteur, Vishnu Bindu Balachandran, dat de robot helemaal niet kapot is. De test zelf was valsgespeeld.

De auteur vond een "lek" in de manier waarop de test was opgebouwd. De wetenschappers die de test hadden ontworpen, hadden per ongeluk het "nepte" dier opgenomen in de school van de robot. Dus toen de robot het testdier zag, dacht hij: "Hé, die ken ik nog! Dat is een van mijn vrienden!" en gaf hij het een voldoende. Omdat de robot juist dit dier als een vreemde had moeten markeren, kreeg hij een verschrikkelijke score. De auteur noemt dit een "lek", zoals een geheim bericht dat in de verkeerde kamer terecht is gekomen.

Om dit te bewijzen, deed de auteur iets slims. Ze namen exact dezelfde test, maar dit keer zorgden ze ervoor dat de robot dat specifieke dier nog nooit eerder had gezien. Ze wisten de herinnering van de robot aan dat dier en voerden de test opnieuw uit. Plotseling sprong de score van de robot van een rampzalige 0,326 (waar 0,5 een willekeurige gok is) naar een briljante 0,911. De robot was niet dom; de test was vals.

Het artikel introduceert vervolgens een "vingerafdruk" om dit soort valsspelen in de toekomst te vangen. Het is een simpele controle: als een test vals is gespeeld, kan een slimme computer het verschil tussen de "nepte" en "echte" groep gemakkelijk zien als het naar de labels kijkt (supervised), maar een domme computer (unsupervised) zal in de war raken en denken dat de "nepte" groep eigenlijk de "echte" groep is. Als je dit specifieke patroon ziet—waar de slimme computer zegt "Makkelijk!" en de domme computer zegt "Wacht, wat?"—dan weet je dat er een lek is.

De auteur testte deze vingerafdruk op tientallen andere beroemde robottests. Ze ontdekten dat bijna al deze tests schoon en eerlijk waren. Slechts één specifieke test, die een zeer lastig paar datasets betrof, gaf het alarm af, en dat kwam omdat de test echt moeilijk was, niet omdat er een lek was. Dit betekent dat de standaardmanier waarop wetenschappers deze tests bouwen meestal veilig is, maar de specifieke documenttest die de auteur begon met de oorspronkelijke kwestie had een verborgen fout.

Ten slotte voerde de auteur de oorspronkelijke robottest opnieuw uit met de gecorrigeerde, lekvrije methode. Ze ontdekten iets verrassends: zelfs toen de test eerlijk was, werkte de speciale "perturbatie"-methode van de robot (die probeert napa te herkennen door de robot te prikkelen en te kijken hoe hij reageert) niet echt beter dan een simpele, ouderwetse wiskundige truc. De robot kon het verschil "lezen" als hij de kans kreeg om te spieken bij de antwoorden, maar hij kon het verschil niet op zichzelf "detecteren". Het artikel concludeert dat de fancy nieuwe methode van de robot geen wondermiddel is, en dat de echte overwinning hier het repareren van de kapotte test is en het geven van een instrument aan iedereen om ervoor te zorgen dat hun tests niet valsgespeeld zijn.

Technische Samenvatting: "Decodable but Not Detectable: A Leakage Fingerprint for Near-OOD Benchmarks"

Probleemstelling
Het artikel behandelt een kritiek gebrek in de evaluatie van Out-of-Distribution (OOD) detectie, specifiek binnen "near-OOD" settings waarbij de uitgesloten klassen semantisch vergelijkbaar zijn met de trainingsklassen. De auteurs identificeren een specifiek type benchmark-contaminatie waarbij een klasse die als "OOD" is aangemerkt, onbedoeld is opgenomen in de trainingsset van het model en, consequent, binnen de in-distribution (ID) fit-set valt die wordt gebruikt om de ongesuperviseerde detector te trainen.

Deze constructiefout leidt tot een catastrofale inversie van de evaluatiemetrieken. Omdat de "OOD"-klasse feitelijk een getrainde klasse is, liggen de voorbeelden ervan diep binnen de ID-feature-bulk. Een ongesuperviseerde detector, die punten scoort op basis van de afstand tot de ID-bulk, identificeert deze voorbeelden correct als in-distribution. Bijgevolg wordt de detector gestraft omdat hij deze voorbeelden niet als anomalieën heeft gemarkeerd, wat resulteert in AUROC-scores ruim onder het niveau van 0,5 (toeval), zoals 0,326. De auteurs stellen dat dergelijke prestaties "onder het toevalsniveau" een sterk signaal zijn van een structureel falen van de benchmark, in plaats van een werkelijk methodologisch falen.

Methodologie
Het artikel hanteert een meerfasige aanpak bestaande uit empirische auditing, diagnostische afleiding en gecontroleerde validatie:

Empirische ontdekking: De auteurs auditten een perturbatie-respons OOD-detector (PRS) op een standaard document-benchmark (Tobacco). Ze observeerden een AUROC van 0,326. Bij onderzoek bleek de "OOD"-klasse (Memo) een getrainde klasse te zijn waarvan de trainingsdata nog steeds in de one-class ID fit-set zat.
Correctieprotocol: Ze implementeerden een "leave-class-out" protocol, waarbij de aangewezen OOD-klasse uit de trainingsdata werd verwijderd en het model opnieuw werd gefit, wat de AUROC verhoogde naar 0,911. Dit bevestigde dat de lek de oorzaak van het falen was.
Afleiding van de lek-vingerafdruk (Leak Fingerprint): De auteurs leidden een diagnostische test af (de "leak fingerprint") gebaseerd op de tegenstrijdigheid tussen gesuperviseerde en ongesuperviseerde prestaties:
- Gesuperviseerde decodabiliteit: Een getrainde klasse is perfect lineair scheidbaar van de rest van de ID-data. Een gesuperviseerde lezer (OracleLDA) bereikt een bijna perfecte AUROC ( $\approx 1,0$ ).
- Ongesuperviseerde instorting (Unsupervised Collapse): Omdat de klasse zich binnen de ID fit-set bevindt, scoort de ongesuperviseerde detector deze als in-distribution, wat resulteert in AUROC-scores ruim onder de schone baseline (operationeel gedefinieerd als $< 0,65$ , vaak onder het toevalsniveau).
- De Vingerafdrukregel: Een split wordt gemarkeerd als gecontamineerd als OracleLDA ≥ 0,95 EN best-unsupervised-AUROC < 0,65.
Gecontroleerde validatie: De vingerafdruk werd getest op een batterij van 52 settings over vier fine-tuned backbones (ResNet-50 en ViT-B/16 op CIFAR-10 en CIFAR-100). Dit omvatte 20 doelbewust gelekte settings (positieven), 20 overeenkomende schone controles waarbij de klasse uit de training werd geëxcludeerd (negatieven) en 12 nieuwe bron-controles.
Audit in de praktijk (In-the-Wild Audit): De vingerafdruk werd toegepast op 24 standaard near/far OOD benchmark-paren (inclusief OpenOOD standaarden) en 12 tekst/document-settings om te verifiëren of de constructie van standaard cross-dataset-data dit specifieke lek introduceert.

Belangrijkste resultaten

Identificatie van de lek: In de initiële document-benchmark veroorzaakte de lek een AUROC van 0,326. Na toepassing van de leave-class-out correctie verbeterde de score naar 0,911.
Prestaties van de vingerafdruk: Op de gecontroleerde batterij van 52 settings behaalde de vingerafdruk:
- Sensitiviteit: 18/20 (0,90) op doelbewust gelekte settings.
- Specificiteit: 31/32 (0,97) op schone controles.
- Gelijke controles (Matched Controls): Perfecte specificiteit (20/20) op overeenkomende controles waarbij de enige variabele de uitsluiting van de klasse uit de fit-set was.
- De enkele fout-positieve melding vond plaats bij een intrinsiek moeilijke, schone near-OOD paar (CIFAR-100 $\to$ CIFAR-10), wat de auteurs opmerken als een bekende randgevallen waar ongesuperviseerde detectie van nature instort zonder een lek.
In de praktijk gevonden resultaten: De vingerafdruk werd exact één keer geactiveerd op 24 standaard benchmark-paren (het intrinsiek moeilijke CIFAR-100 $\to$ CIFAR-10 paar, dat correct werd geïdentificeerd als een scope-limiet, niet als een lek). Hij werd nul keer geactiveerd op far-OOD paren. Dit bevestigt dat de standaard cross-dataset constructie dit specifieke fit-set lek niet introduceert.
Herwaardering van perturbatie-detectoren: Na het corrigeren van de benchmarks evalueerden de auteurs de perturbatie-respons detector (PRS) opnieuw. Ze vonden dat hoewel het OOD-signaal decodeerbaar is door een gesuperviseerde lezer (AUROC 0,87–1,00), het niet detecteerbaar is door ongesuperviseerde methoden. De PRS-detector vertoonde geen significante verbetering ten opzichte van een eenvoudige Mahalanobis-op-embeddings baseline en werd vaak overtroffen door een standaard Isolation Forest.

Betekenis en Claims
Het artikel claimt drie belangrijke bijdragen, waarbij het zichzelf bescheiden omschrijft als correcties en diagnostiek in plaats van nieuwe detectiemethoden:

Identificatie van een Benchmark-lek: De auteurs tonen aan dat het aanwijzen van een semantisch vergelijkbare getrainde klasse als "OOD", zonder deze uit de trainings-/fit-set te verwijderen, een "lek" creëert dat evaluatiescores omkeert. Dit is een disciplinefout in de constructie, geen inherente beperking van OOD-detectie.
Een gevalideerde Diagnostische Tool: Ze bieden een "leak fingerprint" die bestaande benchmarks kan auditen op deze specifieke contaminatie zonder dat her-training van de backbone nodig is. De tool maakt effectief onderscheid tussen een echte datalek en een echt moeilijk, schoon near-OOD probleem.
Een Gecorrigeerd Protocol en Herwaardering: Door een strikt "leave-class-out" protocol af te dwingen, laten de auteurs zien dat perturbatie-gebaseerde signalen wel decodeerbaar zijn, maar niet detecteerbaar via ongesuperviseerde middelen. Dit suggereert dat de vermeende superioriteit van dergelijke methoden in eerdere literatuur mogelijk werd vertroebeld door de lekken die dit artikel identificeert.

Het artikel stelt expliciet dat het geen nieuwe OOD-methode voorstelt. In plaats daarvan biedt het een "gecorrigeerd protocol" en een "gevalideerde detector voor de contaminatie", waarbij benadrukt wordt dat de perturbatie-detector (PRS) niet beter is dan een eenvoudige baseline zodra de benchmark is schoongemaakt. Het werk bevat ook een rectificatie van een eerdere headline-correlatie die een artefact bleek te zijn van circulaire meting, wat de focus van het artikel op rigoureuze auditing boven methodologische nieuwheid versterkt.

Technische Samenvatting: "Decodable but Not Detectable: A Leakage Fingerprint for Near-OOD Benchmarks"

Meer zoals dit