The Invisible Gorilla Effect in Out-of-distribution Detection

Deze studie onthult het 'onzichtbare gorilla-effect' bij het detecteren van out-of-distribution data, waarbij de prestaties van detectiemethoden aanzienlijk dalen wanneer artefacten visueel verschillen van het gebied van belang dat het model leert, in plaats van daarop te lijken.

De kern

De "Onzichtbare Gorilla" in AI: Waarom slimme netwerken soms blind zijn voor fouten

Stel je voor dat je een zeer getrainde detective hebt die gespecialiseerd is in het vinden van een specifiek voorwerp op een foto. Laten we zeggen dat deze detective alleen geïnteresseerd is in huidlaesies (vlekken op de huid) om te bepalen of ze kwaadaardig zijn. Hij heeft duizenden foto's gezien en weet precies waar hij moet kijken: op de vlek zelf.

Nu komt er een nieuwe foto binnen. Maar er zit een vreemd detail op: een stiftvlek of een kleurenpalet dat per ongeluk op de foto is gekomen. Dit is een "fout" in de data (in het Engels: Out-of-Distribution of OOD). Een goede detective zou moeten zeggen: "Wacht even, deze foto is vies of verward; ik vertrouw mijn oordeel hier niet."

Maar wat blijkt? De detective is soms blind voor deze fouten, afhankelijk van de kleur van de stiftvlek.

Het Grote Geheim: De Onzichtbare Gorilla

De onderzoekers van deze paper hebben ontdekt wat ze de "Onzichtbare Gorilla Effect" noemen. Dit is een verwijzing naar een beroemd psychologisch experiment waarbij mensen die bezig waren met het tellen van basketbals, een persoon in een gorillapak volledig over het hoofd zagen. Ze waren zo gefocust op hun taak, dat ze iets anders niet zagen.

In de wereld van AI gebeurt precies hetzelfde:

• Als de stiftvlek op de foto rood is (dezelfde kleur als de huidlaesie waar de AI naar kijkt), dan ziet de AI de fout en zegt hij: "Hé, dit is raar!"
• Als de stiftvlek zwart of groen is (een kleur die totaal niet lijkt op de huidlaesie), dan negeert de AI de fout en denkt hij: "Nee, dit is gewoon een normale foto."

Het klinkt gek, toch? Je zou denken dat een vreemde zwarte vlek op een huidfoto erger is dan een rode vlek. Maar voor de AI is de rode vlek "verwarrender" omdat hij eruitziet als iets waar hij naar moet kijken. De zwarte vlek valt zo op dat hij er gewoon overheen kijkt, of juist niet als een bedreiging ziet.

Wat hebben ze gedaan?

De onderzoekers hebben dit effect getest op 40 verschillende manieren om fouten in AI te detecteren. Ze keken naar foto's van huidkanker, röntgenfoto's van longen en zelfs industriële onderdelen.

Ze ontdekten drie belangrijke dingen:

1. Het is een groot probleem: Bijna alle methoden faalden als de fout (zoals een stiftvlek) een kleur had die niet leek op het object dat de AI moest analyseren.
2. Sommige methoden zijn gevoeliger: Methoden die kijken naar de "details" van de afbeelding (de features) faalden veel harder dan methoden die alleen kijken naar het "gevoel" van de uitkomst.
3. De oorzaak: De AI is zo getraind om te kijken naar bepaalde kleuren en patronen, dat hij vergeten is om op andere kleuren te reageren. Het is alsof je een hond hebt getraind om alleen op een rode bal te reageren; als je een blauwe bal gooit, kijkt hij er niet eens naar.

Hoe los je dit op?

De onderzoekers probeerden twee dingen om dit op te lossen:

• Methode 1: Kleurenverandering tijdens het leren. Ze gaven de AI tijdens het trainen foto's met gekke kleuren. Dit hielp soms, maar soms maakte het de AI juist verwarder. Het was geen perfecte oplossing.
• Methode 2: De "Aandacht" herschrijven. Ze bedachten een slimme truc: ze haalden de "ruis" uit het brein van de AI. Ze zagen dat de AI bepaalde kleuren (zoals de kleur van de stift) associeerde met belangrijke patronen. Door deze specifieke patronen even uit te schakelen, werd de AI weer alert op de fouten, ongeacht de kleur. Dit werkte veel beter!

Waarom is dit belangrijk?

Stel je voor dat deze AI wordt gebruikt in een ziekenhuis. Als een arts een foto maakt en er zit per ongeluk een zwarte stiftvlek op, en de AI denkt: "Alles is goed," terwijl de foto eigenlijk onbetrouwbaar is, dan kan dat leiden tot een verkeerde diagnose.

De boodschap van dit onderzoek is simpel: We moeten AI-systemen niet alleen testen op of ze slim zijn, maar ook op of ze "blind" zijn voor bepaalde soorten fouten. Net zoals mensen soms een gorilla over het hoofd zien als ze ergens anders naar kijken, kunnen slimme computers ook grote fouten missen als die er net niet uitzien zoals wat ze zoeken.

Kortom: Als je een AI wilt bouwen die veilig is, moet je ervoor zorgen dat hij niet alleen kijkt naar wat hij kent, maar ook alert blijft op dingen die er totaal anders uitzien.

Technische samenvatting

Titel: Het Onzichtbare Gorilla-effect in Out-of-Distribution Detectie

Auteurs: Harry Anthony, Ziyun Liang, Hermione Warr, Konstantinos Kamnitsas (Universiteit van Oxford)

---

1. Probleemstelling

Deep Neural Networks (DNN's) presteren uitstekend in visuele taken door discriminatieve kenmerken te leren uit specifieke Regions of Interest (ROI) binnen een afbeelding (bijv. een huidlaesie in de dermatologie of een hart in een röntgenfoto). Echter, wanneer deze modellen worden ingezet op data die afwijkt van de trainingsdata (Out-of-Distribution of OOD), zoals data met onbekende artefacten, daalt de prestatie vaak drastisch.

Om dit te mitigeren, zijn er methoden ontwikkeld om onbetrouwbare OOD-predicties te detecteren en af te wijzen. Eerdere studies hebben aangetoond dat de prestatie van deze detectiemethoden varieert afhankelijk van het type artefact. De onderliggende oorzaken van deze variatie zijn echter onvoldoende onderzocht. Een veelgeaccepteerde aanname is dat OOD-data die visueel meer lijkt op de trainingsdata (near-OOD) moeilijker te detecteren is dan data die er sterk van verschilt (far-OOD).

De kernvraag: Waarom faalt OOD-detectie soms juist bij artefacten die visueel vergelijkbaar zijn met het ROI, of waarom werkt het juist beter?

2. Methodologie

De auteurs hebben een uitgebreide empirische studie uitgevoerd om een nieuw bias-fenomeen te identificeren en te analyseren.

• Datasets: Drie publieke datasets werden gebruikt:
  • CheXpert: Borst-RTG's (cardiomegalie classificatie).
  • ISIC: Dermatoscopie afbeeldingen (huidlaesie classificatie).
  • MVTec-AD: Industriële inspectie (metaalbouten en pillen).
• Data-analyse en Manipulatie:
  • De auteurs hebben 11.355 afbeeldingen handmatig geannoteerd op de kleur van artefacten (bijv. inktmarkeringen, kleurkaarten).
  • Ze hebben counterfactuals gegenereerd door de kleur van artefacten te wisselen (bijv. rode inkt omzetten naar zwart, of andersom) om dataset-bias uit te sluiten.
  • De ROI werd gedefinieerd en de gemiddelde kleur daarvan berekend (bijv. de gemiddelde kleur van een huidlaesie).
  • Artefacten werden gecategoriseerd als visueel vergelijkbaar (kleur dichtbij de ROI) of visueel ongelijk (kleur ver verwijderd van de ROI) op basis van de Euclidische RGB-afstand.
• Evaluatie:
  • Er werden 40 verschillende OOD-detectiemethoden getest, verdeeld in vier categorieën: Feature-based (bijv. Mahalanobis Score), Confidence-based (bijv. MCP), Ad-hoc (bijv. Bayes By Backprop) en External (bijv. DDPM, RealNVP).
  • In totaal werden 3.795 hyperparameter-configuraties geëvalueerd over 7 benchmarks en 3 netwerkarchitecturen (ResNet18, VGG16, ViT-B/32).
• Mechanistische Analyse:
  • Er werd een Subspace Attribution Analysis uitgevoerd. De auteurs gebruikten PCA (Principal Component Analysis) op de latente ruimte van het model om te onderzoeken of kleurvariatie samenvalt met richtingen van hoge variantie in de feature-ruimte.
  • Ze definieerden een "nuisance subspace" (storende deelruimte) die deze kleur-gevoelige, hoge-variantie richtingen vastlegt.

3. Belangrijkste Bijdragen

1. Identificatie van het "Onzichtbare Gorilla-effect": De auteurs ontdekten een tegenintuïtief fenomeen waarbij OOD-detectieprestaties verbeteren wanneer het artefact visueel vergelijkbaar is met het model's ROI, en verslechteren wanneer het niet vergelijkbaar is. Dit wordt vernoemd naar het beroemde "Invisible Gorilla"-experiment, waarbij mensen een onverwacht object missen als ze gefocust zijn op een taak, tenzij het object lijkt op het doelwit.
2. Uitgebreide Evaluatie: Een systematische test van 40 methoden, wat aantoont dat dit effect consistent voorkomt, vooral bij feature-based methoden.
3. Onderzoek naar Oorzaken: Het aantonen dat deze bias samenhangt met hoe DNN's kleurvariatie verwerken in hun latente ruimte. Artefacten die lijken op het ROI projecteren op richtingen die door de detectiemethoden (zoals Mahalanobis) worden "gewaardeerd" of minder zwaar worden bestraft, waardoor ze makkelijker als OOD worden gedetecteerd.
4. Mitigatie Strategieën:
   • Kleur-jitter augmentatie: Bleek inconsistent effect te hebben en kon de ID-accuraatheid schaden.
   • Projectie op orthogonale ruimte: Het projecteren van features op een ruimte die orthogonaal is aan de "nuisance subspace" (de storende kleurrichtingen) bleek een effectieve mitigatie te zijn voor feature-based methoden.

4. Resultaten

• Prestatieverschil: Voor veel methoden (zoals Mahalanobis Score) was de AUROC (Area Under the Receiver Operating Characteristic) aanzienlijk hoger voor OOD-artefacten met een vergelijkbare kleur als het ROI.
  • Voorbeeld: In de ISIC-dataset (huidlaesies) presteerde Mahalanobis Score 31,5% beter (in AUROC) bij het detecteren van rode inkt (vergelijkbaar met de laesie) dan bij zwarte inkt (niet vergelijkbaar).
• Feature-based vs. Confidence-based: Feature-based methoden leden onder een grotere prestatiedaling bij dissimile kleuren dan confidence-based methoden. Dit komt doordat feature-based methoden vaak gebruikmaken van statistieken in de latente ruimte die gevoelig zijn voor de hoge-variantie richtingen waar kleurvariatie in voorkomt.
• Statistische Significantie: De verschillen waren statistisch significant (p < 10⁻⁵, Wilcoxon signed-rank test).
• Mitigatie: Het toepassen van subspace-projectie verkleinde de prestatiekloof tussen vergelijkbare en ongelijksoortige artefacten aanzienlijk, zonder de inferentietijd noemenswaardig te verhogen (toename van ~2ms per afbeelding).

5. Betekenis en Conclusie

Dit artikel onthult een tot nu toe onbekende kwetsbaarheid in OOD-detectiesystemen die relevant is voor veiligheidskritieke toepassingen zoals medische beeldvorming en autonoom rijden.

• Kritieke Inzichten: De moeilijkheidsgraad van OOD-detectie is niet alleen een functie van de globale gelijkenis met de trainingsdata, maar hangt sterk af van waar het model naar kijkt (ROI) en hoe dat interacteert met de specifieke detectiemethode.
• Risico: Systemen die zijn getraind om artefacten te detecteren die lijken op het ROI, kunnen falen bij het detecteren van artefacten die er visueel anders uitzien, maar net zo schadelijk zijn voor de diagnose. Dit creëert een vals gevoel van veiligheid.
• Toekomst: De studie biedt richtlijnen voor het ontwerpen van robuustere detectoren, bijvoorbeeld door het elimineren van storende subspace-richtingen in de feature-extractie, en benadrukt de noodzaak om OOD-detectie te evalueren op een breed scala aan artefacten en niet alleen op "gemakkelijke" gevallen.

De code en annotaties zijn openbaar beschikbaar gesteld om reproducibiliteit en verdere onderzoek te faciliteren.