🤖 AI

Two-stage Vision Transformers and Hard Masking offer Robust Object Representations

Dit paper introduceert een robuust tweestaps Vision Transformer-framework met hard masking dat objectrepresentaties verbetert door contextuele informatie selectief te gebruiken en zo spurious correlaties en achtergrondbias effectief te filteren.

Oorspronkelijke auteurs: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme hond traint om katten en honden te herkennen op foto's. De meeste moderne AI-modellen (zoals die in je telefoon of camera) zijn als die hond: ze zijn erg slim, maar ze hebben een rare gewoonte. Ze kijken niet alleen naar het dier, maar ook naar de achtergrond.

Als de hond in de tuin staat, denkt de AI: "Ah, gras = hond!" Als de kat op de bank zit, denkt de AI: "Ah, tapijt = kat!"

Dit werkt prima zolang de hond altijd in de tuin staat. Maar wat als je een foto maakt van een hond op een tapijt? Dan raakt de AI in paniek en denkt: "Geen gras? Dan is het geen hond!" Dit noemen onderzoekers spurious correlations (schijnverbanden). De AI leert de verkeerde dingen en faalt als de situatie verandert.

De auteurs van dit paper hebben een oplossing bedacht die ze iFAM noemen. Ze gebruiken een slimme truc met twee stappen, alsof je een detective en een expert aan het werk zet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Late Mask" (Te laat ingrijpen)

Stel je voor dat je een foto bekijkt en je probeert alleen naar de hond te kijken door je vingers over de rest van de foto te houden.

Hoe het nu vaak gaat: De AI kijkt eerst naar de hele foto (inclusief de achtergrond) en bouwt een gedachte op. Pas daarna probeert ze te zeggen: "Oh, ik moet de achtergrond negeren."
Het probleem: De gedachte is al verpest. De AI heeft de achtergrond al "geproefd" in haar brein. Het is alsof je eerst een hele taart eet en daarna probeert te zeggen: "Ik eet alleen de aardbeien." De rest van de taart is al op.

2. De Oplossing: Twee Stappen en een Strikte Poortwachter

De auteurs van dit paper bouwen een systeem met twee aparte fases, alsof je een Poortwachter en een Expert hebt.

Stap 1: De Poortwachter (De Ontdekker)

Deze AI kijkt naar de hele foto. Haar enige taak is niet om te zeggen "dit is een hond", maar om te zeggen: "Waar zit het interessante deel?"
Ze trekt een denkbeeldige lijn om de hond heen en zegt: "Oké, dit stukje is de hond. Alles daarbuiten is ruis." Ze maakt een harde, zwarte masker (een knip- en plakwerkje).

Vergelijking: Het is alsof je een fotolijstje maakt en alleen de hond erin zet. De rest van de foto wordt fysiek weggeknipt.

Stap 2: De Expert (De Beslisser)

Deze AI krijgt alleen het stukje foto dat de Poortwachter heeft geselecteerd. Ze ziet de achtergrond nooit.

Waarom is dit slim? Omdat de Expert de achtergrond niet kan zien, kan ze er ook niet op vertrouwen. Ze moet kijken naar de vacht, de oren en de snuit van de hond. Ze kan niet "cheaten" door naar het gras te kijken.

3. De Magische Truc: "Hard Masking"

De meeste andere methoden gebruiken een "zacht" masker (alsof je de achtergrond een beetje doorzichtig maakt). Maar de auteurs zeggen: "Nee, we moeten het hard doen."
Ze gebruiken een techniek waarbij de AI de achtergrond fysiek blokkeert voordat hij überhaupt begint met denken.

Analogie: Het is het verschil tussen een raam met een gordijn dat je een beetje openschuift (zacht masker) en een muur waar je een gat in bakt en alleen door dat gat kijkt (hard masker). Door de muur te bouwen, is het onmogelijk om de achtergrond te zien.

4. Waarom is dit zo cool? (De "Auditable" Deel)

Omdat het systeem zo transparant is, kun je als mens ingrijpen.
Stel je voor dat de Poortwachter per ongeluk een stukje "raam" in de foto heeft geselecteerd omdat dat vaak bij katten hoort (maar dat niet echt de kat is).

De Interventie: Jij kunt als mens zeggen: "Hé, dat stukje raam is verdacht. Haal het weg."
Omdat het systeem zo opgebouwd is, kun je dit tijdens het testen doen zonder de hele AI opnieuw te hoeven trainen. Je kunt gewoon de "verkeerde" stukjes uit de selectie halen en de AI wordt direct slimmer en eerlijker.

Samenvatting in één zin

In plaats van een AI te trainen die probeert de achtergrond te vergeten nadat ze hem heeft gezien, bouwen ze een AI die de achtergrond nooit mag zien door eerst een scherpe selectie te maken en die selectie als enige waarheid te gebruiken.

Het resultaat: De AI wordt veel robuuster. Als je een hond op een ongewone achtergrond zet (bijvoorbeeld een hond op een strand, terwijl ze alleen honden in de tuin heeft gezien), faalt de oude AI, maar deze nieuwe AI kijkt gewoon naar de hond en zegt: "Ja, dat is een hond," omdat ze de achtergrond simpelweg niet kan gebruiken als hulpmiddel.

Probleemstelling: Contextuele Bias en Spurious Correlaties

Diepe leermodellen voor computervisie zijn vaak afhankelijk van contextuele aanwijzingen om objecten te herkennen. Hoewel dit nuttig kan zijn, leidt het vaak tot het leren van spurious correlaties (schijnverbanden). Modellen vertrouwen dan op achtergrondinformatie in plaats van op de intrinsieke eigenschappen van het object.

Het dilemma: Context is soms nodig om relevante regio's te identificeren, maar het is ook een potentieel storend element dat generalisatie belemmert, vooral bij Out-of-Distribution (OOD) scenario's (bijv. een hond die in een binnenlandse omgeving wordt getest, terwijl hij tijdens het trainen alleen buiten werd gezien).
Bestaande beperkingen: Traditionele attention-mechanismen passen vaak een "late masking" toe op diepe feature-tensors. Omdat moderne architecturen (zoals Vision Transformers) grote receptieve velden hebben, zijn deze features al verontreinigd met achtergrondinformatie voordat het masker wordt toegepast. Bovendien gebruiken ze vaak "zachte" (soft) masks, wat betekent dat er altijd een zekere mate van informatielekking vanuit irrelevante regio's plaatsvindt.

Methodologie: iFAM (Inherently Faithful Attention Maps)

De auteurs stellen iFAM voor, een tweestapsframework dat gebruikmaakt van early masking om de receptieve velden fysiek te beperken tot alleen de relevante objectregio's.

1. Tweestaps Architectuur:

Fase 1: De Selector (Ontdekking van relevante regio's):
- Deze fase verwerkt het volledige beeld.
- Het gebruikt een methode gebaseerd op PDiscoFormer om semantische onderdelen van het object te ontdekken.
- Het genereert een discreet, binair masker (hard mask) dat de voorgrondregio's identificeert en de achtergrond uitsluit.
- Het doel is om task-relevante regio's te vinden waar context nodig is, zonder afhankelijk te zijn van de achtergrond.
Fase 2: De Predictor (Classificatie):
- Deze fase ontvangt alleen de geselecteerde tokens (de voorgrond) die door Fase 1 zijn gemarkeerd.
- De achtergrondtokens worden fysiek verwijderd voordat ze de predictor bereiken.
- Implementatie in ViT: In plaats van een element-voor-element vermenigvuldiging op features, wordt de self-attention-mechanisme in elke laag van de Vision Transformer aangepast. Een attention-masker $M$ wordt toegepast waarbij tokens die gemaskeerd zijn, een waarde van $-\infty$ krijgen in de attention-score. Dit zorgt ervoor dat geattendeerde tokens geen informatie kunnen uitwisselen met gemaskeerde tokens.
- Dit garandeert dat de predictor architecturaal "blind" is voor de achtergrond.

2. Trainingsstrategie:

Beide fasen worden gezamenlijk getraind (jointly). Dit stelt Fase 2 in staat om Fase 1 te verfijnen, zodat de selector de meest bruikbare onderdelen voor de uiteindelijke taak leert selecteren.
Er worden part-shaping losses gebruikt om ervoor te zorgen dat de ontdekte onderdelen semantisch consistent zijn en niet direct class-informatie coderen op een manier die tot overfitting leidt.

3. Auditabele Interventies op Testtijd:
Een uniek kenmerk van iFAM is de transparantie. Omdat de maskers expliciet en semantisch zijn, kunnen gebruikers ingrijpen zonder het model opnieuw te trainen:

Part-Removal: Als een specifiek ontdekt onderdeel (bijv. een deel dat consequent een achtergrondelement zoals een boom of een medisch apparaat vastlegt) als schijnverband wordt geïdentificeerd, kan dit handmatig of automatisch (via Leave-One-Out analyse) worden verwijderd uit de input voor Fase 2.
Token-Removal: Tokens die met lage zekerheid aan een onderdeel worden toegewezen (bijv. bij OOD-objecten die niet overeenkomen met de trainingsprototypes), kunnen worden verwijderd op basis van een afstandsdrempel in de feature-ruimte.

Belangrijkste Bijdragen

Architecturale Robuustheid: Een tweestapsframework dat schakelt van volledige beeldverwerking naar selectieve verwerking, waardoor spurious correlaties effectief worden gemitigeerd.
Early Hard Masking: Een mechanisme dat de receptieve velden beperkt tot task-relevante regio's voordat de features worden geëxtraheerd, waardoor informatielekking vanuit de achtergrond fysiek onmogelijk wordt.
Auditabiliteit en Interventie: Het vermogen om mens-AI samenwerking te faciliteren door testtijd-interventies, waarbij gebruikers schijnbare correlaties kunnen verwijderen om de robuustheid verder te verhogen.

Resultaten

De methode is geëvalueerd op diverse benchmarks met bekende biases (MetaShift, Waterbirds, CUB, SIIM-ACR, ImageNet-9).

Superieure Robuustheid: iFAM presteert significant beter dan bestaande methoden (zoals ERM, GroupDRO, en late masking technieken zoals AIM en PDiscoFormer) op OOD-datasets.
- Op Waterbirds bereikt iFAM een Worst Group Accuracy (WGA) van 97.0%, vergeleken met 95.8% voor de beste baseline (DinoV2) en 84.3% voor late masking.
- Op MetaShift bereikt het 88.6% WGA, een aanzienlijke verbetering ten opzichte van baselines.
- Op ImageNet-9 (Backgrounds Challenge) behaalt iFAM de laagste BG-GAP (2.4), wat aangeeft dat het model veel minder afhankelijk is van achtergrondinformatie dan andere modellen.
Effectiviteit van Interventies: Door het toepassen van Part-Removal en Token-Removal interventies op testtijd, kon de robuustheid verder worden verbeterd (bijv. +3 punten op SIIM-ACR), wat de "auditability" van het model bevestigt.
Ablatie Studies: De resultaten tonen aan dat zowel de tweestaps-architectuur als het gebruik van harde (discrete) maskers cruciaal zijn. Het vervangen van harde maskers door zachte maskers of het verwijderen van de tweede fase leidt tot een sterke daling in OOD-prestaties.

Betekenis en Conclusie

Dit paper demonstreert dat het fysiek beperken van het receptieve veld van een model tot alleen de voorgrondregio's een krachtigere strategie is voor het elimineren van achtergrondbias dan het proberen te "leren" om deze te negeren via zachte attention-mechanismen.

De belangrijkste implicatie is dat inherent getrouwe (faithful) attention-mechanismen essentieel zijn voor het ontwikkelen van robuuste visuele systemen die goed generaliseren in realistische, onvoorspelbare omgevingen. Bovendien biedt de transparante aard van het model een nieuwe weg voor menselijke controle en correctie van AI-beslissingen zonder de noodzaak van hertraining, wat een belangrijke stap is in de richting van betrouwbare en verantwoorde kunstmatige intelligentie.