💻 computer science

Metonymy in vision models undermines attention-based interpretability

Dit artikel onthult dat moderne vooraf getrainde vision transformers de localiteitsaanname schenden door "intra-objectlek" (visuele metonymie) te vertonen, wat de betrouwbaarheid van op attentie gebaseerde interpretatiemethoden voor redenering op basis van onderdelen ondermijnt, en toont aan dat een tweestapsaanpak dit probleem effectief kan mitigeren om de ontdekking van op attributen gebaseerde onderdelen te verbeteren.

Oorspronkelijke auteurs: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Massimiliano Mancini, Diego Marcos

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Massimiliano Mancini, Diego Marcos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Valsspeler" Detective

Stel je voor dat je probeert een computer te leren een vogel te herkennen door naar zijn onderdelen te kijken. Je wilt dat de computer zegt: "Ik weet dat dit een blauwe gaai is omdat ik een blauwe vleugel zie," of "Dit is een roodborstje omdat ik een rode borst zie."

Om dit werkbaar te maken, gebruiken onderzoekers een speciaal hulpmiddel dat een aandachtsmechanisme wordt genoemd. Denk hierbij aan een vergrootglas van een detective. Wanneer de computer naar een vogel kijkt, verlicht het vergrootglas het specifieke onderdeel waar het naar kijkt (zoals de vleugel) en negeert het de rest van de vogel. Het idee is: Als de computer zich op de vleugel richt, zou hij alleen informatie uit de vleugel moeten gebruiken om zijn beslissing te nemen.

De Ontdekking van het Artikel:
De auteurs ontdekten dat moderne AI-modellen "valsspelen". Zelfs als het vergrootglas strikt gefocust is op de vleugel, ruikt de computer eigenlijk de rest van de vogel door de muren heen.

In de taalkunde heet dit Metonymie. Het is als zeggen "Het Witte Huis heeft een verklaring uitgegeven" terwijl je eigenlijk bedoelt "De President heeft een verklaring uitgegeven". Het deel (het gebouw) staat voor het geheel (het bestuur).

In deze AI-modellen bevat het "vleugel"-deel niet alleen informatie over veren; het bevat stiekem ook informatie over het "hoofd", de "benen" en de "snavel".

De Analogie: Stel je voor dat je probeert het favoriete eten van een persoon te raden door alleen naar hun linkerhand te kijken. In een normale wereld vertelt je hand je niets over hun maag. Maar in deze AI-modellen is de hand magisch verbonden met de maag. Als de persoon van pizza houdt, gloeit hun linkerhand met "pizza-energie", zelfs als je niet naar hun mond kijkt.

Waarom Dit Belangrijk Is: De "Getrouwe" Leugen

Het artikel betoogt dat dit huidige "interpreteerbare" AI onbetrouwbaar maakt.

Veel onderzoekers geloven dat hun modellen "interpreteerbaar" zijn omdat ze je een warmtekaart (een gloeiende kaart) kunnen tonen die zegt: "Kijk, ik kijk naar de snavel!"

De Realiteit: Het model kijkt naar de snavel, maar het neemt zijn beslissing op basis van de benen, omdat de "snavel"-representatie is verontreinigd met "been"-informatie.
Het Resultaat: De uitleg ziet er eerlijk uit, maar het redeneren is een leugen. Het model redeneert niet echt over het onderdeel waar het naar wijst; het gebruikt een shortcut.

De Oplossing: De "Geluidsdichte Kamer"

De auteurs stellen een nieuwe manier voor om deze modellen te bouwen om het valsspelen te stoppen. Ze noemen dit een Twee-Fasen Benadering.

Fase 1: De Detective Vindt de Kamers.
Eerst kijkt het model naar de hele vogel en trekt contouren rond de verschillende onderdelen (hoofd, vleugel, been). Het is alsof een makelaar de kamers in een huis identificeert.

Fase 2: De Geluidsdichte Kamers.
In plaats van het hele huis tegelijk te bekijken, plaatst het model elke kamer in een aparte, geluidsdichte doos.

Het neemt de "Vleugel"-doos en plaatst deze in een kamer waar geen geluid van het "Hoofd" of de "Been" binnen kan komen.
Het dwingt de computer om een gok te doen over de vleugel alleen met behulp van de informatie binnen die geluidsdichte doos.

De Analogie:
Denk aan een groepsproject waar iedereen in dezelfde kamer zit. Als je de "Vleugel"-student om zijn mening vraagt, kan hij zomaar herhalen wat de "Hoofd"-student zei omdat hij hen kan horen.
De oplossing van de auteurs is om elke student in een aparte, geluidsdichte cabine te plaatsen. Nu, als je de "Vleugel"-student vraagt, moet hij een antwoord bedenken dat alleen gebaseerd is op wat hij over vleugels weet. Hij kan niet valsspelen door naar de anderen te luisteren.

De Resultaten: Werkt Het?

De auteurs hebben dit getest op drie verschillende soorten "objecten":

Vogels (CUB-dataset): Controleren of het model vleugelkleuren of snavelvormen kon identificeren.
Gezichten (CelebA-dataset): Controleren of het model oogkleur kon identificeren of of iemand een hoed droeg.
Borst-Röntgenfoto's (CheXpert-dataset): Controleren of het model longproblemen kon opsporen.

Wat ze vonden:

Oude Manier (Late Maskering): De "Vleugel"-student kon de "Been"-kleur gemakkelijk raden. Het model was verward en ontrouw.
Nieuwe Manier (Twee-Fasen/Geluidsdicht): De "Vleugel"-student kon alleen vleugel-dingen raden. Het model werd veel beter in het daadwerkelijk begrijpen van de specifieke onderdelen.
De Afweging: Het bouwen van deze geluidsdichte kamers kost meer rekenkracht (ongeveer twee keer zoveel), maar het maakt het redeneren van het model eerlijk en accuraat.

De Conclusie

Het artikel concludeert dat als je wilt dat een AI uitlegt waarom het een beslissing heeft genomen op basis van een specifiek onderdeel van een afbeelding, je geen standaardmodellen kunt gebruiken. Deze zijn te "ruisend" en lekken informatie uit andere onderdelen. Je moet ze bouwen met architecturale isolatie (de geluidsdichte kamers) om ervoor te zorgen dat wanneer de AI naar een onderdeel wijst, het daadwerkelijk over dat onderdeel nadenkt, en niet alleen maar gokt op basis van het hele object.

Kortom: Het artikel bewijst dat huidige AI-modellen liegen over waar ze naar kijken, en biedt een "geluidsdichte" constructiemethode om ze te dwingen de waarheid te spreken.

Technische Samenvatting: Metonymie in Visiemodellen Ondermijnt Op Aandacht Gebaseerde Interpretatieerbaarheid

1. Probleemdefinitie

Het artikel behandelt een kritieke tekortkoming in de interpretatieerbaarheid van moderne deep learning visiemodellen, specifiek die welke vertrouwen op gedeeltegebaseerd redeneren en aandachtsmechanismen. Veel van ontwerp tot interpretatieerbare modellen, zoals Concept Bottleneck Models (CBM's) en op gedeelten gerichte aandachtsnetwerken, opereren onder een lokaliteitsaanname: de latente representatie van een specifiek objectgedeelte (bijvoorbeeld de vleugel van een vogel) wordt verondersteld voornamelijk informatie over dat specifieke beeldgebied te coderen.

De auteurs betogen dat deze aanname vaak wordt geschonden door moderne voorgetrainde Vision Transformers (ViT's). Vanwege de grote receptieve velden van deze architecturen, codeert de latente representatie van een enkel gedeelte vaak informatie van het gehele object. De auteurs noemen dit fenomeen intra-object lekken of visuele metonymie, waarbij een gedeelte komt te staan voor het geheel. Bijgevolg, wanneer een aandachtskaart een specifiek gedeelte benadrukt, kunnen de onderliggende kenmerken die voor de voorspelling worden gebruikt, daadwerkelijk "gelekte" informatie van andere gedeelten bevatten. Dit maakt het redeneren van het model ontrouw; het model lijkt zich te richten op het juiste gebied, maar vertrouwt eigenlijk op gecorreleerde kenmerken elders, wat de betrouwbaarheid van op aandacht gebaseerde verklaringen ondermijnt, met name in hoog-risicodomeinen zoals medische beeldvorming.

2. Methodologie

2.1 Benchmarken van Intra-Object Lekken

Om dit fenomeen te kwantificeren, stellen de auteurs twee evaluatiemetrieën voor met behulp van datasets met attributen op gedeelteniveau (CUB-200-2011, CelebA en CheXpert):

Gedeelte Specificiteit (PS): Meet het verschil in attributenclassificatieprestaties bij het gebruik van kenmerken van het "correcte" gedeelte versus kenmerken van "incorrecte" gedeelten. Een lage PS geeft aan dat kenmerken van niet-overeenkomende gedeelten even voorspellend zijn als die van het overeenkomende gedeelte, wat lekken signaleert.
Overlap Meest Voorspellend Gedeelte (MPPO): Evalueert of het ontdekte gedeelte met de hoogste voorspellingstrouw voor een specifiek attribuut ruimtelijk overlap vertoont met het ground-truth gebied van dat attribuut.

De auteurs vergelijken Late Masking (standaardbenadering: het extraheren van kenmerken uit een bevroren backbone en het toepassen van maskers achteraf) met Early Masking (het toepassen van maskers direct op de inputbeeldtokens voor kenmerkextractie). Early masking dient als een bovengrens die lekken per ontwerp voorkomt.

2.2 Voorgestelde Oplossing: Twee-staps Architectuur

Om intra-object lekken te mitigeren, stellen de auteurs een twee-staps transformer-architectuur voor:

Stap 1 (Attribuutgedreven Gedeelteontdekking): Gebruikt een bevroren backbone (bijvoorbeeld DINOv3) om aandachtsmaskers te genereren die semantische gedeelten lokaliseren. Deze stap maakt gebruik van een nieuw gedecorreleerd orthogonaliteitsverlies ( $L_{\perp}$ ) om te waarborgen dat gedeelten distinct zijn, terwijl ze gemeenschappelijke achtergrondkenmerken kunnen delen, waardoor onderdrukking van gedeelde signalen die in eerdere orthogonaliteitsverliezen voorkwam, wordt vermeden.
Stap 2 (Strikt Parallelle Verwerking): Verwerkt elk ontdekt gedeelte onafhankelijk in parallelle streams.
- Mechanisme: Het model repliceert prefix-tokens (bijvoorbeeld [CLS]) voor elk gedeelte en past een block-diagonaal aandachtsmasker toe. Dit zorgt ervoor dat de $k$ -de prefix-token alleen let op beeldpatches binnen het $k$ -de gedeeltmasker, waardoor kenmerken strikt worden geïsoleerd.
- Gradiëntschatting: Om end-to-end training mogelijk te maken waarbij Stap 2 Stap 1 stuurt, introduceren de auteurs een Straight-Through Estimator (STE). De forward-pass gebruikt harde (binaire) maskers om nul lekken te garanderen, terwijl de backward-pass zachte (continue) maskers gebruikt om gradiënten door te laten stromen en de maskers voor gedeelteontdekking te verfijnen.

3. Belangrijkste Bijdragen

Een Benchmark voor Intra-Object Lekken: De introductie van PS- en MPPO-metrieën om systematisch de schending van lokaliteit in visuele backbones te meten.
Empirisch Bewijs van Wijdverbreid Lekken: Een uitgebreide evaluatie die aantoont dat state-of-the-art voorgetrainde backbones (DINOv1, DINOv2, DINOv3, CLIP, MAE) sterke intra-object lekken vertonen, waardoor de lokaliteitsaanname die nodig is voor trouw interpretatieerbaarheid wordt geschonden.
Een Mitigatiestrategie: Een twee-staps architectuur die strikte ruimtelijke isolatie per ontwerp afdwingt, en aantoont dat het voorkomen van lekken zowel de trouw van aandachtskaarten als de kwaliteit van gedeelteontdekking verbetert.

4. Resultaten

4.1 Kwantitatieve Bevindingen

Prevalentie van Lekken: Over CUB en CelebA levert Early Masking consequent aanzienlijk hogere Gedeelte Specificiteit (PS)-scores op dan Late Masking (bijvoorbeeld ~3x verbetering op CUB, ~10x op CelebA voor DINOv3). Dit bevestigt dat standaard backbones zwaar vertrouwen op gelekte informatie.
Medische Beeldvorming (CheXpert): In de CheXpert-dataset resulteert standaard Late Masking in een Most Predictive Part Overlap (MPPO) van ~0,53, wat aangeeft dat voorspellingen vaak buiten het pathologiegebied vandaan komen. Het afdwingen van Early Masking verbetert de MPPO tot ~0,62.
Verbetering Gedeelteontdekking: De voorgestelde twee-staps STE-variant presteert significant beter dan single-stage baselines en bestaande state-of-the-art methoden (PDiscoFormer, MPAE) in clusteringmetrieën (ARI en NMI).
- Op CUB bereikt STE een ARI van 73,93 versus 50,27 voor de single-stage baseline.
- Op CelebA bereikt STE een ARI van 97,51 versus 49,46 voor de baseline.
Voorspellende Prestaties: Hoewel het afdwingen van strikte lokaliteit (alleen Stap 2) de ruwe attributenvoorspellingsnauwkeurigheid licht kan verminderen (aangezien het model geen gecorreleerde shortcuts meer kan benutten), levert het ensemble van de globale context (Stap 1) met het strikt lokale bewijs (Stap 2) de hoogste algehele prestatie op over alle datasets, en overtreft het de single-stage baseline.

4.2 Kwalitatieve Observaties

Maskeruitbreiding: Single-stage modellen en varianten met zachte masking hebben de neiging om "luie" maskers te produceren die slechts kleine, sterk discriminerende patches bedekken en voor de rest van de context vertrouwen op lekken. De STE-variant produceert meer ruimtelijk uitgebreide maskers die het volledige semantische gebied bedekken (bijvoorbeeld het bedekken van beide longen in borstkas-röntgenfoto's in plaats van slechts één).
Trouw: De twee-staps aanpak zorgt ervoor dat attributenvoorspellingen zijn geworteld in de juiste anatomische gebieden, terwijl single-stage modellen vaak falen om ruimtelijke grenzen te respecteren.

5. Betekenis en Beweringen

Het artikel beweert dat op aandacht gebaseerde interpretatieerbaarheid fundamenteel in gevaar is als de onderliggende latente representaties al informatie over ruimtelijke gebieden verstrengelen. Het louter visualiseren van aandachtskaarten is onvoldoende als de kenmerken zelf verontreinigd zijn door metonymie.

De auteurs betogen dat:

Lokaliteit een Voorwaarde is: Trouw, compositieseel gedeeltegebaseerd redeneren vereist oplossingen op representatieniveau die lokaliteit afdwingen, niet alleen post-hoc aandachtsmechanismen.
Twee-staps Benaderingen Veelbelovend zijn: Door aandachtsmaskers direct op de inputafbeelding toe te passen (Early Masking) in plaats van op diepe kenmerken, is het mogelijk lekken te mitigeren en zowel de interpretatieerbaarheid als de kwaliteit van gedeelteontdekking te verbeteren.
Afwegingen Beheersbaar zijn: Hoewel de twee-staps aanpak een rekenkundige overhead met zich meebrengt (ongeveer 2,1x langzamere inferentie), maakt het vermogen om globale en lokale signalen te ensemble-modellen mogelijk die zowel uiterst nauwkeurig zijn als strikt trouw aan lokaal bewijs.

Het werk benadrukt een verwaarloosd probleem in de interpretatieerbaarheid van gedeeltegebaseerde representaties, en suggereert dat toekomstig onderzoek zich moet richten op verstrengeling op representatieniveau om echt betrouwbare visiemodellen te bouwen.