💻 computer science

Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

Dit artikel introduceert een op psychofysica gebaseerd raamwerk dat aantoont dat vision foundation-modellen consequent minder menselijk interpreteerbaar zijn dan hun toezicht-gecontroleerde tegenhangers, en onthult dat interpreteerbaarheid een onafhankelijke dimensie is die wordt gedreven door feature-lokaliteit en grofkorrelige semantische uitlijning in plaats van algehele modelcapaciteit.

Oorspronkelijke auteurs: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

Gepubliceerd 2026-05-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julien Colin, Lore Goetschalckx, Nuria Oliver, Thomas Serre

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Kunnen We het "Brein" van AI Begrijpen?

Stel je een superintelligente robot voor die met ongelooflijke nauwkeurigheid een kat, een auto of een verkeerslicht kan herkennen. Het is zo goed in zijn werk dat het wordt gebruikt om auto's te besturen en artsen te helpen bij het diagnosticeren van ziekten. Maar hier zit het probleem: Hoe "ziet" het de wereld eigenlijk?

Als je de robot vraagt: "Welk deel van deze foto deed je denken dat het een kat was?", heeft het geen stem. Het heeft alleen interne signalen (kenmerken) die oplichten. De grote vraag die dit paper stelt is: Kan een gewone mens die signalen bekijken en begrijpen wat ze betekenen?

De auteurs noemen dit Interpreteerbaarheid. Het gaat niet om hoe slim de robot is (zijn capaciteit); het gaat om hoe duidelijk zijn denken voor ons is.

De Oude Manier versus de Nieuwe Manier

De Oude Manier (De "Meerkeuze"-Valstrik):
Vorige tests probeerden te zien of mensen AI-kenmerken begrepen door hen foto's te laten zien en te vragen: "Welke van deze twee foto's past bij het signaal van de AI?"

De Fout: De auteurs vonden een truc in deze methode. Mensen konden vaak het juiste antwoord geven door simpelweg te weten wat het kenmerk niet was.
- Analogie: Stel ik laat je een foto van een maïsveld en een foto van een strand zien, en ik zeg: "Dit AI-signaal gaat NIET over maïs." Dan kun je makkelijk het strand kiezen, zelfs als je geen idee hebt wat het signaal eigenlijk is. Je elimineert alleen het verkeerde antwoord, in plaats van het signaal echt te begrijpen. Dit maakte de test onfair en onbetrouwbaar.

De Nieuwe Manier (Het "Detective"-Kader):
De auteurs bouwden een nieuwe, eerlijkere test met twee onderdelen, zoals een detective die een mysterie probeert op te lossen:

Localiseerbaarheid (Het "Waar"-Spel):
- De Opzet: Je krijgt een "mysterie-signaal" te zien samen met een paar voorbeelden van wat het activeert (bijvoorbeeld een foto van een band, of een warmtekaart die aangeeft waar het signaal fel oplicht).
- De Taak: Je krijgt een nieuwe foto te zien en wordt gevraagd om te klikken op precies de plek waar je denkt dat dat signaal zou oplichten.
- Het Doel: Kun jij naar het specifieke deel van de afbeelding wijzen (zoals de band) dat overeenkomt met het signaal?
Naambaarheid (Het "Wat"-Spel):
- De Opzet: Dezelfde visuele aanwijzingen als hierboven.
- De Taak: Je moet een korte beschrijving schrijven van wat het signaal voorstelt.
- Het Doel: Kun je het in woorden beschrijven? (bijvoorbeeld: "Het is een autoband" of "Het is een rood verkeerslicht").

Om zeker te weten dat ze pure "kenmerken" testten en niet gewoon rommelige, door elkaar gehusselde neuronen, gebruikten ze een speciaal hulpmiddel (een Sparse Autoencoder) om enkele, duidelijke concepten te isoleren, zoals het scheiden van individuele ingrediënten van een smoothie.

De Schokkende Ontdekking: Slimmer Betekent Niet Duidelijker

De onderzoekers testten zes verschillende AI-modellen:

2 Oudere Modellen: Getraind op een traditionele, superviserende manier (zoals een leerling met een leraar).
4 "Foundation"-modellen: De nieuwe, massale, superkrachtige modellen (zoals DINO, CLIP) die getraind zijn op het hele internet en bijna alles kunnen doen.

Het Resultaat:
De "Foundation"-modellen waren minder interpreteerbaar dan de oudere, eenvoudigere modellen.

De Analogie: Stel je de oudere modellen voor als een leerling die heeft geleerd door een schoolboek uit het hoofd te leren. Je kunt ze makkelijk vragen: "Waarom heb je dat antwoord gekozen?" en ze geven een duidelijk antwoord.
De nieuwe Foundation-modellen zijn als een genie dat heeft geleerd door de volledige bibliotheek van menselijke kennis te lezen. Ze zijn slimmer en kunnen moeilijkere problemen oplossen, maar als je ze vraagt hun redenering uit te leggen, geven ze een vaag, verwarrend antwoord. Hun interne "gedachten" zijn moeilijker voor mensen te vatten.

Cruciaal: "slimmer" zijn hielp niet. Het paper vond geen enkele connectie tussen hoe goed het model presteerde op taken (zoals objecten herkennen) en hoe makkelijk het voor mensen was om zijn kenmerken te begrijpen. Een betere bestuurder zijn betekent niet dat je brein makkelijker te lezen is.

Wat Maakt Een Kenmerk Makkelijk Te Begrijpen?

De auteurs vonden twee specifieke dingen die het "denken" van een AI makkelijker maken voor mensen om te bevatten:

Lokaal (Het "Schijnwerper"-Effect):
- Als een kenmerk oplicht op een strakke, specifieke plek (bijvoorbeeld alleen de band van een auto), kunnen mensen het makkelijk begrijpen.
- Als een kenmerk overal tegelijk oplicht (zoals de hele auto en de weg en de lucht), raken mensen in de war. De nieuwe Foundation-modellen hebben de neiging om deze "diffuse" signalen te hebben die te veel grond bestrijken.
- Analogie: Het is makkelijker om een specifieke persoon in een menigte te vinden als ze een felrode hoed dragen (lokaal) dan als ze gewoon "deel zijn van de algemene sfeer" van de menigte (diffuus).
Grofkorrelige Uitlijning (De "Grootte"-Match):
- Mensen begrijpen de wereld in brede categorieën (bijvoorbeeld "Dieren", "Voertuigen"). Als de AI zijn kenmerken organiseert om deze grote categorieën te matchen, begrijpen mensen het beter.
- Als de AI zich richt op kleine, hyper-specifieke details (zoals de exacte textuur van de vleugel van een vlinder vergeleken met die van een andere vlinder), vinden mensen het eigenlijk moeilijker om het te begrijpen.
- Analogie: Het is makkelijker om een kaart uit te leggen als je me "Noord-Amerika" en "Zuid-Amerika" laat zien (grof) in plaats van te proberen de specifieke vorm van elke enkele straat in een stad uit te leggen (fijnkorrelig).

Het Eén Opvallende Lichtpunt: DINOv3

Er was één uitzondering. Een model genaamd DINOv3 was zowel zeer bekwaam als zeer interpreteerbaar. Waarom? Omdat de mensen die het bouwden het specifiek programmeerden om te zoeken naar "lokale" kenmerken (dingen die oplichten op specifieke plekken). Dit bewijst dat we kunnen bouwen aan slimme modellen die ook makkelijk te begrijpen zijn, maar we moeten ze ontwerpen met dat doel voor ogen.

Samenvatting

Capaciteit $\neq$ Interpreteerbaarheid: Alleen omdat een AI super slim is, betekent niet dat we kunnen begrijpen hoe het denkt. Sterker nog, de nieuwste, slimste modellen zijn vaak de moeilijkst te begrijpen.
De Kloof: Er is een kloof tussen "het werk goed doen" en "het werk duidelijk uitleggen".
De Oplossing: Om AI transparanter te maken, moeten we ze trainen om zich te richten op specifieke, lokale details en hun kennis te organiseren in brede, menselijke categorieën, in plaats van ze gewoon groter en krachtiger te maken.

Het paper concludeert dat we niet kunnen aannemen dat AI naarmate het slimmer wordt, vanzelf begrijpelijker wordt. We moeten die duidelijkheid vanaf het begin inbouwen.

Technische Samenvatting: Capabiliteit ≠ Interpretatie: Menselijke Interpretatie van Vision Foundation Modellen

Probleemstelling

Naarmate vision foundation modellen (bijv. CLIP, DINOv2, SigLIP) overgaan van onderzoeksbenchmarks naar toepassingen met hoge risico's (klinische besluitvorming, autonoom rijden), wordt het begrijpen van hun interne representaties kritiek. Echter, bestaande evaluatieprotocollen falen in het betrouwbaar meten en vergelijken van de menselijke interpretatie van kenmerken over verschillende modellen heen. Eerdere methoden lijden onder twee hoofdbeperkingen:

Polysemantie: Ze vertrouwen vaak op individuele neuronen, die meerdere concepten coderen (superpositie), wat de isolatie van enkele kenmerken bemoeilijkt.
Methodologische Artefacten: Eerdere psychofysische protocollen (bijv. gedwongen-keuze taken) stellen deelnemers in staat taken op te lossen door te identificeren wat een kenmerk niet is (proces van eliminatie) in plaats van te begrijpen wat het wel is. Dit leidt tot model-specifieke baselines op het niveau van toeval, waardoor ruwe nauwkeurigheidscores niet vergelijkbaar zijn tussen architecturen.

Bijgevolg blijft het een open vraag of de superieure capabiliteit van foundation modellen correleert met het feit dat hun kenmerken voor mensen beter interpreteerbaar zijn.

Methodologie

De auteurs introduceren een raamwerk om menselijke interpretatie te meten met behulp van twee complementaire psychofysische protocollen, toegepast op zes vision transformers (twee supervised ViTs en vier foundation modellen: DINOv2, DINOv3, CLIP, SigLIP).

1. Kenmerkextractie en Selectie:

Monosemantische Basis: In plaats van ruwe neuronen te analyseren, gebruiken de auteurs Sparse Autoencoders (SAE's) getraind op ImageNet-activaties om een woordenboek van monosemantische richtingen te herstellen. Dit zorgt ervoor dat elke geteste eenheid overeenkomt met één enkel concept.
Relevantiefiltering: Kenmerken worden geselecteerd op basis van hun bijdrage aan een lineaire probe getraind op ImageNet (met behulp van Gradient $\times$ Input). Dichte kenmerken (die op de meeste inputs activeren) worden uitgesloten.
Gestandaardiseerde Ankerpunten: Om een eerlijke vergelijking te waarborgen, wordt de kenmerkselectie verankerd aan een gedeelde set invoerafbeeldingen in plaats van willekeurige steekproeven, en worden scores gekalibreerd tegen een gemeenschappelijk toevalsniveau.

2. Psychofysische Protocollen:
Deelnemers (377 geldige proefpersonen, 13.400 antwoorden) kregen visuele uitleg van een kenmerk te zien (synthetische visualisatie, sterk activerende natuurlijke afbeeldingen en RISE-heatmaps) en werden gevraagd één van twee taken uit te voeren:

Lokaliseerbaarheid (Waar): Deelnemers klikken op een nieuwe afbeelding waar ze denken dat het kenmerk activeert. Scores worden gemapt naar een toeval-verankerde schaal ( $s=0.5$ ) gebaseerd op de empirische cumulatieve verdeling van de heatmap, genormaliseerd voor verspreide versus diffuse activaties.
Naambaarheid (Wat): Deelnemers geven een vrije tekstbeschrijving van het kenmerk. Beschrijvingen worden gescoord door de gemiddelde cosijn-similariteit te berekenen tussen de tekstembedding en de CLIP-afbeeldingsemmbeddings van crops die gecentreerd zijn op de piekactivatie van het kenmerk.

3. Analyse:
De studie analyseert de relatie tussen interpretatiescores en:

Prestaties op downstream taken (ImageNet-classificatie, semantische segmentatie, perceptuele groepering).
Representatieve eigenschappen: Lokaalheid (Hoyer-sparseheid van activaties) en Menselijke Alignering (visuele strategieën, grofkorrelige versus fijnkorrelige semantische similariteitsoordelen).

Belangrijkste Resultaten

1. Foundation Modellen zijn Minder Interpreteerbaar:
In tegenstelling tot de aanname dat grotere, capabelere modellen transparanter zijn, leverde elk getest foundation model kenmerken op die minder interpreteerbaar waren dan hun supervised tegenhangers (ViT-S en ViT-B). Deze kloof geldt zowel voor vision-only self-supervised modellen (DINOv2, DINOv3) als voor vision-language modellen (CLIP, SigLIP).

Opmerking: DINOv2 wekte het hoogste deelnemersvertrouwen op, maar scoorde onder de minst interpreteerbare, wat benadrukt dat het "voelen" van interpreteerbaarheid niet gelijkstaat aan interpreteerbaar zijn.

2. Interpretatie is Orthogonaal aan Capabiliteit:
Er is geen significante correlatie tussen de downstream-taakprestaties van een model (classificatie, segmentatie, groepering) en zijn menselijke interpretatiescores (lokalisatie of naambaarheid). Hoge capabiliteit garandeert geen hoge interpretatie, noch wisselt het er noodzakelijkerwijs mee af; ze lijken onafhankelijke dimensies van representatiekwaliteit te zijn.

3. Voorspellers van Interpretatie:
Twee representatieve eigenschappen voorspellen interpretatie sterk:

Lokaalheid: Kenmerken met focale, ruimtelijk beperkte activaties (hoge Hoyer-sparseheid) zijn aanzienlijk beter interpreteerbaar dan diffuse kenmerken. DINOv3, dat expliciet lokale kenmerken promoot in zijn trainingsdoel, dient als tegenvoorbeeld en toont hogere interpretatie onder foundation modellen.
Grofkorrelige Semantische Alignering: Alignering met grofkorrelige menselijke similariteitsoordelen (brede categorische structuur) correleert met interpretatie. Daarentegen voorspellen fijnkorrelige perceptuele alignering (onderscheidingen binnen een categorie) en alignering met menselijke visuele strategieën (attentiekaarten) geen interpretatie.

Betekenis en Claims

Het paper stelt vast dat capabiliteit alleen de interpretatiekloof tussen foundation modellen en supervised baselines niet kan dichten. De auteurs claimen:

Interpretatie is een distincte, meetbare dimensie: Het is geen bijproduct van schaal of downstream-prestaties.
De "Foundation Model-kloof" is reëel: Ondanks dat ze supervised modellen op benchmarks overtreffen, leren foundation modellen representaties die voor mensen minder leesbaar zijn.
Ontwerpimplicaties: Om meer interpreteerbare modellen te bouwen, moeten trainingsdoelen expliciet lokale kenmerkactivaties bevorderen en representaties aligneren met grofkorrelige menselijke semantische structuren, in plaats van te vertrouwen op schaal of fijnkorrelige perceptuele alignering.

De studie concludeert dat foundation modellen, hoewel ze superieure generalisatie bieden, hun interne kenmerken vaak op een "supermenselijke" manier hebben die menselijk begrip verduistert, wat expliciete ontwerpkiezen vereist om interpretatie in toepassingen met hoge risico's te herstellen.