🤖 machine learning

Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Dit artikel introduceert een deels gefactoriseerd Concept Bottleneck Model dat een bevroren DINOv3 vision transformer, een foreground gate en een leerbare Gaussische ruimtelijke prior gebruikt om ruimtelijke gronding in concept-aandacht af te dwingen, waardoor de aanwijsnauwkeurigheid aanzienlijk wordt verbeterd terwijl een concurrerende classificatieprestatie op de CUB-200-2011 dataset behouden blijft met minimale of geen per-afbeelding supervisie.

Oorspronkelijke auteurs: Dhanesh Ramachandram

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhanesh Ramachandram

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om verschillende vogelsoorten te identificeren. Een standaard AI kijkt misschien gewoon naar de hele afbeelding en raadt: "Dat is een mus!" Maar als je vraagt: "Waarom?", kan de AI moeite hebben met uitleggen.

Concept Bottleneck Models (CBM's) zijn een slimmere aanpak. In plaats van direct een vogel te raden, wordt de AI gedwongen om eerst een lijst met menselijk leesbare vragen (concepten) te beantwoorden, zoals: "Heeft hij een witte keel?" of "Is de snavel gebogen?", en daarna pas een definitieve gok te doen op basis van die antwoorden. Dit maakt het denkproces van de AI transparant en controleerbaar.

Er is echter een gebrek in hoe deze modellen gewoonlijk werken. Het deel van de AI dat verantwoordelijk is voor het controleren van de "witte keel" zou per ongeluk naar de vleugel van de vogel kunnen kijken. Als de vleugel toevallig wit is, krijgt de AI het juiste antwoord om de verkeerde reden. De AI is "ruimtelijk ongegrond" — hij weet niet waar in de afbeelding hij naar moet kijken.

Dit artikel introduceert een nieuw model genaamd PF-CBM (Part-Factorized Concept Bottleneck Model) dat dit oplost door de AI te dwingen op de juiste plek te kijken, met behulp van drie slimme trucs:

1. De "Foreground Gate" (De uitsmijter)

Stel je de afbeelding voor als een druk feestje. De AI moet de achtergrond (de muren, de bomen, het hek) negeren en zich alleen op de vogel concentreren.

Hoe het werkt: Het model heeft een kleine, slimme "uitsmijter" die elk klein stukje van de afbeelding scant. Als een stukje op de achtergrond lijkt, zegt de uitsmijter tegen de AI om het te negeren. Als het op de vogel lijkt, laat de uitsmijter de AI ernaar kijken.
De truc: Deze uitsmijter is getraind om alleen te zeggen: "Is dit onderdeel van de vogel?", zonder dat hij precies hoeft te weten waar de snavel of de staart van de vogel zit. Hij ruimt alleen het podium vrij voor de echte acteurs.

2. De "Fixed Seating Chart" (De routing)

In oude modellen waren de "Snavel-checker" en de "Staart-checker" vrije agenten. Ze konden overal zitten en naar alles kijken wat ze wilden.

Hoe het werkt: Dit nieuwe model wijst elk concept toe aan een specifieke "stoel" (een deel van de vogel). De "Snavel-checker" mag alleen naar de "Snavel-stoel" kijken. De "Staart-checker" is alleen toegestaan om naar de "Staart-stoel" te kijken.
Het resultaat: De AI kan niet meer valsspelen door naar de vleugel te kijken om een vraag over de keel te beantwoorden. De regels zijn hardgecodeerd in het systeem.

3. De "Gaussian Prior" (De ruwe kaart)

Dit is het moeilijkste deel: Hoe vertel je de AI welke stoel de "Snavel-stoel" is en welke de "Staart-stoel" is, zonder de AI duizenden foto's te laten zien met stippen getekend op de snavels en staarten?

Het probleem: Als je de AI gewoon 12 lege stoelen geeft, kan hij in de war raken. Hij kan besluiten dat Stoel #1 de staart is en Stoel #2 de snavel, of andersom. Omdat de vogel er in beide gevallen hetzelfde uitziet, raakt de AI in een lus van verwarring.
De oplossing: De auteurs geven de AI een zeer ruwe, wazige kaart van waar dingen normaal gesproken zitten. Ze zeggen: "De snavel zit meestal aan de bovenkant-links, en de staart is meestal aan de onderkant-rechts."
De magie: Ze hoeven deze kaart niet voor elke vogel te tonen. Ze hoeven alleen de gemiddelde positie van een snavel te berekenen uit een heel klein aantal voorbeelden (slechts 27 afbeeldingen uit 11.000!). Deze ruwe kaart werkt als een kompas dat de verwarring doorbreekt en de AI vertelt: "Begin hier met zoeken naar de snavel." Zodra de AI hiermee begint, leert hij de exacte details uit zichzelf.

De Resultaten: Wat is er gebeurd?

De onderzoekers hebben dit getest op een dataset van 200 vogelsoorten.

Nauwkeurigheid: Het nieuwe model was net zo goed in het identificeren van de vogels als de oude, volledig gesuperviseerde modellen (ongeveer 89% nauwkeurigheid).
Eerlijkheid: Maar het was veel beter in het aanwijzen van het juiste lichaamsdeel. Waar oude modellen slechts 36% van de tijd correct wezen, deed dit nieuwe model dat 52% tot 60% van de tijd.
Geen supervisie nodig: Nog beter: ze ontdekten een manier om de noodzaak om boxen rond de vogels te tekenen volledig weg te nemen. Door een wiskundige truc (PCA) te gebruiken om te raden waar de vogel is, behaalden ze bijna dezelfde hoge nauwkeurigheid en zelfs betere aanwijzegenschappen (bijna 60%), allemaal zonder dat mensen boxen of stippen op de trainingsafbeeldingen hoefden te tekenen.

De Kern van het Verhaal

Dit artikel laat zien dat je het besluitvormingsproces van een AI veel eerlijker en betrouwbaarder kunt maken door het een simpel "kaartje" te geven van waar het moet kijken, zonder dat je het de exacte locatie van elk lichaamsdeel voor elke afbeelding hoeft te leren. Het is alsof je een student leert om een examen af te leggen door een ruwe schets van de hoofdstukken van het tekstboek te geven, in plaats van hem te dwingen elke enkele paginanummer uit het hoofd te leren. Het resultaat is een model dat niet alleen het juiste antwoord geeft, maar ook precies weet waarom het dat antwoord geeft.

Technische Samenvatting: Ruimtelijk Gegronderde Concept Bottleneck Modellen via Part-Factorized Attention

Probleemstelling
Concept Bottleneck Models (CBMs) bieden interpreteerbaarheid door het voorspellen van menselijke, benoemde attributen (concepten) voordat een uiteindelijke klassevoorspelling wordt gedaan. Echter, bij taken voor fijnmazige herkenning (bijv. het onderscheiden van vogelsoorten) lijden standaard CBM's aan een "ruimtelijke grondingskloof" (spatial grounding gap). Hoewel de conceptlaag numeriek interpreteerbaar blijft, is de ruimtelijke aandacht van elke conceptkop onbeperkt. Een kop die benoemd is naar een specifiek lichaamsdeel (bijv. "keelkleur") kan de trainingsverlies minimaliseren door te letten op een ander gebied (bijv. een vleugelpatroon) als dat gebied sterk correleert met het doelattribuut. Bijgevolg zijn de beslissingen van het model niet gegrond in de benoemde anatomie, wat testtijd-interventies onbetrouwbaar maakt omdat deze ingrijpen op de patch waar de kop zich op heeft gericht, in plaats van op de beoogde anatomische regio.

Methodologie: Part-Factorized CBM (PF-CBM)
Het voorgestelde PF-CBM dwingt ruimtelijke gronding af als een structurele eigenschap van de forward graph, gebouwd op een bevroren DINOv3 ViT-B/16 vision transformer. De architectuur bestaat uit drie primaire componenten:

Geleerd Foreground Gate: Een kleine MLP opereert op DINOv3 patch-features om per patch logits te produceren. Deze worden door een sigmoid gestuurd om een gate $g \in [0, 1]$ te genereren. Deze gate wordt additief in de log-ruimte geïnjecteerd in de attention logits. Dit onderdrukt achtergrondpatches zonder dat er per beeld segmentatiemaskers nodig zijn, waarmee de binaire vraag wordt beantwoord of een patch bij het object hoort.
Part-Routed Attribute Heads: Het model gebruikt een set van $P=12$ leerbare part queries die cross-attentie toepassen op patch-features. Een vaste, tijdens compile-time bepaalde "concept-naar-part" kaart routeert elk van de $C=312$ attributen naar een specifieke part token. Bijvoorbeeld: het attribuut "keelkleur" leest uitsluitend uit de "keel" token. Deze structurele beperking voorkomt dat een concept toegang krijgt tot features buiten zijn toegewezen anatomische regio.
Leerbare Gaussische Ruimtelijke Prior: Om te voorkomen dat de part queries naar een gemeenschappelijke locatie convergeren (bijv. het middelpunt van het object) door permutatiesymmetrie, wordt een leerbare 2D Gaussische prior toegevoegd aan de attention logits. Het gemiddelde ( $\mu_p$ ) en de standaarddeviatie ( $\sigma_p$ ) van deze prior zijn leerbare parameters. Cruciaal is dat $\mu_p$ offline wordt geïnitialiseerd met de dataset-gemiddelde keypoint-locatie voor elk deel. Deze initialisatie vereist slechts een klein fractie van de geannoteerde keypoints en geen per-beeld supervisie tijdens training of inferentie.

Trainingsdoelstelling
Het model wordt in twee stadia getraind om gronding en classificatie in evenwicht te brengen:

Fase 1: De classifier is bevroren ( $w_{cls}=0$ ). De gate, part attention en attribute heads worden getraind met concept loss (certainty-weighted binary cross-entropy), foreground loss, alignment loss (indien keypoints beschikbaar zijn) en een entropie-term om aandachtconcentratie te stimuleren.
Fase 2: De classifier wordt ontvroren ( $w_{cls}=1$ ). Het model traint gezamenlijk, maar met een leersnelheid voor de grondingscomponenten (gate, attention, heads) die een orde van grootte kleiner is dan die van de classifier. Dit voorkomt dat de classificatiedruk de in Fase 1 gevestigde ruimtelijk gegronde staat overschrijft.

Belangrijkste Resultaten
Experimenten op de CUB-200-2011 dataset tonen het volgende aan:

Prestaties vs. Gronding: Het model met de ruimtelijke prior bereikt een classificatienauwkeurigheid die vergelijkbaar is met een volledig gesuperviseerde baseline (88,85% vs. 88,95% top-1), terwijl de pointing accuracy aanzienlijk wordt verbeterd (52,6% vs. 36,4%).
Verwijderen van Per-Beeld Supervisie: Door bounding-box supervisie te vervangen door een PCA-afgeleide foreground target en het combineren met de Gaussische prior, verwijdert het model alle per-beeld supervisie. Deze "box-vrije" configuratie bereikt 88,85% top-1 nauwkeurigheid en 59,7% pointing accuracy.
Annotatie-efficiëntie: Een sweep over de fracties van keypoints laat zien dat het initialiseren van de Gaussische prior met slechts 0,5% van de trainingsset (ongeveer 27 afbeeldingen) voldoende is om prestaties te bereiken die ononderscheidbaar zijn van het gebruik van de volledige dataset.
Noodzaak van Structuur: Het volledig verwijderen van de ruimtelijke prior zorgt ervoor dat de pointing accuracy instort naar 2,9%, wat bevestigt dat de prior essentieel is om permutatiesymmetrie te breken en part-specialisatie af te dwingen.
Interventiegedrag: Sequentiële training (het bevriezen van de concept encoder vóór het trainen van de classifier) levert een beter gekalibreerde bottleneck op met lagere concept-class mutual information, zij het ten koste van de top-1 nauwkeurigheid. Dit bevestigt dat gezamenlijke training het model toestaat om onderscheidende signalen in concept-magnitudes te verpakken, terwijl sequentiële training een striktere afhankelijkheid van de benoemde concepten afdwingt.

Betekenis en Claims
Het artikel claimt dat PF-CBM erin slaagt de kloof tussen interpreteerbaarheid en ruimtelijke gronding te overbruggen. Door gronding een structurele garantie te maken in plaats van een optimalisatie-uitkomst, zorgt het model ervoor dat conceptvoorspellingen verbonden zijn aan specifieke anatomische regio's. Dit maakt betrouwbare testtijd-interventies mogelijk waarbij het corrigeren van een concept (bijv. "keelkleur") direct invloed heeft op de voorspelling via het juiste anatomische bewijs.

Het werk onderscheidt zich van soft-grounding benaderingen (zoals DOT-CBM, die optimaal transport gebruikt) door een harde, structurele routing-kaart af te dwingen. Hoewel dit een vooraf gedefinieerde part-vocabulaire en concept-naar-part mapping vereist, biedt het een triviaal controleerbaar mechanisme waarbij de correspondentie tussen concepten en beeldregio's door ontwerp vaststaat. De auteurs merken op dat de methode het best geschikt is voor domeinen met enkelvoudige objecten in canonieke poses (bijv. vogels, gezichten) en dat het volledig verwijderen van part-identiteit zonder enig dataset-niveau ruimtelijk signaal een onopgeloste uitdaging blijft.