Spatially Grounded Concept-Based Image Classification

Technische Samenvatting: SEG-MIL-CBM

Probleemstelling
Diepe neurale netwerken bereiken vaak een hoge nauwkeurigheid door te vertrouwen op spuriaatieve correlaties of bewijs dat moeilijk te inspecteren is, vooral in scenario's met een hoog belang. Hoewel Concept Bottleneck Models (CBM's) menselijk interpreteerbare redenering bieden door afbeeldingen te mappen naar door mensen gedefinieerde concepten, behandelen de meeste bestaande CBM's concepten als globale attributen. Deze globale aanpak faalt in het identificeren van welke specifieke beeldregio's een concept ondersteunen, waardoor er een kloof ontstaat tussen de voorspelling en de uitleg ervan. Bovendien lokaliseren ruimtelijk gegronde CBM's (bijv. SALF-CBM) weliswaar bewijslast, maar houden ze geen expliciet rekening met hoe regio-niveau bewijs wordt geaggregeerd naar de uiteindelijke beslissingslogit, wat vaak resulteert in verklaringen die gescheiden zijn van de berekening die de voorspelling voortbrengt.

Methodologie: SEG-MIL-CBM
De auteurs stellen SEG-MIL-CBM (Spatially Grounded Concept-Based Image Classification) voor, een model dat is ontworpen om afbeeldingen te deconstrueren in concept-gestuurde regio's en deze te classificeren via attention-gebaseerde aggregatie van segment-niveau bewijs. De kerninnovatie is dat dezelfde segment-bewijstermen die worden gebruikt om de voorspelling te vormen, direct worden uitgelezen om de uitleg te genereren, waardoor de noodzaak voor een aparte post-hoc attributiemodule vervalt.

De pijplijn bestaat uit vier stadia:

1. Offline Preprocessing: Met behulp van getrainde foundation-modellen (CLIP, GroundingDINO en SAM) genereert het systeem voor elke afbeelding een "bag" van concept-gestuurde segmenten. GroundingDINO lokaliseert concepten, en SAM produceert binaire maskers. Deze segmenten worden gecached samen met bevroren CLIP concept-gelijkenisdoelstellingen.
2. Segment Encoding: Een trainbaar model codeert elk segment met behulp van een gedeelde backbone ($\phi$) om kenmerken ($h_i$) te produceren. Een lineaire concept-head projecteert deze kenmerken naar een conceptruimte om geleerde concept-activaties ($z_i$) te verkrijgen.
3. Accountable Aggregation (MIL): Het model maakt gebruik van een attention-gebaseerd Multiple Instance Learning (MIL) framework. Het berekent klasse-geconditioneerde attention-gewichten ($\alpha_{i,y}$) voor elk segment en aggregeert segment-klasse scores ($g_{i,y}$) naar een beeld-niveau logit ($\ell_y = \sum \alpha_{i,y} g_{i,y}$).
4. Uitleggeneratie: De uiteindelijke logit is een som van expliciete segment-niveau bijdragen. De uitleg wordt afgeleid door de non-bias bewijstermen ($C^{sp}_{i,y}$) uit deze decompositie te lezen. Dit onthult welke regio's positief bijdroegen aan de voorspelling en welke specifieke concepten binnen die regio's die ondersteuning boden.

De trainingsdoelstelling combineert image-level cross-entropy loss met een cosine alignment loss tussen de geleerde concept-activaties en de bevroren CLIP-targets, wat semantische consistentie waarborgt zonder dat er expliciete concept- of groepslabels nodig zijn tijdens de training.

Belangrijkste Bijdragen

• Accountable Aggregation: De auteurs formuleren ruimtelijke concept-voorspelling zodanig dat elke weergegeven regio-score direct wordt uitgelezen uit de non-bias segment-bewijsterm in de logit-decompositie, wat een verenigde voorspelling en uitleg creëert.
• Faithfulness Validation: Door middel van segment-niveau deletie- en insertie-experimenten op de CUB-dataset, valideert het artikel kwantitatief dat de geleerde segment-rangschikking getrouw (faithful) is aan het eigen voorspellingspad van het model, waarbij het beter presteert dan controles gebaseerd op ruwe CLIP salience, segmentoppervlakte en willekeurige rangschikking.
• Interpretability-Robustness Trade-off: Het model toont aan dat een ontwerp met een focus op interpreteerbaarheid een concurrerende herkenningsnauwkeurigheid kan behouden terwijl het de worst-group accuracy verbetert ten opzichte van geëvalueerde CBM-familie baselines. Het legt expliciet de Pareto-trade-off bloot tussen interpreteerbaarheid en de hoogst mogelijke worst-group accuracy die haalbaar is door niet-interpreteerbare groep-robuuste methoden.

Resultaten

• Groep-robuustheid: Op de Waterbirds dataset (een benchmark voor spuriaatieve achtergrondcorrelaties) verbetert SEG-MIL-CBM de worst-group accuracy van 65,1% (SALF-CBM) naar 72,0%. Op de synthetische Pawrious dataset bereikt het 87,4% worst-group accuracy, waarmee het de globale CBM-baselines die falen in het mitigeren van achtergrond-shortcuts, significant overtreft.
• Standaard Herkenning: Het model blijft competitief op standaard herkenningstaken, waarbij het de beste CBM-nauwkeurigheid behaalt op CIFAR-100 (85,3%) en verbetering laat zien ten opzichte van eerdere ruimtelijke CBM's op Places365 en CUB.
• Faithfulness: Op CUB behaalt het model de beste Deletion/Insertion AUC (DAUC/IAUC: 0,444/0,670) onder de geëvalueerde controles. Top-1 insertie-tests tonen aan dat het behouden van alleen de hoogst gerangschikte segmenten de oorspronkelijke voorspelling in 90,5% van de afbeeldingen behoudt.
• Ablatie: Experimenten bevestigen dat de prestatiewinsten worden gedreven door de expliciete aggregatie van gelokaliseerd bewijs in plaats van verborgen feature-bypasses, en dat de concept-alignment loss cruciaal is voor het behoud van de semantische interface die voor uitleg wordt gebruikt.

Betekenis en Claims
Het artikel claimt dat SEG-MIL-CBM een sterkere vorm van uitleg biedt door te dienen als een "audit trail" van de voorspelling zelf. In tegen tegenstelling tot post-hoc methoden die heatmaps aan aparte classifiers koppelen, zorgt SEG-MIL-CBM ervoor dat de weergegeven regio-bewijslast intrinsiek is aan de forward computation.

De auteurs positioneren SEG-MIL-CBM niet als een vervanging voor niet-interpreteerbare groep-robuuste methoden (die mogelijk een hogere worst-group accuracy bereiken op specifieke datasets zoals Waterbirds), maar als een onderscheidend punt op de Pareto-front. Het biedt een trade-off waarbij praktijkgebruikers een ruimtelijk gegrondeerde, concept-niveau verantwoording krijgen van waarom een beslissing is genomen — specifiek door te identificeren welke objectdelen of achtergrondregio's de voorspelling ondersteunden — terwijl een concurrerende nauwkeurigheid en verbeterde robuustheid ten opzichte van andere interpreteerbare baselines worden behouden. Het werk benadrukt dat deze aanpak fouten (bijv. de afhankelijkheid van achtergrond-shortcuts) inspecteerbaarder maakt dan in globale bottleneck-modellen, zelfs als het niet garandeert dat alle shortcuts worden geëlimineerd.