Technische Samenvatting: OCCAM – Open-set Causal Concept explAnation en Ontologie-inductie voor black-box visiemodellen

Probleemstelling

Diepe beeldclassificatoren hebben prestaties bereikt die dicht bij het menselijke niveau liggen, toch blijven hun besluitvormingsprocessen ondoorzichtig, vooral in black-box-omgevingen waar interne gradiënten, activeringen en architecturale details ontoegankelijk zijn (bijvoorbeeld ingezette systemen en APIs van derden). Bestaande verklaringmethoden staan in dit regime voor twee primaire beperkingen:

1. Attributie-gebaseerde methoden (bijvoorbeeld salientiemaps, LIME, SHAP) werken op ruimtelijke eenheden (pixels/patches) in plaats van semantische concepten, waardoor ze continue relevantiekaarten genereren die geen expliciete semantische structuur hebben en handmatige interpretatie vereisen.
2. Concept-gebaseerde methoden vertrouwen doorgaans op closed-set vooraf gedefinieerde vocabulaires of gecureerde conceptbanken, wat hun vermogen beperkt om nieuwe of fijnmazige entiteiten in real-world open-set scenario's te verklaren. Bovendien werken de meeste technieken lokaal, waarbij ze individuele voorspellingen verklaren zonder een principieel mechanisme te bieden om consistente globale inzichten af te leiden of systematische modelbiasen bloot te leggen.

Er is een kritieke behoefte aan verklarringskaders die tegelijkertijd black-box, open-set en causaal zijn.

Methodologie

OCCAM (Open-set Causal Concept explAnation en ontologie-inductie voor black-box visiemodellen) herformuleert modelinterpretatie als een proces van gestructureerde interventieve pruning. Het kader werkt strikt onder alleen-toegang via query's en vereist geen interne modelgewichten. Het bestaat uit drie hoofdfasen:

1. Lokale Interventieve Conceptanalyse

Voor een gegeven invoerbeeld $x$ en een vooraf getrainde classifier $f$:

• Open-set Conceptvoorstel ($\Phi$): Een Multimodaal Groot Taalmodel (MLLM) stelt een set instance-specifieke semantische concepten $\{k_1, ..., k_N\}$ voor vanuit een open-ended universum, in plaats van een vast vocabulaire.
• Conceptgrondering ($\Psi$): Een op tekst gebaseerd segmentatiemodel (bijvoorbeeld SAM) koppelt elk voorgesteld concept aan een binaire segmentatiemaske $m_i$, waarmee de ruimtelijke ondersteuning wordt geïdentificeerd. Concepten die geen geldige maskers produceren, worden verworpen.
• Causale Pruning ($R$): Een inpainting-model (bijvoorbeeld LaMa) verwijdert de visuele ondersteuning van elk gegronde concept onafhankelijk, waardoor een geïntervenieerd beeld $\tilde{x}_i$ ontstaat.
• Causale Bijdrageschatting: Het kader meet de verandering in het vertrouwen van de classifier voor de oorspronkelijk voorspelde klasse $\hat{y}$:
  $$s_{x, k_i} = f_{\hat{y}}(x) - f_{\hat{y}}(\tilde{x}_i)$$
  Een hogere score geeft aan dat het concept sterkere positieve causale ondersteuning biedt voor de beslissing.

2. Globale Ontologie-inductie

Naast lokale verklaringen aggregeert OCCAM interventieve bewijzen over de volledige dataset om een gestructureerde conceptuele ontologie in te leiden.

• Structuur: De ontologie wordt geformaliseerd als een kennisgrafiek (RDF/OWL) waarbij knopen klassen, afbeeldingen, concepten en causale bewijzenentiteiten (met scores en artefacten) vertegenwoordigen.
• Emergentie: Globale concept-klasse- en inter-conceptafhankelijkheden worden niet top-down opgelegd, maar emergeerden uit het aggregeren van de opgeslagen interventieve attributen.
• Redenering: Deze ontologie maakt gestructureerd queryen en redeneren over het globale gedrag van het model mogelijk, waardoor stabiele afhankelijkheden, compositiepatronen en latente causale relaties worden blootgelegd die geïsoleerde per-afbeeldingsverklaringen zouden kunnen missen.

3. Evaluatiemetrieken

Het kader wordt geëvalueerd aan de hand van:

• Causale Pruning-metrieken: Gemiddelde Dalingpercentage (ADP), Maximale Dalingpercentage (MDP) en Maximale Absolute Logit-daling (MAD) om de impact van conceptverwijdering op modelvertrouwen te kwantificeren.
• Groning-metrieken: Energy-based Pointing Game (EPG), Genormaliseerde Regio-nauwkeurigheid (NRA) en Hit Rate om de ruimtelijke uitlijning met ground-truth maskers te beoordelen.
• Kwaliteit van Redenering: Rapporten gegenereerd door LLM's met behulp van ongestructureerde samenvattingen, platte JSON en op ontologie gebaseerde redenering worden beoordeeld door onafhankelijke LLM's en menselijke beoordelaars op coherentie en trouw.

Belangrijkste Bijdragen

1. OCCAM-kader: Een strikt black-box kader voor open-set causale verklaring via gestructureerde objectniveau-interventies, dat alleen query-toegang tot de visuele classifier vereist.
2. Principiële Ontologieconstructie: Een procedure die causale effecten op conceptniveau over afbeeldingen aggregeert om een emergente globale conceptuele ontologie te construeren zonder afhankelijk te zijn van vooraf gedefinieerde vocabulaires of interne representaties.
3. Op Ontologie Gebaseerde Redenering: Demonstratie dat redeneren over de geïnduceerde ontologie diepere verklaringen mogelijk maakt, waardoor stabiele conceptuele afhankelijkheden en latente causale relaties worden blootgelegd die door geïsoleerde per-afbeeldingsanalyses onopgemerkt blijven.
4. State-of-the-art Prestaties: Bereiking van concurrerende of superieure resultaten op de Broden- en ImageNet-S-datasets onder strikte open-set en black-box condities, waarbij witte-doos, closed-set concurrenten worden ingehaald qua effectiviteit van causale pruning.
5. Multimodale Uitbreidbaarheid: Validatie dat het kader zich op natuurlijke wijze uitbreidt naar visie-taalclassificatoren (bijvoorbeeld CLIP, SigLIP), waardoor een unificatieverklarmechanisme wordt geboden voor zowel unimodale als multimodale architecturen.

Experimentele Resultaten

Experimenten werden uitgevoerd op ResNet18, ResNet50, ViT-B/16 en diverse CLIP/SigLIP-varianten met behulp van de Broden- en ImageNet-S-datasets.

• Causale Pruning: OCCAM induceerde consequent sterkere vertrouwensreducties dan de state-of-the-art closed-set methode CE-FAM. Bijvoorbeeld, op ResNet50 bereikte OCCAM een Gemiddelde Dalingpercentage (ADP) van 47,19% vergeleken met 44,18% van CE-FAM, en een Maximale Dalingpercentage (MDP) van 93,89% versus 84,14%. Dit geeft aan dat OCCAM meer beslissingskritisch bewijs identificeert.
• Validiteit van Groning: Ondanks dat het werkt in een black-box, open-set regime, behaalde OCCAM concurrerende lokalisatiescores (bijvoorbeeld een EPG van 0,65 op ResNet50 voor ImageNet-S) ten opzichte van witte-doos methoden, wat aantoont dat objectniveau-interventieve grondering ruimtelijk uitgelijnde en semantisch betekenisvolle regio's produceert.
• Ontologie-redenering: Bij globale verklaringsevaluaties behaalde op ontologie gebaseerde redenering de hoogste scores (gemiddeld 4,78/5) vergeleken met ongestructureerde samenvattingen (4,31) en platte JSON (4,23). Dit suggereert dat het formeel structureren van causaal bewijs de coherentie en trouw van globale modelverklaringen aanzienlijk verbetert.
• Multimodale Robuustheid: Bij toepassing op CLIP en SigLIP veroorzaakte progressieve verwijdering van de top-3 invloedrijke concepten een monotoon afname in zero-shot nauwkeurigheid. Opmerkelijk was dat SigLIP robuuster bleek dan CLIP-varianten, wat suggereert dat zijn beslissingen steunen op meer verspreid bewijs in plaats van een kleine set hoog-impact regio's.

Betekenis en Claims

Het artikel beweert dat OCCAM een paradigmaschift biedt in modelinterpretatie door deze te herformuleren als gestructureerde interventieve pruning. De primaire betekenis ligt in:

• Het Overbruggen van de Kloof: Het adresseert succesvol de "black-box, open-set, causale" trilemma, een regime waarin bestaande methoden worstelen.
• Globaal Inzicht: Door verder te gaan dan per-afbeelding attributie, biedt het een mechanisme om consistente globale inzichten af te leiden en systematische modelbiasen bloot te leggen via een emergente ontologie.
• Gedrag-gegronde Kennis: De geïnduceerde ontologie wordt niet extern opgelegd, maar direct afgeleid uit gemeten causale effecten, waardoor een bevraagbare representatie wordt geboden van hoe classificatoren visueel bewijs organiseren.
• Unificatie Mechanisme: Het demonstreert dat interventies op invoerniveau een unificatieverklarmechanisme bieden dat van toepassing is op zowel traditionele visiemodellen als moderne multimodale architecturen, zonder toegang tot interne representaties te vereisen.

De auteurs concluderen dat dit perspectief toekomstig werk aanmoedigt op het gebied van gedrag-gegronde kennisinductie en gestructureerde redenering voor uitlegbaar AI.