Technische Samenvatting: Beoordeling van de Betrouwbaarheid van Symbooldetectie in Concept Bottleneck Modellen

1. Probleemstelling

Concept Bottleneck Models (CBMs) zijn een prominente klasse van neuro-symbolische methoden ontworpen voor Explainable AI (XAI). Ze werken door eerst menselijk interpreteerbare concepten uit invoergegevens te extraheren en vervolgens een lichtgewicht, interpreteerbare classifier te gebruiken om deze concepten naar uiteindelijke voorspellingen te mappen. Hoewel een hoge taaknauwkeurigheid vaak wordt gebruikt als een proxy voor modelkwaliteit, stelt dit artikel dat nauwkeurigheid geen garantie biedt voor getrouwe conceptdetectie.

Het kernprobleem dat wordt geïdentificeerd is informatielekkage (of "shortcuts") binnen de bottleneck. Wanneer conceptdetectoren en classificatiekoppen gezamenlijk worden getraind, kan de detector taakspecifieke signalen coderen in de conceptactivaties die nuttig zijn voor classificatie, maar niet overeenkomen met de beoogde semantische betekenis van de concepten. Bijgevolg kan het model een hoge nauwkeurigheid bereiken door te vertrouwen op spuria virtuele correlaties in plaats van op werkelijk conceptueel begrip. Dit maakt de verklaringen van het model onbetrouwbaar, aangezien de tussenliggende symbolen mogelijk niet representeren wat ze beweren te representeren.

2. Methodologie

2.1 Het Meten van Misalignement

De auteurs stellen een reeks diagnostische instrumenten voor om de betrouwbaarheid van symbooldetectie te beoordelen, waarbij zij verder gaan dan standaard nauwkeurigheidsmetrieken:

• Globale Symboolbetrouwbaarheid (Swap Test): De auteurs trainen meerdere CBMs onafhankelijk van elkaar. Vervolgens wisselen ze de conceptdetector van het ene model uit met de classificatiekop van een ander model.
  • Als het gewisselde model een hoge nauwkeurigheid behoudt, delen de conceptdetector en de kop een robuuste, invariante symbolische representatie.
  • Een significante daling in nauwkeurigheid ("swap drop") geeft aan dat de detector en de kop co-adaptatie hebben vertoond voor spuria virtuele encodings die specifiek zijn voor hun oorspronkelijke koppeling.
• Symbool Uitwisselbaarheid: Om te testen of het model vertrouwt op de identiteit van concepten of enkel op de hoeveelheid geactiveerde concepten, gebruiken de auteurs twee nulverdelingen:
  • Concept-dimensie permutatie: Het willekeurig husselen van conceptlabels voordat ze naar de kop worden gevoerd.
  • Binnen-concept sample-shuffle: Het permuteren van conceptwaarden over samples heen.
  • Als de nauwkeurigheid hoog blijft onder deze permutaties, zijn de symbolen niet onderscheidbaar als afzonderlijke concepten, wat duidt op onbetrouwbare detectie.
• Individuele Voorspellingsbetrouwbaarheid: Gebruikmakend van een ensemble van onafhankelijk getrainde detectoren, deconstrueren de auteurs de voorspellingsonzekerheid in aleatorische (data-ruis) en epistemische (model-discrepantie) componenten. Ze schrijven labelonzekerheid toe aan specifieke symbolen door individuele conceptvoorspellingen vast te zetten op het ensemble-consensus en de reductie in labelonzekerheid te meten.

2.2 Voorgestelde Oplossing: Betrouwbaarheidsbewuste Training

Om informatielekkage te mitigeren, stelt het artikel een trainingsstrategie voor die co-adaptatie tussen de detector en de kop vermindert:

1. Multi-Head Training: In plaats van één detector met één kop te trainen, wordt een gedeelde conceptdetector $g_\theta$ getraind tegen een ensemble van $R$ onafhankelijk geïnitialiseerde classificatiekoppen $\{f^{(r)}_{\phi_r}\}$.
   • De objectieffunctie middelt de classificatieverlies over alle koppen.
   • Concept Dropout: Om te voorkomen dat de koppen convergeren naar dezelfde oplossing (wat het ensemble-effect teniet zou doen), krijgt elke kop conceptactivaties toegewezen die gemaskeerd zijn door een onafhankelijke willekeurige dropout-masker. Dit dwingt de detector om representaties te leren die robuust zijn tegen ontbrekende informatie en niet afhankelijk zijn van enkele shortcuts.
2. Betrouwbaarheidsbewuste Regularisatie:
   • Een globale betrouwbaarheidsscore $r_k$ wordt voor elk concept berekend op basis van de detectienauwkeurigheid op een validatieset.
   • Instantie-niveau epistemische onzekerheid $U_{epi}(x_i, k)$ wordt geschat voor elk symbool.
   • Een onbetrouwbaarheidsgewicht $\omega_{ik}$ wordt berekend door de globale betrouwbaarheid en de instantie-niveau onzekerheid te combineren.
   • Er wordt een strafterm toegevoegd aan de verliesfunctie die de classifier ontmoedigt om te vertrouwen op concepten met een lage globale betrouwbaarheid of een hoge onzekerheid op instantieniveau.

3. Belangrijkste Resultaten

3.1 CUB-200-2011 Dataset (Volledige Supervisie)

Op de vogelsoort-classificatietaak met volledige concept-supervisie ($\lambda=1$):

• Hoge Uitwisselbaarheid: Detectoren en koppen zijn bijna vrij uitwisselbaar. De swap drop is minimaal (onder de 1 punt nauwkeurigheid), en de relatieve retentie ligt boven de 99%.
• Robuustheid: Geen concepten werden gedetecteerd onder het niveau van toeval, en koppen getraind op één seed vertoonden bijna verliesloze transfer naar detectoren van andere seeds.
• Onzekerheid: De symbool-niveau epistemische onzekerheid was laag, maar de label-niveau onzekerheid was aanzienlijk hoger, wat aangeeft dat kleine discrepanties over vele concepten zich opstapelen bij de classificatiekop.

3.2 Synthetische Dataset (Gecontroleerde Lekkage)

Op een synthetische gekleurde-vorm dataset varieerden de auteurs de concept-supervisie gewicht $\lambda$ om lekkage te simuleren:

• Lekkage Fenomeen: Naarmate $\lambda$ afnam (verzwakking van de concept-supervisie), bleef de gematchte nauwkeurigheid bijna perfect (~100%), maar de geswapted nauwkeurigheid stortte in naar toevalsniveaus (20–30%). De overeenstemming tussen gedetecteerde concepten en de grondwaarheid daalde naar ~50%.
• Mitigatie: De voorgestelde multi-head en betrouwbaarheidsbewuste strategieën beperkten deze lekkage aanzienlijk. Bij een lage $\lambda$ (0.1), verdubbelden deze methoden de swap-nauwkeurigheid ruimschoots (van ~26% naar ~50%) vergeleken met standaard gezamenlijke training, wat bevestigt dat de detector robuustere, minder kop-specifieke representaties leerde.

3.3 Diagnostische Bevindingen

• Spuria Virtuele Activering: In het regime van gezamenlijke training vertoonden specifieke concepten (bijv. beenkleur) een hoge mate van disovereenstemming tussen de ensemble-detectoren. Deze disovereenstemming was direct gekoppeld aan voorspellingsfouten; het vastzetten van het betwiste symbool naar het consensusniveau corrigeerde vaak de misclassificatie.
• Null Tests: Koppen getraind op standaard gezamenlijke CBMs stortten in tot nabij de toevalsnauwkeurigheid wanneer de conceptidentiteiten werden gepermuteerd, wat bevestigt dat de modellen echt vertrouwden op de specifieke conceptdetectie in plaats op incidentele correlaties.

4. Betekenis en Claims

Het artikel beweert een rigoureus kader te bieden voor het stress-testen van de betrouwbaarheid van CBMs, waarbij zij verder gaan dan de aanname dat een hoge nauwkeurigheid een getrouwe verklaring impliceert.

• Validatie van Lekkage: De auteurs demonstreren dat hoge taaknauwkeurigheid kan samengaan met symbolen die "niet langer betekenen wat ze beweren te zijn", met name wanneer de concept-supervisie zwak is of wanneer gezamenlijke training shortcuts aanmoedigt.
• Praktische Mitigatie: De voorgestelde multi-head training met concept dropout en betrouwbaarheidsbewuste regularisatie biedt een praktische methode om informatielekkage te verminderen zonder de taakprestaties significant op te offeren.
• Diagnostische Nut: De swap test en de decompositie van onzekerheid bieden actiegerichte diagnostiek om te identificeren welke specifieke concepten gevoelig zijn voor spuria virtuele activering, wat gerichte interventie mogelijk maakt.

De auteurs concluderen dat hoewel hun betrouwbaarheidsbewuste training lekkage mitigeert, dit gepaard gaat met een trade-off, waarbij de algehele nauwkeurigheid soms iets afneemt. Het harmoniseren van hoge prestaties met strikte betrouwbaarheid blijft een open uitdaging voor toekomstig onderzoek. Het artikel claimt niet alle XAI-problemen op te lossen, maar richt zich specifiek op de getrouwheid van de tussenliggende symbolische laag in CBMs.