Technische Samenvatting: Wanneer Interpretatiebaarheid een Last Wordt: Adversariale Aanvallen op Conceptlagen van CBM

1. Probleemstelling

Concept Bottleneck Models (CBM's) zijn naar voren gekomen als een leidende aanpak voor interpreteerbare machine learning door voorspellingen te ontleden in twee fasen: het afbeelden van invoer naar menselijk interpreteerbare concepten ($f: X \to C$) en het afbeelden van concepten naar labels ($g: C \to Y$). Hoewel deze architectuur transparantie biedt, identificeert dit artikel een kritieke, eerder onontdekte beveiligingskwetsbaarheid: de concept bottleneck-laag zelf.

In tegenstelling tot traditionele adversariale aanvallen die vertrouwen op onwaarneembare ruis op pixelniveau, toont dit werk aan dat CBM's vatbaar zijn voor adversariale aanvallen op conceptniveau. Een aanvaller kan de semantische representaties (conceptactivaties) manipuleren om catastrofale verkeerde classificaties te veroorzaken. Bijvoorbeeld, in een vogelclassificatiesysteem kan een aanvaller het concept "gebochte snavel" omzetten naar "rechte snavel" om een havik verkeerd te classificeren als een kraanvogel. In hoog-risicodomeinen zoals medische beeldvorming kan het onderdrukken van besluit-kritieke concepten (bijvoorbeeld "onregelmatige rand") ertoe leiden dat een kwaadaardige laesie verkeerd wordt geclassificeerd als goedaardig. Deze aanvallen zijn uniek omdat ze opereren op semantisch betekenisvolle attributen, waardoor ze potentieel makkelijker te creëren zijn met domeinkennis en moeilijker te detecteren dan pixellruis.

2. Methodologie

2.1. Theoretisch Kader en Aanvalsoppervlak

De auteurs formaliseren de CBM als $F(x) = g_\phi(f_\theta(x))$, waarbij $f_\theta$ invoer afbeeldt op conceptactivaties en $g_\phi$ doorgaans een lineaire classifier is. Het aanvalsoppervlak wordt gedefinieerd als de laag-dimensionale, interpreteerbare conceptruimte.

• Relatie Invoer-Concept: Het artikel stelt een theoretische ondergrens vast die bewijst dat het verhogen van de minimale verstoring die vereist is in de conceptruimte, direct vertaalt naar een toename van de minimale verstoring die vereist is in de invoer-pixelruimte (via Lipschitz-continuïteit). Dit valideert dat het verdedigen van de conceptlaag echte beveiliging op invoerniveau biedt.
• Optimaal Aanvalsalgoritme: De auteurs leiden een gesloten-formule oplossing af voor de minimale verstoring $\delta$ die vereist is om een voorspelling om te draaien van een ware klasse $y^*$ naar een doelklasse $t$. Voor een lineaire classifier wordt dit geformuleerd als een beperkt kwadratisch programma. De oplossing maakt gebruik van de Moore-Penrose pseudoinvers om alle klassengrenzen gelijktijdig te voldoen, waardoor een efficiënte methode wordt geboden om de "minimale norm"-aanval te berekenen.

2.2. Kwantificering van Robuustheid

Om kwetsbaarheid te meten, introduceert het artikel:

• Aanvalbaarheidsscore ($A$): Het omgekeerde van de norm van de minimale verstoring ($\rho$). Een hoge score geeft aan dat een steekproef dicht bij een beslissingsgrens ligt en gemakkelijk verkeerd wordt geclassificeerd.
• Relatieve Verstoringnorm: De grootte van de verstoring die vereist is om te slagen, dienend als proxy voor de computerkosten van een aanval.

2.3. Verdedigingsmechanisme: SPECTRA

Om deze kwetsbaarheden te mitigeren, stelt het artikel SPECTRA voor (Semantic Perturbation-based Concept Training for Robustness against Attacks).

• Stabiliteitsregularisatie: SPECTRA introduceert een stabiliteitsverliesterm ($L_{stability}$) tijdens het trainen die kleine normen van minimale verstoring straft. Het verlies wordt gedefinieerd als $-\log(1 + \|\delta_{min}\|_2^2)$.
• Trainingsdoel: Het totale verlies combineert de nauwkeurigheid van conceptvoorspelling, classificatienauwkeurigheid en de stabiliteitsterm: $L_{total} = \lambda_c L_{concept} + \lambda_y L_{class} + \lambda_s L_{stability}$.
• Mechanisme: Door de marge in de conceptruimte te maximaliseren, dwingt SPECTRA het model om representaties te leren waarbij kleine semantische veranderingen de classificatie niet veranderen, waardoor de conceptruimte effectief wordt "gehard".

3. Experimentele Opstelling

• Dataset: CUB-200-2011 (fijnkorrelige vogelclassificatie), gebruikmakend van een subset van 15 soorten en 312 binaire visuele attributen.
• Architectuur: ResNet-18 backbone voor kenmerkenextractie, gevolgd door een lineaire conceptpredictor en een lineaire classifier.
• Evaluatie: De studie doorloopt de stabiliteitsregularisatieparameter ($\lambda_s$) om de afweging tussen classificatienauwkeurigheid en robuustheid te analyseren.

4. Belangrijkste Resultaten

4.1. Kwetsbaarheid van Standaard CBM's

Basis CBM's ($\lambda_s = 0$) vertonen ernstige vatbaarheid voor aanvallen op conceptniveau, met een aanvalbaarheidsscore van 2,196 en een minimale relatieve verstoringnorm van slechts 0,46. Dit geeft aan dat standaardmodellen met minimale moeite gemakkelijk gemanipuleerd kunnen worden.

4.2. Faseovergang in Robuustheid

De meest significante bevinding is een faseovergang in modelrobuustheid als functie van de regularisatiesterkte $\lambda_s$:

• Kwetsbaar Regime ($\lambda_s < 0,08$): Modellen blijven zeer kwetsbaar met hoge aanvalbaarheidsscores.
• Kritieke Drempel ($\lambda_s \approx 0,083$): Op dit precieze punt ondergaat het model een abrupte verschuiving. De aanvalbaarheidsscore daalt met 86% (van 0,507 naar 0,070), en de relatieve verstoringnorm springt van 1,97 naar 14,30.
• Robuust Regime ($\lambda_s > 0,083$): Naarmate $\lambda_s$ verder toeneemt, groeien de kosten van een succesvolle aanval exponentieel. Bij $\lambda_s = 0,092$ overschrijdt de verstoringnorm 4.000, en bij $\lambda_s = 0,30$ overschrijdt deze 49 miljoen, waardoor gerichte conceptmanipulatie computergewijs onbetaalbaar wordt.

4.3. Nauwkeurigheid en Sparsiteit

• Behoud van Nauwkeurigheid: Het optimale operationele punt ($\lambda_s = 0,083$) behoudt een classificatienauwkeurigheid van 70,2%, wat een minimaal verlies vertegenwoordigt ten opzichte van de basislijn (72,2%). Zelfs bij hogere regularisatiesterktes waar robuustheid maximaal is, is de degradatie van nauwkeurigheid beperkt (bijvoorbeeld 60,2% bij $\lambda_s=0,092$).
• Sparsiteit: Stabiliteitsregularisatie bevordert sparser conceptrepresentaties, waardoor het verlies aan sparsiteit met 99% wordt verminderd (van 0,9457 naar 0,0084) bij maximale regularisatie, wat aangeeft dat het model voor besluitvorming vertrouwen stelt op minder, meer essentiële concepten.

5. Betekenis en Claims

Het artikel claimt adversariale robuustheid op conceptniveau te vestigen als een kritieke overweging voor de praktische implementatie van CBM's. De primaire bijdragen zijn:

1. Nieuw Bedreigingsmodel: Het identificeert en karakteriseert een distinct bedreigingsmodel waarbij aanvaller semantische tussenrepresentaties manipuleren in plaats van alleen invoerpixels.
2. Systematisch Kader: Het biedt het eerste theoretische kader en algoritmen voor het genereren van verstoringen in de conceptruimte met minimale norm.
3. Effectieve Verdediging: Het toont aan dat gerichte stabiliteitsregularisatie (SPECTRA) een zeer kwetsbare architectuur kan transformeren in een robuuste met minimaal impact op prestaties.
4. Praktische Richtlijnen: Het identificeert een kritieke hyperparameterdrempel ($\lambda_s \approx 0,083$) die dient als een "sweet spot" voor implementatie, waarbij aanzienlijke beveiligingswinst wordt geboden met acceptabele afwegingen in nauwkeurigheid.

De auteurs concluderen dat terwijl interpretatiebaarheid in CBM's nieuwe kwetsbaarheden introduceert, deze systematisch kunnen worden gemitigeerd door principiële regularisatie, waardoor een nieuw onderzoeksfront wordt geopend op het snijvlak van interpreteerbare machine learning en adversariale robuustheid.