Technische Samenvatting: Over de Getrouwheid van Post-Hoc Concept Bottleneck Modellen

Probleemstelling

Post-hoc Concept Bottleneck Modellen (post-hoc CBM's) beogen de kloof tussen opake diepe leerrepresentaties en menselijk begrip te overbruggen door latente kenmerken te projecteren op interpreteerbare conceptruimtes. In tegenstelling tot standaard CBM's vereisen post-hoc varianten geen dichte conceptannotaties voor de doeltaak; in plaats daarvan vertrouwen ze op (1) hulp-conceptdatasets (bijv. Broden) of (2) surrogaat-conceptlabels gegenereerd door Vision-Language Modellen (VLM's).

Het centrale probleem dat wordt aangepakt, is dat huidige evaluatiepraktijken zwaar leunen op de nauwkeurigheid van de downstream-taak om het succes van deze modellen te beoordelen. De auteurs stellen dat een hoge nauwkeurigheid een onvoldoende metriek is voor conceptgetrouwheid (concept faithfulness)—de mate waarin de geleerde projectie $\pi_\theta$ daadwerkelijk de beoogde semantische concepten extraheert. Empirisch bewijs suggereert dat willekeurige, semantisch betekenisloze projecties een concurrerende downstream-nauwkeurigheid kunnen bereiken vanwege eigenschappen van informatiebehoud (gerelateerd aan de Johnson-Lindenstrauss-lemma), waardoor wordt verhuld of het model werkelijk redeneert via concepten of slechts voorspellende artefacten exploiteert.

Methodologie

Theoretisch Kader

Het artikel formaliseert getrouwheid als het minimaliseren van het verwachte risico over de ware taakverdeling $P_{task}(x, c)$, waarbij de projectie $\pi_\theta$ de grondwaarheid-concepten $c$ herstelt uit activaties $f(x)$. De auteurs identificeren twee primaire bronnen van ongetrouwheid:

1. Covariabele Shift in Hulp-datasets: Wanneer $\pi_\theta$ wordt getraind op een hulp-dataset $X_{aux}$ die verschilt van de doeltaak $X_{task}$, kan een geometrische verschuiving in de featureruimte de projectie ongeldig maken. De auteurs leiden een bovengrens af voor de generalisatiefout van de doeltaak op basis van domeenadaptatietheorie [8]:
   $$J_{task}(\theta; L_1) \leq J_{aux}(\theta; L_1) + \frac{1}{2}\hat{d}_{\mathcal{H}\Delta\mathcal{H}}(\mathbb{X}_{task}, \mathbb{X}_{aux}) + \Omega + \lambda_{ideal}$$
   Zij stellen voor om de empirische $\mathcal{H}\Delta\mathcal{H}$-divergentie (benaderd via een domein-discriminator) te gebruiken als een praktische metriek voor getrouwheid, uitgaande van een covariabele shift (waarbij $P(c|x)$ constant blijft maar $P(x)$ verandert).

2. Systematische Labelruis in Surrogaat-supervisie: Wanneer VLM's worden gebruikt om surrogaatlabels $\tilde{c}$ te genereren, ontstaat ongetrouwheid niet enkel door de omvang van fouten, maar door systematische fouten. Door de projectie te modelleren als een Multivariate Generalized Linear Model (GLM), tonen de auteurs aan dat de gradiënt van de ware doelfunctie bij het surrogaatoptimum proportioneel is aan het buitenproduct van de surrogaatfout $\delta(x) = \tilde{c}(x) - c^*(x)$ en de backbone-activaties $f(x)$.

   • Getrouwheidsvoorwaarde: Het model blijft getrouw als de surrogaatfouten ofwel accuraat zijn ($\delta \approx 0$) of orthogonaal zijn aan de activatieruimte in verwachting ($\mathbb{E}[\delta(x) \otimes f(x)] = 0$).
   • Foutmodus: Systematische fouten (bijv. een VLM die consequent "lucht" voorspelt wanneer "wolken" aanwezig zijn) creëren niet-orthogonale foutcomponenten, wat leidt tot ongetrouwe projecties, zelfs als de surrogaatlabels gemiddeld genomen accuraat lijken.

Voorgestelde Metrieken

Om getrouwheid te ontkoppelen van voorspellende nauwkeurigheid, introduceren de auteurs:

• $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$ Divergentie: Een proxy voor de fout geïntroduceerd door covariabele shifts bij gebruik van hulp-datasets.
• Surrogaatfout-orthogonaliteit: De absolute Pearson-correlatie $|\rho|$ tussen de surrogaatlabelfouten en de backbone-activaties. Een hoge correlatie duidt op systematisch falen.

Experimentele Opzet

De auteurs valideren deze bevindingen op:

• Real-world Benchmarks: CUB-200 (vogels) en CIFAR-10/100.
• Synthetische Dataset: Elements [48], die grondwaarheid-conceptannotaties (vorm, kleur, textuur) biedt om uitlijning direct te meten.
• Modellen: Diverse post-hoc CBM-implementaties inclusief PCBM (hulp-data), LFCBM (VLM tekst-embeddings) en VLG-CBM (gegronde objectdetectie).

Belangrijkste Resultaten

1. Nauwkeurigheid is Misleidend: Experimenten bevestigen dat willekeurige conceptprojecties een downstream-nauwkeurigheid kunnen bereiken die vergelijkbaar is met modellen die getraind zijn op betekenisvolle conceptbronnen (bijv. Broden, CLIP). Naarmate de bottleneck-dimensie $K$ toeneemt, bewaren willekeurige projecties voldoende geometrische informatie om de downstream-classifier in staat te stellen de oorspronkelijke activaties te reconstrueren, waardoor nauwkeurigheid een onbetrouwbare proxy wordt voor semantische uitlijning.
2. Impact van Covariabele Shift: Modellen getraind op out-of-distribution hulp-data (bijv. abstracte patronen) vertonen een significant lagere conceptgetrouwheid (gemeten als cosinus-gelijkenis met de grondwaarheid) vergeleken met in-domain training, ondanks het behouden van een hoge downstream-nauwkeurigheid. De voorgestelde $\hat{d}_{\mathcal{H}\Delta\mathcal{H}}$-metriek correleert sterk met deze daling in getrouwheid.
3. Systematische vs. Willekeurige Ruis:
   • Willekeurige Ruis: Het toevoegen van 25% willekeurige labelruis aan grondwaarheid-data resulteert in getrouwe projecties omdat de fouten middelen (orthogonaliteit houdt stand).
   • Systematische Ruis: VLM's (CLIP, DINOv3, Grounding DINO) introduceren systematische fouten die gecorreleerd zijn met specifieke kenmerken. Bijvoorbeeld: Grounding DINO heeft moeite met geometrische vormen op een witte achtergrond, wat gecorreleerde fouten creëert die leiden tot ongetrouwe projecties. De voorgestelde correlatiemetriek identificeert deze fouten succesvol waar standaard nauwkeurigheidsmetrieken falen.

Betekenis en Claims

Het artikel claimt het eerste rigoureuze theoretische en empirische kader te bieden voor het evalueren van de getrouwheid van post-hoc CBM's, onafhankelijk van de voorspellende prestaties.

• Theoretische Bijdrage: Het formaliseert de condities waaronder willekeurige projecties semantisch redeneren kunnen nabootsen (via de manifold Johnson-Lindenstrauss-lemma) en leidt de specifieke condities af (fout-orthogonaliteit) waaronder surrogaat-supervisie faalt.
• Praktische Bijdrage: Het introduceert nieuwe metrieken waarmee beoefenaars ongetrouwe gedragingen kunnen detecteren—specifiek covariabele shifts en systematische VLM-biases—die onzichtbaar zijn voor standaard nauwkeurigheid-gebaseerde evaluatie.
• Implicatie: De auteurs stellen dat het uitsluitend vertrouwen op downstream-nauwkeurigheid een "illusie" van interpreteerbaarheid creëert. Echte interpreteerbaarheid vereist directe inspectie van de conceptprojectie $\pi_\theta$ om te waarborgen dat deze uitlijnt met menselijke semantiek, hetgeen het gebruik van de voorgestelde getrouwheidsmetrieken noodzakelijk maakt.

Het werk stelt geen nieuwe trainingsalgoritmen voor, maar dient eerder als een kritisch evaluatiekader om te waarborgen dat de "bottleneck" in Concept Bottleneck Modellen werkelijk een bottleneck is van menselijk begrijpelijke concepten, en niet een gecomprimeerde representatie van ruwe kenmerken.