Technisch overzicht: In verdediging van informatielek in conceptgebaseerde modellen

Probleemstelling

Conceptgebaseerde modellen (CM's) zijn diepe neurale netwerken die ontworpen zijn om voorspellingen te funderen in menselijk begrijpelijke concepten (bijv. "strepen", "vleugels"). Een heersend narratief in het vakgebied stelt dat informatielek — waarbij conceptrepresentaties informatie coderen die niet strikt toe te schrijven is aan hun beoogde semantiek — inherent onwenselijk is. Dit lek wordt doorgaans gecategoriseerd als inter-concept lek (een conceptrepresentatie codeert informatie over andere concepten) en taaklek (een conceptrepresentatie codeert informatie over de downstream taaklabel $Y$).

De conventionele visie stelt dat lekken de interveneerbaarheid (het vermogen om voorspellingen te corrigeren door concept-inputs aan te passen) en de interpreteerbaarheid (het vermogen om de redenering van een model uitsluitend op basis van concepten te reconstrueren) ondermijnt. Als gevolg hiervan heeft recent onderzoek zich gericht op het elimineren van lekken door middel van architecturale beperkingen of regularisatie.

De auteurs stellen echter dat deze strikte visie slecht geformuleerd en contraproductief is, met name in reële scenario's waar concept-onvolledigheid de norm is. In dergelijke scenario's slaagt de set beschikbare trainingsconcepten $C$ er vaak niet in om de downstream taak $Y$ volledig te beschrijven (i.e., $I(Y; X | C) \neq 0$). De auteurs stellen dat het afdwingen van strikt niet-lekende representaties in dergelijke incomplete settings de hoge taakaccuratesse in de weg staat, wat CM's onpraktisch maakt.

Methodologie

1. Formalisering van Benigne Lek

Het artikel introduceert het concept van Benigne Lek, gedefinieerd als een specifieke vorm van lek die noodzakelijk en wenselijk is voor accurate CM's in incomplete settings. Een representatie $\hat{C}$ vertoont benigne lek als deze voldoet aan twee voorwaarden:

• Voldoendeheid (Sufficiency): De representatie behoudt alle label-relevante informatie die niet door de grondwaarheid-concepten $C$ wordt gevangen. Formeel, $I(Y; R | C) \approx I(Y; X | C)$, waarbij $R$ een residu-component van de representatie is.
• Lokalisatie (Localization): De informatie over een specifiek concept $C_i$ die nuttig is voor het voorspellen van $Y$, is gelokaliseerd binnen een specifieke component $\bar{C}_i$ van de representatie. Formeel, $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$.

Deze decompositie stelt een model in staat om lek te exploiteren voor accuratesse (via $R$) terwijl de interveneerbaarheid behouden blijft (via $\bar{C}_i$).

2. Optimalisatie via $L_{int}$

Om dit benigne lek te bereiken, stellen de auteurs een nieuwe optimalisatie-doelstelling voor, $L_{int}$ (Interventie-loss). Deze loss minimaliseert de taak-loss wanneer alle concepten worden geïntervenieerd (d.w.z. tijdens de training worden gedwongen naar hun grondwaarheidswaarden):
$$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$$

Het artikel betoogt dat het minimaliseren van $L_{int}$ impliciet voldoendeheid stimuleert. Onder de aanname dat de label-voorspeller goed gespecificeerd is, is het minimaliseren van de negatieve log-likelihood onder volledige interventie gelijk aan het maximaliseren van de wederzijdse informatie tussen de residu-representatie en de taaklabel, gegeven de concepten.

Verder hypothetiseren de auteurs dat, vanwege de simpliciteitsbias van Deep Neural Networks (SGD geeft de voorkeur aan simpelere hypothesen), het minimaliseren van $L_{int}$ ook impliciet lokalisatie stimuleert. Een simpelere hypothese voor het model is een waarbij de label-voorspeller leert te vertrouwen op de concept-gealigneerde componenten voor concept-specifieke redenering, in plaats van concept-informatie opnieuw te coderen in de residu-lek.

3. Experimentele Opzet

De auteurs evalueren hun claims met behulp van de CUB-200 dataset (vogels), waarbij zij specifiek een incomplete versie (CUB-Incomplete) hebben geconstrueerd door concept-annotaties te subsamplen naar 22 concepten (7 groepen) uit de originele 112. Zij testen verschillende architecturen, waaronder:

• Independent/Sequential/Joint CBM's: Standaard baselines met variërende graden van lek.
• Hybrid CBM's: Modellen met bypass-kanalen (residu-verbindingen) die expliciet lek toestaan.
• Concept Embedding Models (CEM's) & ProbCBM's: Modellen die gebruikmaken van dynamische embeddings.
• Black Box Baselines: DNN's zonder concept-alignment loss.

Belangrijke metrieken zijn Taakgetrouwheid (accuracy), Conceptgetrouwheid (accuracy van concept-voorspellingen) en Interveneerbaarheid (prestatieverbetering wanneer grondwaarheid-concepten worden verstrekt tijdens de testfase).

Belangrijkste Resultaten

1. Lek vernietigt Interveneerbaarheid niet noodzakelijkerwijs

In tegenstelling tot het heersende narratief, demonstreren de auteurs dat lekkende modellen nog steeds zeer interveneerbaar kunnen blijven in incomplete settings, mits ze correct geconditioneerd zijn.

• Zonder $L_{int}$: Veel lekkende modellen (bijv. Joint Logit CBM's, Hybrid CBM's met grote bypasses) worden oninterveneerbaar in incomplete settings; hun accuratesse verbetert niet (of neemt af) wanneer concepten worden gecorrigeerd.
• Met $L_{int}$: Wanneer dezezelfde lekkende modellen worden getraind met de $L_{int}$ regularisator, herwinnen ze een hoge interveneerbaarheid. Bijvoorbeeld, grote Hybrid CBM's (met 500 residu-neuronen) worden even interveneerbaar als niet-lekende Independent CBM's, terwijl ze een aanzienlijk hogere taak-accuratesse behouden.

2. Benigne Lek verbetert Accuratesse zonder de Interpreteerbaarheid op te offeren

• Accuratesse: In incomplete settings bereiken modellen getraind met $L_{int}$ een aanzienlijk hogere taakgetrouwheid dan niet-lekende baselines (bijv. Independent CBM's), die gedwongen worden om enkel te vertrouwen op de incomplete concept-set.
• Interpreteerbaarheid: Gebruikmakend van proxy-metrieken (concept ROC-AUC en analyse van de gewichten van de label-voorspeller), tonen de auteurs aan dat goed geconditioneerde lekkende modellen (zoals Hybrid CBM's met $L_{int}$) een concept-naar-taak gewichtsstructuur vertonen die statistisch ononderscheidbaar is van niet-lekende modellen. De top-concepten die door lekkende modellen worden gebruikt om klassen te voorspellen, komen nauw overeen met de concepten die door niet-lekende modellen worden gebruikt, wat suggereert dat lek de redeneerprocedure van het model niet op een manier vertroebelt die standaard metrieken detecteren.

3. De Rol van Onvolledigheid

Experimenten op complete datasets tonen aan dat lekkende modellen vaak interveneerbaar zijn zelfs zonder $L_{int}$. Echter, in incomplete settings leidt de afwezigheid van $L_{int}$ tot oninterveneerbaar gedrag in lekkende modellen. Dit bevestigt dat de "schade" van lek contextafhankelijk is en specifiek voortkomt wanneer het model faalt om een voldoende representatie van de ontbrekende taak-relevante informatie te leren.

Betekenis en Claims

Het artikel claimt het paradigma met betrekking tot informatielek in CM's te verschuiven van een fenomeen dat geëlimineerd moet worden naar een fenomeen dat gecontroleerd en geëxploiteerd moet worden.

1. Reframing van het Narratief: De auteurs stellen dat de strikte visie op lek als "oninterpreteerbaar" slecht geformuleerd is omdat deze de praktische noodzaak van lek in incomplete reële scenario's negeert. Zij betogen dat het elimineren van lek in dergelijke settings een trade-off afdwingt waarbij accuratesse wordt opgeofferd voor een theoretische zuiverheid die geen praktisch voordeel biedt.
2. Praktische Noodzaak: Het artikel stelt dat benigne lek noodzakelijk is voor het construeren van CM's die zowel accuraat als interveneerbaar zijn wanneer de concept-sets incompleet zijn. Zonder het model toe te staan $I(Y; X | C)$ via lek te vangen, kunnen CM's hun primaire functie van accurate voorspelling niet uitvoeren.
3. Methodologische Bijdrage: De introductie van $L_{int}$ biedt een eenvoudige, architectuur-agnostische regularisator die "benigne lek" mogelijk maakt. Het herstelt diverse bestaande mechanismen (zoals stochastische interventie in CEM's) als speciale gevallen en biedt een verenigde aanpak voor het trainen van robuuste CM's.
4. Oproep tot Actie: De auteurs roepen de gemeenschap op om te stoppen met brede claims dat lek de interpreteerbaarheid vernietigt zonder falsifieerbare criteria. In plaats daarvan dringen zij aan op:
   • Het evalueren van CM's in incomplete settings.
   • Het focussen op het controleren van lek (lokalisatie en voldoendeheid) in plaats van het elimineren ervan.
   • Het scheiden van CM-specifieke fenomenen van algemene deep learning falingsmodi zoals shortcut learning.

Concluderend stellen de auteurs dat "lek" niet inherent kwaadaardig is; eerder is het ongecontroleerde lek het probleem. Door te optimaliseren voor voldoendeheid en lokalisatie via $L_{int}$, is het mogelijk om CM's te bouwen die lek gebruiken om een hoge accuratesse te bereiken in incomplete settings, terwijl de kerneigenschappen van interpreteerbaarheid en interveneerbaarheid behouden blijven.