🤖 machine learning

Clarity: The Flexibility-Interpretability Trade-Off in Sparsity-aware Concept Bottleneck Models

Dit artikel introduceert "Clarity", een nieuwe metriek en evaluatiekader dat een kritieke afweging tussen flexibiliteit en interpreteerbaarheid blootlegt in sparsity-aware Concept Bottleneck Models, en aantoont dat deze metriek aanzienlijk beter aansluit bij menselijk vertrouwen dan standaard prestatie-indicatoren.

Oorspronkelijke auteurs: Konstantinos P. Panousis, Diego Marcos

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Konstantinos P. Panousis, Diego Marcos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een briljante maar mysterieuze chef bepaalt welk gerecht hij je serveert. Je wilt weten waarom hij de ingrediënten heeft gekozen, niet alleen dat het eten lekker smaakt.

Dit artikel gaat over een nieuwe manier om te meten hoe goed we deze "digitale chefs" (AI-modellen) kunnen begrijpen wanneer ze transparant proberen te zijn. De auteurs noemen hun nieuwe meetlat "Klaarheid" (Clarity).

Hier is de uiteenzetting van hun ontdekking met behulp van eenvoudige analogieën:

1. Het Probleem: De "Black Box"-chef

Deep learning-modellen zijn als super-getalenteerde chefs die prachtige maaltijden kunnen bereiden (accurate voorspellingen doen), maar die meestal werken in een afgesloten keuken (een "black box"). We zien de invoer (ingrediënten) en de uitvoer (het gerecht), maar we weten niet welke stappen ze er tussen hebben genomen.

Om dit op te lossen, hebben onderzoekers Concept Bottleneck Models (CBM's) ontwikkeld. Denk hierbij aan het dwingen van de chef om een lijst van de gebruikte ingrediënten op te schrijven voordat hij het eindgerecht bereidt.

Het Doel: De lijst moet kort (spaarzaam) en accuraat (precies) zijn, zodat mensen het kunnen lezen en zeggen: "Ah, ik zie waarom ze dit gerecht hebben gemaakt!"
De Valstrik: Soms bedriegt de chef. Hij kan een lijst opschrijven die kort en simpel lijkt, maar de ingrediënten die hij daadwerkelijk heeft gebruikt om het gerecht te bereiden, waren dan volledig anders of onzin. Hij krijgt de juiste smaak (hoge nauwkeurigheid), maar om de verkeerde redenen.

2. De Valstrik: "Flexibiliteit" versus "Interpreteerbaarheid"

De auteurs ontdekten een lastige afweging die ze de Flexibiliteit-Interpreteerbaarheid Afweging noemen.

Flexibiliteit: Het model is slim genoeg om elk patroon te vinden dat leidt tot het juiste antwoord, zelfs als dat patroon voor een mens geen zin heeft.
Interpreteerbaarheid: Het model houdt zich aan patronen die mensen daadwerkelijk begrijpen.

De Analogie: Stel je een student voor die een wiskundetoets maakt.

De Eerlijke Student (Hoge Klaarheid): Lost het probleem op met het juiste formule en schrijft de juiste stappen op.
De Flexibele Bedrieger (Lage Klaarheid): De student weet dat het antwoord "42" is. In plaats van te rekenen, kijkt hij naar het toetsvel, ziet een vlek inkt die eruitziet als een "4", en een kras die eruitziet als een "2", en raadt "42". Hij haalt de juiste score (100% nauwkeurigheid), maar zijn "uitleg" (de vlek) is onzin.

Het artikel toont aan dat veel huidige AI-modellen zich gedragen als de bedrieger. Ze zijn zo flexibel dat ze "vlekken" (verkeerde concepten) vinden om het juiste antwoord te krijgen, waardoor ze slim lijken maar eigenlijk onbetrouwbaar zijn.

3. De Oplossing: De "Klaarheid"-metriek

De auteurs hebben een nieuwe score bedacht genaamd Klaarheid om deze bedriegers op te sporen. Het is niet zomaar één getal; het is een drie-delige test, als een recept voor een perfecte uitleg:

Spaarzaamheid (De "Korte Lijst"): Het model mag niet 1.000 ingrediënten opschrijven. Het moet een paar belangrijke kiezen. (Zoals een chef die zegt "Zout, Peper en Knoflook" in plaats van elk molecuul in de lucht op te sommen).
Precisie (De "Waarheid"): De opgeschreven ingrediënten moeten er daadwerkelijk zijn. Als het model zegt "Knoflook" maar er is geen knoflook, daalt de score.
Nauwkeurigheid (De "Smaak"): Het eindgerecht moet nog steeds lekker smaken. Als de uitleg perfect is maar het eten verbrand, maakt het niet uit.

Hoe het werkt: De auteurs gebruiken een wiskundige regel (een "harmonisch gemiddelde") die fungeert als een zwakke-schakelketting.

Als je model 99% nauwkeurig en 99% spaarzaam is, maar 0% precies (het liegt over de ingrediënten), is je Klaarheidsscore nul.
Je kunt een leugen niet "goedmaken" met hoge nauwkeurigheid. De score dwingt het model om eerlijk te zijn in alle drie de gebieden tegelijk.

4. Wat Ze Vonden

De onderzoekers testten dit op afbeeldingen van vogels en landschappen met twee soorten AI:

Het "Leraar"-model: Specifiek getraind om vogelkenmerken te herkennen (zoals "rode snavel").
Het "Generalist"-model (VLM): Een enorm, voorgetraind model dat kenmerken raadt zonder specifieke training.

De Resultaten:

De Generalist Bedroog: Het Generalist-model haalde vaak hoge nauwkeurigheid maar had een vreselijke Klaarheid. Het zou het juiste antwoord kiezen maar de verkeerde vogelkenmerken opschrijven om uit te leggen waarom. Het was "flexibel" maar niet "helder".
De Leraar was Eerlijk: Het Leraar-model was consistenter. Als het het juiste antwoord kreeg, stemde de uitleg meestal overeen met de werkelijkheid.
De Menselijke Test: De auteurs vroegen echte mensen om naar de ingrediëntenlijsten van de AI te kijken en te raden of de AI gelijk had.
- De mensen vertrouwden de modellen met Hoge Klaarheid-scores.
- De mensen waren verward door modellen met Lage Klaarheid-scores, zelfs als die modellen het juiste antwoord hadden. De "bedriegende" modellen creëerden epistemische ruis—een toestand waarin de uitleg zo misleidend was dat mensen niet konden zeggen of de AI gelijk had of niet.

5. De Conclusie

Het artikel concludeert dat nauwkeurigheid alleen een leugenopsporing is die niet werkt. Je kunt een model hebben dat 99% nauwkeurig is maar volledig onbegrijpelijk, omdat het "verkeerde redenen" gebruikt om het juiste antwoord te krijgen.

Om echt te vertrouwen op een AI, hebben we een metriek nodig zoals Klaarheid die modellen straft voor het "slim" zijn ten koste van het "eerlijk" zijn. Het zorgt ervoor dat wanneer een AI zegt: "Ik koos dit vanwege X", hij dat ook echt bedoelt, en niet alleen omdat X toevallig per ongeluk correleerde met het antwoord.

Technische Samenvatting: Duidelijkheid: De Flexibiliteit-Interpreteerbaarheid Trade-off in Sparsiteitsbewuste Concept Bottleneck Modellen

Probleemstelling
De wijdverbreide adoptie van deep learning in computer vision heeft zorgen over modelinterpreteerbaarheid versterkt. Hoewel Concept Bottleneck Modellen (CBM's) een weg bieden naar ante-hoc interpreteerbaarheid door invoer te koppelen aan voor mensen begrijpelijke concepten voordat downstream taken worden voorspeld, staan huidige benaderingen voor aanzienlijke uitdagingen. Recente verschuivingen naar Vision-Language Modellen (VLM's) hebben het gebruik van onbeperkte, massale conceptsets mogelijk gemaakt, wat de taakprestaties verbetert maar vaak ten koste gaat van interpreteerbaarheid vanwege de enorme omvang van concepten en potentiële informatielekken.

Bestaande sparsiteitsbewuste methoden proberen dit te mitigeren door slechts enkele actieve concepten per voorbeeld te selecteren. De auteurs betogen echter dat deze methoden het daadwerkelijke effect op interpreteerbaarheid niet adequaat beoordelen. Standaard evaluatie leunt zwaar op classificatie-accuraatheid en algehele sparsiteit, vaak met behulp van binaire nauwkeurigheidsmetrieken die misleidend zijn in sparsere omgevingen (waar het voorspellen van veel inactieve concepten een hoge nauwkeurigheid oplevert). Cruciaal is dat huidige evaluaties vaak voorbijgaan aan de semantische correctheid van de geselecteerde concepten. Modellen kunnen "flexibiliteit" benutten door discriminatieve maar semantisch incorrecte concepten te gebruiken om prestaties te optimaliseren, waardoor de voorspellende nauwkeurigheid effectief wordt ontkoppeld van de kwaliteit van de onderliggende representatie. Dit gedrag nabootst informatielekken, waarbij het model de beoogde semantische bottleneck omzeilt.

Methodologie
Het artikel stelt een kader voor om systematisch de trade-off tussen modelflexibiliteit en interpreteerbaarheid te evalueren en te meten.

Modelformuleringen: De auteurs evalueren twee verschillende CBM-formuleringen:
- Op attribuutvoorspeller gebaseerd: Een neurale netwerk getraind om conceptscores te voorspellen op basis van afbeeldingsinbeddingen.
- Op VLM gebaseerd: Gebruikmaken van zero-shot capaciteiten van VLM's (bijv. CLIP) om de aanwezigheid van concepten te schatten via gelijkenis tussen afbeeldings- en tekstinbeddingen.
- Sparsiteitsmechanismen: Drie geamortiseerde, sparsiteitsinducerende strategieën worden geïmplementeerd om concepten per voorbeeld te selecteren:
  - $\ell_1$ -regularisatie: Bevordert sparsere oplossingen via coördinaatafdaling.
  - $\ell_0$ -regularisatie: Afgedwongen via een continue relaxatie met behulp van de Hard Concrete-verdeling om op gradiënten gebaseerde optimalisatie mogelijk te maken.
  - Op Bernoulli gebaseerd: Modelleert sparsiteit probabilistisch met behulp van binaire latente hulpvariabelen met een Bernoulli-prior.
De Duidelijkheid-metriek (Clarity): Om interpreteerbaarheid te kwantificeren, introduceren de auteurs Duidelijkheid, een uniforme metriek gedefinieerd als het harmonisch gemiddelde van drie componenten:
- Sparsiteit: Het percentage inactieve concepten (wat inspectie per voorbeeld mogelijk maakt).
- Precisie: Het aandeel correct afgeleide actieve concepten ten opzichte van het totale aantal actieve concepten (zorgt voor semantische correctheid).
- Nauwkeurigheid: Downstream classificatieprestaties.
De formulering van het harmonisch gemiddelde zorgt ervoor dat Duidelijkheid wordt gedomineerd door het "zwakste schakel". Als een model hoge nauwkeurigheid en sparsiteit bereikt maar lage precisie (semantische misalignement), daalt de Duidelijkheidsscore aanzienlijk, wat "flexibele" maar ontrouwe oplossingen bestraft.
Experimentele Opstelling:
- Datasets: CUB (vogels) en SUN (taferelen), gekozen vanwege hun ground-truth conceptannotaties die een objectieve precisieberekening mogelijk maken.
- Baselines: Vergelijking met standaard dichte CBM's, Post-Hoc CBM's, Label-Free CBM's en Sparse-CBM's.
- Menselijke Studie: Een gecontroleerde studie met 50 deelnemers om "Vertrouwen" (gebruikersvertrouwen in modelcorrectheid uitsluitend gebaseerd op weergegeven concepten) te meten en te correleren met de voorgestelde metrieken.

Belangrijkste Resultaten

De Flexibiliteit-Interpreteerbaarheid Trade-off: Experimenten onthullen dat modellen hoge downstream-nauwkeurigheid kunnen handhaven zelfs wanneer conceptprecisie slecht is. Dit bevestigt dat hoge nauwkeurigheid en sparsiteit op zichzelf geen garantie bieden voor interpreteerbaarheid; modellen vertrouwen vaak op semantisch incorrecte maar discriminatieve signalen.
Prestaties van Sparsiteitsmethodes: Hoewel alle sparsiteitsbewuste methoden vergelijkbare taaknauwkeurigheid bereiken, vertonen ze opvallend verschillende Duidelijkheidsscores. De op Bernoulli gebaseerde formulering bereikte over het algemeen de hoogste Duidelijkheid, met name in op voorspeller gebaseerde settings, door hoge precisie te balanceren met sparsiteit.
Misleidende Metrieken: Binaire nauwkeurigheid bleek een slechte proxy voor interpreteerbaarheid. Modellen met vergelijkbare binaire nauwkeurigheid vertoonden enorme verschillen in precisie en Duidelijkheid.
Menselijke Alignering: De Duidelijkheid-metriek toonde een sterke correlatie ( $r = 0,9749$ ) met menselijke vertrouwensscores, en presteerde beter dan individuele componenten (Precisie, Sparsiteit, Nauwkeurigheid) en standaard aggregatieschema's (Arithmetisch en Geometrisch Gemiddelde). Dit suggereert dat Duidelijkheid de menselijke perceptie van modelbetrouwbaarheid beter vastlegt.
Globale versus Lokale Sparsiteit: Vergelijkingen met globaal sparsere architecturen (bijv. Post-Hoc, Label-Free) toonde aan dat hoewel ze concurrerende nauwkeurigheid bereiken, ze vaak lijden aan lage precisie, wat bevestigt dat instantie-niveau semantische beperkingen noodzakelijk zijn voor trouwe verklaringen.

Betekenis en Claims
Het artikel claimt de flexibiliteit-interpretatie trade-off te formaliseren, en laat zien dat moderne CBM-architecturen prestaties kunnen optimaliseren door af te wijken van strikte semantische alignering. De primaire bijdrage is de Duidelijkheid-metriek, die volgens de auteurs essentieel is om modellen die "om de juiste redenen goed zijn" te onderscheiden van diegene die spurious correlaties benutten.

De auteurs benadrukken dat interpreteerbaarheid in CBM's niet gegarandeerd wordt door sparsiteit of nauwkeurigheid alleen, maar vereist expliciete rekeninghouding met semantische correctheid. Door Duidelijkheid te valideren via een principiële menselijke studie, stelt het werk vast dat deze metriek aanzienlijk beter aansluit bij menselijk vertrouwen dan standaard evaluatiemetrieken. Het artikel concludeert dat objectieve diagnostiek zoals Duidelijkheid noodzakelijk is om modellen te identificeren die semantisch trouwe verklaringen bieden, en verder te gaan dan nauwkeurigheidsgerichte evaluaties die representatiefalen kunnen maskeren.

Beperkingen
De auteurs erkennen dat het huidige kader steunt op ground-truth conceptannotaties om precisie te berekenen, wat de directe toepassing beperkt tot open-vocabulary settings zonder menselijk geverifieerde labels. Zij suggereren dat toekomstig werk precisie zou kunnen benaderen met behulp van proxy-signalen, contrafactuele interventies of visuele grounding, hoewel zij handhaven dat rigoureuze evaluatie dergelijke gecontroleerde benchmarks vereist.