🤖 AI

Mixture of Concept Bottleneck Experts

Het artikel stelt Mixture of Concept Bottleneck Experts (M-CBE) voor, een framework dat Concept Bottleneck Models verbetert door gebruik te maken van meerdere experts met diverse functionele vormen om de voorspellende nauwkeurigheid en aanpasbaarheid te verbeteren terwijl de interpreteerbaarheid behouden blijft.

Oorspronkelijke auteurs: Francesco De Santis, Gabriele Ciravegna, Giovanni De Felice, Arianna Casanova, Francesco Giannini, Michelangelo Diligenti, Johannes Schneider, Danilo Giordano, Mateo Espinosa Zarlenga, Pietro Barbiero

Gepubliceerd 2026-06-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Francesco De Santis, Gabriele Ciravegna, Giovanni De Felice, Arianna Casanova, Francesco Giannini, Michelangelo Diligenti, Johannes Schneider, Danilo Giordano, Mateo Espinosa Zarlenga, Pietro Barbiero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Black Box" versus de "One-Size-Fits-All" Oplossing

Stel je voor dat je probeert te begrijpen hoe een slimme machine een beslissing neemt.

Het "Black Box"-probleem: De meeste moderne AI is als een magische 8-ball. Je stopt er een afbeelding in, en het geeft je een antwoord. Je hebt geen idee waarom het dat antwoord koos. Dit is gevaarlijk in belangrijke gebieden (zoals de geneeskunde of de rechtspraak) waar je de redenering moet kennen.
De "Concept Bottleneck"-oplossing: Om dit op te lossen, hebben onderzoekers modellen ontwikkeld die ruwe data eerst vertalen naar menselijke woorden (concepten). In plaats van naar pixels te kijken, zegt de AI bijvoorbeeld eerst: "Deze vogel heeft een rode snavel en blauwe vleugels." Vervolgens gebruikt het deze woorden om de soort te raden. Dit wordt een Concept Bottleneck Model (CBM) genoemd.

Het Nieuwe Probleem:
Het paper betoogt dat hoewel bestaande CBM's transparant zijn, ze te rigide zijn. Ze dwingen de AI om één enkele, vooraf gedefinieerde regel te gebruiken om de uiteindelijke beslissing te nemen.

Analogie: Stel je een arts voor die een patiënt diagnosticeert. Een standaard CBM is als een arts die gedwongen is om voor elke patiënt slechts één specifieke formule te gebruiken (bijv. "Als koorts + hoest = Griep") , ongeacht hoe complex de casus is. Als de patiënt een zeldzame aandoening heeft, faalt die ene formule en maakt de arts de diagnose fout.

De Oplossing: "Mixture of Concept Bottleneck Experts" (M-CBEs)

De auteurs stellen een nieuw framework voor genaamd M-CBEs. Zie dit als een upgrade van een enkele arts naar een gespecialiseerd medisch team.

In plaats van één rigide regel, heeft de AI nu een "manager" (een selector) die de situatie bekijkt en de beste "expert" uit een team van specialisten kiest om de taak af te handelen.

Hier zijn de twee belangrijkste upgrades die M-CBEs introduceert:

1. Het Team van Experts (Meerdere Regels)

In plaats van één regel, kan de AI een klein team van verschillende regels (genaamd "experts") hebben.

Analogie: Stel je een autoreparatiebedrijf voor.
- Oude manier: Eén monteur probeert elke auto te repareren met dezelfde moersleutel en hetzelfde handboek. Als de auto een elektrisch probleem heeft, helpt de moersleutel niet.
- M-CBE manier: De manager bekijkt de auto. Als het een elektrisch probleem is, roept hij de elektricien. Als het een lekke band is, roept hij de bandenspecialist.
Waarom het helpt: Als de relatie tussen "concepten" (zoals een rode snavel) en "taken" (vogelsoort) verandert afhankelijk van de situatie, kan de AI overschakelen naar de expert die die specifieke regel kent.

2. Aanpasbare Gereedschappen (Flexibele Wiskunde)

De auteurs realiseerden zich dat verschillende experts verschillende "talen" of wiskundige tools moeten gebruiken om hun redenering uit te leggen.

Analogie: Denk aan een gereedschapskist.
- Oude manier: Elke monteur wordt gedwongen om alleen een hamer te gebruiken. Soms heb je een schroevendraaier, een moersleutel of een rekenmachine nodig.
- M-CBE manier: De gebruiker (de mens) mag beslissen welke tools er in de kist zitten.
  - Als de gebruiker een wiskundestudent is, kan hij zeggen: "Gebruik alleen eenvoudige optelling en vermenigvuldiging."
  - Als de gebruizer een natuurkundige is, kan hij zeggen: "Je mag sinus, cosinus en exponenten gebruiken."
De "Symbolische" Expert: Het paper introduceert een speciaal type expert dat de juiste wiskundige formule zelfstandig kan ontdekken, maar dan alleen met de tools die de mens toestaat. Het is also Bu een detective een lijst met toegestane aanwijzingen geeft en hem laat de mysteries oplossen met alleen die aanwijzingen.

Hoe het in de praktijk werkt

Het paper heeft dit getest op twee soorten problemen:

Eenvoudige Wiskundige Problemen: Zoals het optellen van twee getallen.
- De AI leerde de juiste "expert" (de juiste rekenkundige bewerking) te kiezen op basis van de input.
Complexe Visuele Problemen: Zoals het identificeren van vogels of pendelbewegingen.
- De Waarheid Vinden: In sommige tests herontdekte de "Symbolische Expert" zelfs de exacte natuurkundige formules (zoals de echte wetten van beweging) die de data beheersen, enkel door naar de concepten te kijken.
- Omgaan met Ontbrekende Informatie: Als sommige concepten ontbreken (bijv. de AI kan de staart van de vogel niet zien), kan het "Team van Experts" overschakelen naar een andere regel die niet afhankelijk is van de staart, waardoor de nauwkeurigheid hoog blijft.

De Afweging: Nauwkeurigheid versus Begrip

Het paper beweert dat M-CBEs mensen een "draaiknop" geeft om de balans te controleren tussen nauwkeurigheid (het juiste antwoord krijgen) en interpreteerbaarheid (begrijpen hoe het antwoord tot stand kwam).

Te simpel: Als je de AI dwingt om slechts één zeer eenvoudige regel te gebruiken, kan het makkelijk te begrijpen zijn, maar zal het fouten maken bij complexe taken.
Te complex: Als je de AI toestaat om een enorme, rommelige "black-box" formule te gebruiken, zal het accuraat zijn, maar zal niemand het begrijpen.
De M-CBE Sweet Spot: Door een klein team van experts te hebben (bijv. 3 of 5) en hen specifieke, menselijk leesbare wiskunde te laten gebruiken, kan de AI zowel zeer accuraat als volledig begrijpelijk zijn.

Samenvatting van de Resultaten

Beter dan "Black Boxes": De nieuwe modellen waren vaak net zo accuraat als de complexe, onverklaarbare AI-modellen, maar ze waren veel eenvoudiger te lezen.
Beter dan "One-Rule" Modellen: Ze waren veel nauwkeuriger dan oudere concept-modellen die gedwongen werden om een enkele regel te gebruiken.
Robuustheid: Wanneer de AI werd gedwongen te gokken met ontbrekende informatie, kon de "Team van Experts"-aanpak dit veel beter aan dan de rigide modellen.
Gebruikerscontrole: Het systeem stelt een gebruiker in staat om te zeggen: "Ik begrijp alleen basiswiskunde," en de AI genereert verklaringen met alleen basiswiskunde, zonder dat het opnieuw getraind hoeft te worden.

Kortom: Het paper stelt een slimmere manier voor om transparante AI te bouwen. In plaats van de AI te dwingen op één rigide manier te denken, geeft het de AI een klein team van specialisten, elk met een specifieke, menselijk begrijpelijke taal, en laat het een manager de juiste specialist voor de klus kiezen. Dit maakt de AI zowel slimmer als makkelijker te vertrouwen.

Technische Samenvatting: Mixture of Concept Bottleneck Experts (M-CBEs)

Probleemstelling

Concept Bottleneck Models (CBMs) zijn een veelbelovende aanpak geworden om Deep Learning-modellen af te stemmen op menselijke redenering door voorspellingen te ontleden in twee stadia: een concept-encoder die ruwe inputs naar menselijk interpreteerbare variabelen (concepten) mapt, en een taakvoorspeller die deze concepten naar de uiteindelijke output mapt. Echter, bestaande CBMs beperken de taakvoorspeller doorgaans tot een enkele, globale functie met een functionele vorm die a priori is vastgesteld (bijv. een enkele lineaire laag of een vaste Booleaanse expressie).

Deze rigiditeit presenteert twee kritieke beperkingen:

Beperkte Expressiviteit: Een enkele globale functie slaagt er vaak niet in om het werkelijke, potentieel complexe proces van concept-naar-taak generatie te vangen, wat leidt tot suboptimale voorspellende nauwkeurigheid.
Onflexibele Interpreteerbaarheid: Interpreteerbaarheid is inherent gebruikersafhankelijk. Het vastleggen van de functionele vorm (bijv. het afdwingen van een lineair model wanneer de relatie niet-lineair is, of een Booleaans model wanneer de relatie continu is) kan de voorspellende prestaties onnodig opofferen of er niet in slagen aan te sluiten bij de specifieke mentale modellen van verschillende gebruikers.

Huidige benaderingen routeren inputs vaak naar mixtures of experts (MoE) om de nauwkeurigheid te verbeteren, maar deze routeren doorgaans naar black-box voorspellers of leggen de functionele vorm van de experts vast, waardoor ze er niet in slagen de gezamenlijke optimalisatie van nauwkeurigheid en gebruikers-afgestemde interpreteerbaarheid aan te pakken.

Methodologie

De auteurs stellen Mixture of Concept Bottleneck Experts (M-CBEs) voor, een verenigd framework dat CBMs generaliseert langs twee dimensies:

Aantal Experts: In plaats van een enkele globale functie, wordt de taakvoorspeller gemodelleerd als een mengeling van $M$ gespecialiseerde functies (experts).
Functionele Vorm: Het framework maakt expliciete controle mogelijk over de functionele vorm van elke expert, variërend van eenvoudige lineaire expressies tot complexe symbolische expressies gedefinieerd door door de gebruiker gespecificeerde operator-vocabularia.

Kernframework

M-CBEs representeren de taakvoorspeller als een toevallige variabele $T$ (een expressieboom) geconditioneerd op de input $x$ . De gezamenlijke distributie factoriseert als:
$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$
Waarbij:

$p(c | x)$ de concept-encoder is.
$p(m | x)$ een leerbare selector (router) is die de input $x$ toewijst aan een specifieke expert-index $m$ .
$t_m$ een unieke, vaste expressieboom is geassocieerd met expert $m$ .
$p(y | c, t_m)$ de taakvoorspeller is die de geselecteerde expressie $t_m$ uitvoert op de concepten $c$ .

Door het afdwingen van een eindige set expressiebomen, garanderen M-CBEs globale interpreteerbaarheid, waardoor gebruikers alle redeneerpaden in een eindige tijd kunnen inspecteren, in tegen tegenstelling tot modellen die unieke expressies voor elke input genereren (wat resulteert in oneindige complexiteit).

Twee Innovatieve Instantiaties

Het artikel introduceert twee specifieke modellen om deze designruimte te verkennen:

Linear M-CBE (Lin-M-CBE):
- Structuur: Beperkt de expressiebomen tot een lineaire functionele vorm ( $y = w^T c + b$ ).
- Mechanisme: Leert een eindige set van $M$ verschillende lineaire expressies. De selector routeert inputs naar de meest passende lineaire expert.
- Doel: Biedt een robuust evenwicht voor hoogdimensionale classificatietaken waarbij lineaire combinaties van concepten voldoende zijn, maar een enkele globale lineaire model ontoereikend is.
Symbolic M-CBE (Sym-M-CBE):
- Structuur: Maakt gebruik van Symbolic Regression (SR) om de structuur van de expressiebomen te ontdekken.
- Mechanisme: Gebruikers definiëren een vocabulaire van interpreteerbare operatoren $W$ (bijv. $\{+, -, \times, \sin, \exp\}$ ). Het model traint eerst een "placeholder" black-box (bijv. MLP) voor elke expert. Vervolgens wordt symbolische regressie toegepast op de door de expert toegewezen datasegmenten om de optimale symbolische expressieboom $t_m$ te distilleren met behulp van de door de gebruiker gedefinieerde vocabulaire.
- Adaptiviteit: Ondersteunt post-hoc adaptatie. Zodra de encoder en de selector getraind zijn, kunnen gebruikers de operator-vocabulaire $W$ wijzigen om nieuwe symbolische expressies te genereren die aansluiten bij hun domeinkennis, zonder het gehele model opnieuw te trainen.

Belangrijkste Bijdragen

Verenigd Framework: M-CBEs omvatten bestaande concept-gebaseerde methoden (zoals standaard CBM, CMR, DCR) als speciale gevallen en leggen hiermee een grotendeel onverkend tweidimensionaal designruimte bloot (aantal experts $\times$ functionele vorm).
Theoretische Garanties: De auteurs bieden proposities die aantonen dat:
- Een enkele niet-lineaire expert elke continue functie kan benaderen (Universele Approximatie).
- Een mengeling van lineaire experts elke continue functie kan benaderen als $M$ voldoende groot is, waarbij de benaderingsfout afneemt naarmate $M$ toeneemt.
Globale Interpreteerbaarheid: Door te leren van een eindige set expressies, vermijden M-CBEs het "oneindige geheugen"-probleem van instantie-specifieke voorspellers (zoals LICEM of DCR), wat volledige modelinspectie en verificatie mogelijk maakt.
Post-hoc Adaptiviteit: Sym-M-CBE stelt gebruikers in staat om de complexiteit en het type expressies te wijzigen (bijv. het overschakelen van trigonometrische naar polynomiale vormen) na de initiële training, wat tegemoetkomt aan diverse gebruikersexpertise-niveaus.

Experimentele Resultaten

Het framework werd geëvalueerd op vier synthetische en vijf real-world datasets (inclusief MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200 en CIFAR-10) die zowel classificatie- als regressietaken beslaan.

Accuracy-Interpretability Trade-off: Het verkennen van de designruimte maakt het mogelijk om de Pareto-frontier te vinden.
- Symbolic M-CBE blinkt uit in regressietaken (bijv. Pendulum) door compacte, hoog-nauwkeurige expressies te ontdekken die de Pareto-frontier domineren.
- Linear M-CBE biedt een robuust evenwicht voor hoogdimensionale classificatietaken en presteert beter dan rigide Booleaanse logica (CMR, DCR), die significant verslechtert naarmate het aantal concepten toeneemt (bijv. op CUB-200 en CIFAR-10).
Scalability: Booleaanse functionele vormen falen bij hoogdimensionale concept-ruimtes vanwege de broosheid van conjunctieve regels. Algebraïsche vormen (Lineair en Symbolisch) behouden een robuuste prestatie.
Intervenability:
- Sym-M-CBE bereikt bijna ideale intervenability op regressietaken, waarbij de grondwaarheidmechanismen (bijv. $8.0 \sin(\theta) + 10.0$ ) worden hersteld en scherpe dalingen in fouten optreden wanneer concepten worden gecorrigeerd.
- Lin-M-CBE is zeer responsief op interventies in classificatietaken en presteert beter dan andere globaal interpreteerbare modellen.
Omgaan met Incomplete Concepten: Het verhogen van het aantal experts ( $M > 1$ ) compenseert voor incomplete concept-bottlenecks of variërende taaklogica over de inputruimte, waardoor de voorspellende prestaties worden hersteld waar single-expert modellen falen.
Complexiteit: M-CBEs evenaren of overtreffen frequent de nauwkeurigheid van black-box MLPs, terwijl ze substantieel minder complex zijn (minder knopen in de expressiebomen).

Betekenis en Claims

Het artikel beweert dat M-CBEs een geprincieerde aanpak vestigen voor het ontwikkelen van interpreteerbare modellen die zich aanpassen aan zowel taakeisen als diverse gebruikersbehoeften.

Democratisering van AI: Door gebruikers in staat te stellen om de voorspellende mechanismen van modellen af te stemmen op berekeningen die zij kunnen interpreteren (van complexe wiskundige expressies voor domeinexperts tot vereenvoudigde polynomen voor leken), democratiseert het framework de toegang tot AI.
Verantwoorde AI: Het bevordert de inzet van verantwoorde AI door te garanderen dat voorspellingen geworteld blijven in eindige, inspecteerbare sets van interpreteerbare expressies, wat de ondoorzichtigheid van black-box modellen in kritieke domeinen aanpakt.
Optimale Trade-off: De auteurs stellen dat geen enkele architecturale keuze universeel superieur is; in plaats daarvan is het vermogen om door de designruimte van expert-cardinaliteit en functionele vorm te navigeren essentieel voor het vinden van de optimale balans tussen nauwkeurigheid en interpreteerbaarheid voor een specifiek probleem.

Erkende Beperkingen:

Het selector-netwerk $p(m | x)$ opereert als een black-box, wat de transparantie beperkt met betrekking tot waarom een specifieke expert wordt gekozen.
Symbolische regressie is computationeel intensief, vooral bij grote operator-vocabularia.
Het aantal experts $M$ moet worden gespecificeerd als een hyperparameter, wat handmatige balans vereist tussen expressiviteit en interpreteerbaarheid.