Post-hoc Stochastic Concept Bottleneck Models

Dit paper introduceert Post-hoc Stochastic Concept Bottleneck Models (PSCBMs), een lichtgewicht methode die bestaande CBMs verbetert door een covariance-predictiemodule toe te voegen zonder het basismodel opnieuw te trainen, waardoor zowel de nauwkeurigheid als de prestaties bij interventies significant stijgen.

De kern

Titel: Hoe we AI-voorspellingen slimmer en betrouwbaarder maken zonder alles opnieuw te bouwen

Stel je voor dat je een zeer slimme, maar mysterieuze voorspeller hebt. Deze AI kijkt naar een foto van een vogel en zegt: "Dit is een roodborstje." Maar waarom denkt hij dat? Omdat hij een "zwarte doos" is, weet je niet welke details hij heeft gezien. Misschien keek hij naar de snavel, misschien naar de vleugels, of misschien naar de achtergrond.

Concept Bottleneck Models (CBM): De tussenstap
Om dit probleem op te lossen, hebben wetenschappers een slimme truc bedacht: de Concept Bottleneck Model (CBM).
In plaats van dat de AI direct naar het antwoord springt, dwingen we hem eerst om een lijstje te maken van duidelijke, menselijke concepten. Bijvoorbeeld:

1. Is de snavel rood? (Ja/Nee)
2. Is de buik wit? (Ja/Nee)
3. Heeft hij een zwarte kop? (Ja/Nee)

Pas als de AI deze lijst heeft gemaakt, mag hij de definitieve conclusie trekken: "Roodborstje". Dit is geweldig omdat jij, als mens, kunt zien waar hij fout zit. Als hij denkt dat de snavel rood is, terwijl dat niet zo is, kun jij zeggen: "Hé, die snavel is oranje!" en de AI corrigeert zijn antwoord direct.

Het probleem: Alles is losgekoppeld
Het oude probleem met deze modellen was dat ze dachten dat al die concepten niets met elkaar te maken hadden. Ze dachten: "Of de snavel rood is, heeft niets te maken met of de buik wit is."
In de echte wereld klopt dat niet. Als een vogel een rode snavel heeft, is de kans groot dat hij ook een witte buik heeft (want het is een roodborstje). Als je dit verband niet begrijpt, maakt de AI domme fouten, vooral als jij hem probeert te corrigeren.

Recente modellen (zoals SCBM) hebben dit verband wel geleerd, maar ze moesten alles opnieuw leren. Dat is als een autofabriek die elke keer de hele fabriek moet slopen en herbouwen omdat ze een nieuwe versnellingsbak willen toevoegen. Dat kost enorm veel tijd, geld en energie.

De oplossing: PSCBM (De slimme "plug-in")
De auteurs van dit paper hebben een nieuwe methode bedacht: Post-hoc Stochastic Concept Bottleneck Models (PSCBM).

Stel je voor dat je een oude, goed werkende auto hebt (het bestaande AI-model). Je wilt er een nieuwe, slimme navigatie in bouwen die weet dat als je linksaf slaat, je waarschijnlijk ook naar een snelweg gaat. In plaats van de hele auto te slopen, plak je er een klein, slim gadget op.

Dit gadget doet twee dingen:

1. Het kijkt naar de lijst van concepten die de AI al heeft gemaakt.
2. Het voegt een verbindingskaart toe (een wiskundige "covariantie-matrix") die zegt: "Hey, als concept A waar is, is concept B ook waarschijnlijk waar."

Waarom is dit zo cool?

• Geen herbouw: Je hoeft de hele AI niet opnieuw te trainen. Je gebruikt de oude, geteste AI en plakt er alleen dit kleine stukje bij. Dat is veel sneller en goedkoper.
• Betere correcties: Als jij als mens een concept corrigeert (bijvoorbeeld: "Nee, de snavel is niet rood"), begrijpt dit nieuwe gadget dat dit ook invloed heeft op de andere concepten. Het past zijn voorspelling dus slimmer aan dan de oude modellen.
• Vertrouwen: Omdat je de originele AI niet hebt veranderd, blijft het model betrouwbaar. In belangrijke gebieden zoals de gezondheidszorg (waar artsen AI gebruiken) is het vaak verboden om een goedgekeurd model zomaar opnieuw te trainen. Met deze methode kun je het model wel slimmer maken zonder de "goedgekeurde" basis aan te raken.

Samenvattend in één zin:
Deze paper introduceert een slimme "plug-in" die bestaande, begrijpelijke AI-modellen een extra dosis intelligentie geeft door de onderlinge verbanden tussen concepten te leren, zonder dat je de hele machine hoeft te slopen en opnieuw te bouwen. Het maakt AI niet alleen slimmer, maar ook makkelijker voor mensen om samen mee te werken en fouten te herstellen.

Technische samenvatting

Titel: Post-hoc Stochastic Concept Bottleneck Models (PSCBMs)

Auteurs: Wiktor Jan Hoffmann, Sonia Laguna, Moritz Vandenhirtz, Emanuele Palumbo, Julia E. Vogt (ETH Zurich)
Publicatie: ICLR 2026 Workshop: Principled Design for Trustworthy AI

---

1. Het Probleem

Concept Bottleneck Models (CBMs) zijn interpreteerbare modellen die voorspellingen doen via menselijk begrijpbare concepten (bijv. "vogel heeft een rode snavel"). Dit stelt gebruikers in staat om in te grijpen op foutieve conceptvoorspellingen om de uiteindelijke uitkomst aan te passen.

Echter, standaard CBMs veronderstellen dat concepten onafhankelijk van elkaar zijn. Onderzoek heeft aangetoond dat het modelleren van afhankelijkheden tussen concepten (bijv. als een vogel een lange snavel heeft, is de kans op een bepaalde vleugelvorm groter) de prestaties en de effectiviteit van interventies aanzienlijk verbetert. Bestaande methoden die deze afhankelijkheden modelleren (zoals Stochastic CBMs of SCBMs) vereisen echter vaak een volledige hertraining van het model met specifieke objectieven. Dit is vaak onhaalbaar wanneer:

• De oorspronkelijke trainingsdata niet beschikbaar is.
• Rekenkracht beperkt is.
• Het model al goedgekeurd is in gereguleerde domeinen (zoals de gezondheidszorg) en hertraining juridisch of procedureel problematisch kan zijn.

De kernvraag is: Hoe kunnen we de voordelen van concept-afhankelijkheid en stochastische interventies toevoegen aan een reeds getraind CBM zonder het hele model opnieuw te hoeven trainen?

2. Methodologie

De auteurs introduceren Post-hoc Stochastic Concept Bottleneck Models (PSCBMs). Dit is een lichtgewicht extensie die elk bestaand, voorgeïntegreerd CBM kan omzetten in een stochastisch model dat concept-afhankelijkheden begrijpt.

Kerncomponenten:

• Architectuur: Een PSCBM behoudt de oorspronkelijke encoder en concept-predictor van het getrainde CBM. Er wordt slechts één nieuw, lichtgewicht module toegevoegd: een covariantie-predictor ($g_\Sigma$).
• Stochastisch Modelleren: In plaats van directe conceptwaarden te voorspellen, wordt er een multivariate normale verdeling gebruikt. De bestaande concept-predictor fungeert als de gemiddelde predictor ($\mu$), en de nieuwe module voorspelt de covariantiematrix ($\Sigma$).
• Post-hoc Training: Alleen de covariantie-predictor wordt getraind; de rest van het model (de "backbone") blijft bevroren (frozen). Dit maakt de methode extreem efficiënt.

Interventieproces:
Wanneer een gebruiker op testtijd ingrijpt op een subset van concepten, gebruikt het model de covariantiematrix om de verdeling van de niet-geïnterveneerde concepten bij te werken via de voorwaarden van een multivariate normale verdeling. Dit zorgt ervoor dat de interventie logisch consistent is met de onderliggende afhankelijkheden tussen concepten.

Trainingsstrategieën:
De auteurs stellen twee trainingsparadigma's voor voor de covariantie-module:

1. Zonder Interventies: De loss-functie wordt geminimaliseerd op de standaard voorspellingen (concepten en target).
2. Met Interventies (PSCBMi): Tijdens het trainen worden willekeurige subsets van concepten geïnterveneerd (gebaseerd op een strategie zoals het "Hard Strategy" of "Confidence Region"). De loss wordt berekend na deze interventies. Dit leert het model om responsiever te zijn op ingrepen van gebruikers.

3. Belangrijkste Bijdragen

1. PSCBM Architectuur: Een nieuwe, lichtgewicht methode om concept-afhankelijkheden post-hoc toe te voegen aan bestaande CBMs zonder volledige hertraining.
2. Efficiëntie: Het vereist slechts het trainen van een kleine covariantie-module, wat aanzienlijk minder rekenkracht en data vereist dan het trainen van een volledig SCBM van scratch.
3. Verbeterde Interventie-efficiëntie: Door het modelleren van afhankelijkheden, reageren PSCBMs veel sneller en effectiever op gebruikersinterventies dan standaard CBMs.
4. Compatibiliteit en Veiligheid: Omdat de oorspronkelijke CBM intact blijft, kan het model terugkeren naar de originele voorspellingen door de covariantie-module uit te schakelen. Dit is cruciaal voor gereguleerde domeinen waar bestaande modellen al zijn goedgekeurd.

4. Resultaten

De experiments zijn uitgevoerd op het Caltech-UCSD Birds-200-2011 dataset (200 vogelklassen, 112 concepten).

• Testprestaties (zonder interventies):

  • PSCBM (zonder interventie-training) behaalde een hogere doelwitnauwkeurigheid (68,4%) dan zowel de standaard CBM (67,4%) als de volledig getrainde SCBM (65,5%).
  • De conceptnauwkeurigheid bleef vergelijkbaar met de baselines (~94,9%).
  • Trainingsduur: PSCBM is extreem snel (740 seconden) vergeleken met het trainen van een SCBM van scratch (8134 seconden) of een CBM (~7204 seconden).

• Prestaties onder Interventie:

  • PSCBM-modellen presteerden over het algemeen beter dan standaard CBMs op zowel concept- als doelwitnauwkeurigheid tijdens interventies.
  • De variant PSCBMi (getraind met interventies) behaalde de beste resultaten op de Area Under the Curve (AUC) voor doelwitnauwkeurigheid onder interventie (0,9704), wat aangeeft dat het model zeer snel corrigeert wanneer gebruikers ingrijpen.
  • Hoewel een volledig getrainde SCBM soms sneller converteert bij zeer weinig interventies, presteert PSCBMi uiteindelijk beter of vergelijkbaar, maar tegen een fractie van de trainingskosten.

• AUC Scores: PSCBMi behaalde de hoogste AUC voor doelwitinterventie (0,9708), wat aantoont dat het modelleren van covariantie post-hoc de interventie-effectiviteit significant verbetert.

5. Betekenis en Conclusie

Dit paper biedt een praktische oplossing voor een groot probleem in het veld van Trustworthy AI: hoe maak je complexe, interpreteerbare modellen robuuster en beter aanpasbaar zonder de enorme kosten van hertraining?

• Toepasbaarheid: De methode is ideaal voor scenario's waar data of rekenkracht beperkt is, of waar bestaande modellen (bijv. in de zorg) niet zomaar opnieuw getraind mogen worden.
• Vertrouwen: Het behoudt de validatie van het oorspronkelijke model terwijl het de mogelijkheid biedt om bij fouten efficiënter in te grijpen.
• Toekomst: De auteurs benadrukken dat dit een eerste stap is en dat verdere onderzoek nodig is op andere datasets en met complexere interventiestrategieën.

Kortom, PSCBMs bewijzen dat het toevoegen van een klein, geleerd covariantiematrix aan een bestaand model een krachtige en efficiënte manier is om de betrouwbaarheid en bruikbaarheid van AI-modellen te verhogen.