🤖 AI

Neural Concept Verifier: Scaling Prover-Verifier Games via Concept Encodings

Dit artikel introduceert de Neural Concept Verifier (NCV), een verenigd framework dat Prover-Verifier Games combineert met concept-encodings om formele, conceptuele verifieerbaarheid voor hoogdimensionele, complexe inputs mogelijk te maken, waardoor het bestaande baselines overtreft en shortcut learning mitigeert.

Oorspronkelijke auteurs: Berkant Turan, Suhrab Asadulla, David Steinmann, Kristian Kersting, Wolfgang Stammer, Sebastian Pokutta

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Berkant Turan, Suhrab Asadulla, David Steinmann, Kristian Kersting, Wolfgang Stammer, Sebastian Pokutta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar licht paranoïde robot probeert te leren hoe hij een "biker" in een foto moet herkennen.

Het probleem met de huidige AI
De meeste moderne AI-modellen zijn als briljante maar geheimsinnige goochelaars. Ze kunnen zeggen: "Dat is een biker!" met 99% nauwkeurigheid. Maar als je vraagt: "Hoe weet je dat?", wijzen ze misschien naar een wazige vlek pixels die toevallig op een band lijkt, of een schaduw die op een helm lijkt. Ze geven het juiste antwoord om de verkeerde redenen, en we kunnen hun werk niet gemakkelijk controleren. Dit is gevaarlijk als de AI beslissingen neemt met hoge inzet.

De oude oplossing: De "Pixeldetective"
Onderzoekers probeerden dit eerder op te lossen met een spel genaamd een Prover-Verifier Game (PVG).

De Prover (Merlin): Probeert te bewijzen dat de afbeelding een biker is door specifieke pixels te highlighten.
De Verifier (Arthur): Kijkt alleen naar die gehighlighte pixels om de beslissing te nemen.
De Cheat (Morgana): Een derde personage die probeert de Verifier te misleiden door misleidende pixels te highlighten (zoals een rode achtergrond die toevallig in alle "biker"-foto's voorkomt).

Het probleem? Wanneer de foto's enorm en complex zijn (zoals echte wereldbeelden), is de Prover vragen om specifieke pixels te selecteren alsof je iemand vraagt een naald in een hooiberg te vinden door naar individuele zandkorrels te wijzen. Het is te traag, te rekenintensief, en het resulterende "bewijs" (een rommelig masker van pixels) is moeilijk te begrijpen voor mensen.

De nieuwe oplossing: Neural Concept Verifier (NCV)
Dit paper introduceert NCV, wat het spel verandert van "pixel zoeken" naar "concept controleren".

Denk er zo over na: In plaats van te zoeken naar individuele zandkorrels, vertaalt de AI de hele afbeelding eerst naar een lijst met concepten (zoals "stuur", "helm", "motor", "persoon").

Zo werkt het NCV-spel met deze concepten:

De Vertaler (Concept Extractor): Eerst kijkt het systeem naar de foto en zegt: "Oké, ik zie een persoon, een fiets en een *motor"'. Het verandert de rommelige afbeelding in een schone lijst met ideeën.
De Coöperatieve Prover (Merlin): Merlin kijkt naar die lijst en zegt: "Om te bewijzen dat dit een biker is, hoef je alleen maar naar het stuur en de persoon te kijken." Hij kiest een kleine, specifieke subset van concepten.
De Cheat (Morgana): Morgana probeert het systeem te misleiden. Ze kan zeggen: "Nee, kijk naar de grijze kleur van de achtergrond!" (omdat in de trainingsdata bikers vaak een grijze achtergrond hadden).
De Verifier (Arthur): Arthur is de rechter. Hem wordt gezegd: "Negeer de rest van de afbeelding. Kijk alleen naar de concepten die Merlin heeft geselecteerd."
- Als Merlin de juiste concepten koos, zegt Arthur: "Ja, dat is een biker."
- Als Morgana probeert hem te misleiden met de verkeerde concepten, is Arthur getraind om te zeggen: "Ik weet het niet" of "Dat bewijst niets", in plaats van een fout te maken.

Waarom is dit een grote zaak?

Het schaalt: In plaats van miljoenen pixels te hanteren, hanteert de AI een paar dozijn concepten. Het is alsof je een puzzel oplost met 20 stukjes in plaats van 20.000. Dit stelt het systeem in staat om te werken met complexe, hoog-resolutie foto's (zoals die van ImageNet) waar de oude pixelgebaseerde methoden faalden.
Het is eerlijk: Het paper laat zien dat NCV de AI dwingt om te vertrouwen op de werkelijke kenmerken die een klasse definiëren (zoals "stuur"), in plaats op shortcuts (zo of "grijze achtergrond"). Als de AI probeert te bedriegen, vangt het "Cheat"-personage hem tijdens de training.
Het is begrijpelijk: Wanneer de AI "Biker" zegt, kan hij zijn werk laten zien: "Ik zag een persoon en een stuur." Je hoeft geen computerwetenschapper te zijn om het te begrijpen.

De Resultaten
De auteurs hebben dit getest op diverse datasets, van eenvoudige synthetische vormen tot echte foto's van katten, honden en objecten. Ze ontdekten dat:

NCV net zo accuraat (of soms zelfs accurater) was dan standaard "black box" AI-modellen.
Het veel beter was in het negeren van "shortcuts" (zoals aannemen dat alle bikers grijs zijn) dan andere uitlegbare AI-modellen.
Het succesvol schaalde naar grote, complexe datasets waar eerdere "Prover-Verifier"-methoden vastliepen.

In het kort
De Neural Concept Verifier is een nieuwe manier om AI te bouwen die zowel slim als eerlijk is. Het vertaalt complexe afbeeldingen naar eenvoudige ideeën, en speelt vervolgens een rigoureus spel van "bewijs het" om te garanderen dat de AI beslissingen neemt op basis van echt bewijs, en niet op basis van gelukkige gokjes of verborgen trucjes. Het is een stap naar AI die we ook echt kunnen vertrouwen om haar redenering uit te leggen.

Technische Samenvatting: Neural Concept Verifier (NCV)

Probleemstelling

Deep learning-modellen bereiken een hoge voorspellende prestatie, maar missen vaak interpreteerbaarheid en verifieerbaarheid, met name in kritieke toepassingen. Twee bestaande benaderingen proberen dit aan te pakken, maar kampen met aanzienlijke beperkingen:

Prover-Verifier Games (PVGs): Frameworks zoals de Merlin-Arthur Classifier (MAC) bieden formele garanties voor interpreteerbaarheid door een "prover" (bewijzer) te laten kiezen welke kenmerken een "verifier" (verifieerder) moeten overtuigen. Echter, wanneer deze worden toegepast op hoog-dimensionale inputs (bijv. ruwe afbeeldingen), hebben deze modellen moeite met schaalbaarheid. De optimalisatie van pixel-niveau maskers is computationeel moeilijk, en de resulterende verklaringen (pixel-maskers) zijn vaak onbegrijpelijk voor mensen.
Concept Bottleneck Models (CBMs): Deze modellen structureren voorspellingen via tussenliggende, menselijk interpreteerbare concepten. Hoewel ze een betere uitlegbaarheid bieden, vertrouwen standaard CBM's meestal op lineaire classificators bovenop concept-encodings. Dit beperkt de expressiviteit, waardoor complexe niet-lineaire interacties tussen concepten (bijv. XOR-problemen, tellen) niet kunnen worden gevangen, wat leidt tot een "interpretabiliteits-accuraatheidsgat".

De kernuitdaging is het combineren van de formele verifieerbaarheid van PVGs met de schaalbaarheid en interpreteerbaarheid van concept-gebaseerde modellen, zonder het voorspellend vermogen op te offeren.

Methodologie: Neural Concept Verifier (NCV)

De auteurs introduceren de Neural Concept Verifier (NCV), een verenigd framework dat de prover-verifier interactie verschuift van de ruwe pixelruimte naar een gestructureerde, symbolische conceptruimte.

Framework Architectuur

NCV bestaat uit drie primaire componenten die gezamenlijk worden getraind:

Concept Extractor ( $g$ ): Een zwak gesuperviseerd of ongesuperviseerd model (bijv. Neural Concept Binder of CLIP-gebaseerde SpLiCE) dat de ruwe input $x$ transformeert naar een hoog-dimensionale concept-encoding $c \in \mathbb{R}^C$ . Dit module wordt bevroren tijdens de NCV-training.
Provers ( $M, \bar{M}$ ): Twee concurrerende agenten die opereren op de concept-encoding:
- Merlin (Coöperatieve Prover): Selecteert een ijle (sparse) subset van concepten $S$ bedoeld om de correcte classificatie te ondersteunen.
- Morgana (Adversariële Prover): Selecteert een ijle subset van concepten $\bar{S}$ bedoeld om de verifier te misleiden.
  Beide geven ijle binaire maskers van grootte $m$ terug.
Verifier ( $A$ ): Een niet-lineaire classifier (Arthur) die voorspellingen doet uitsluitend op basis van de gemaskeerde concept-subsets die door de provers worden geleverd. Het opereert in een uitgebreide voorspellingsruimte $\{1, \dots, K, \perp\}$ , waardoor het kan onthouden (afzien van een oordeel) als het onzeker is, wat cruciaal is voor de deugdelijkheid (soundness).

Trainingsdoelstelling

Het systeem wordt getraind via een min-max spel om drie verliesfuncties te optimaliseren:

Merlin's Loss ( $L_M$ ): Moedigt de verifier aan om correct te classificeren op basis van de door Merlin geselecteerde concepten (Volledigheid/Completeness).
Morgana's Loss ( $L_{\bar{M}}$ ): Moedigt de verifier aan om niet te worden misleid door Morgana's concepten (Deugdelijkheid/Soundness). De verifier wordt gestraft als het een foutieve label voorspelt op Morgana's subset; het wordt echter beloond voor het afzien ( $\perp$ ) in plaats van een zelfverzekerde fout te maken.
Verifier's Loss ( $L_A$ ): Een gewogen combinatie: $L_A = (1-\gamma)L_M + \gamma L_{\bar{M}}$ . De hyperparameter $\gamma$ balanceert de afweging tussen voorspellende prestaties (volledigheid) en robuustheid tegen adversariële concepten (deugdelijkheid).

Theoretische Garanties

NCV erft informatie-theoretische garanties van het Merlin-Arthur framework. Door in de conceptruimte te opereren, definieert het framework Volledigheid (de waarschijnlijkheid dat de verifier het ware label herstelt uit Merlin's subset) en Deugdelijkheid (de waarschijnlijkheid dat de verifier een foutief label vermijdt onder Morgana's subset). Onder specifieke aannames over feature-correlatie en klasse-imbalans, impliceren een hoge volledigheid en deugdelijkheid dat Merlin's ijle concept-selectie een hoge wederzijdse informatie heeft met het grondwaarheids-label, wat een certificaat van getrouwheid (faithfulness) biedt.

Belangrijkste Bijdragen

Framework Integratie: Stelt NCV voor, het eerste framework dat concept-gebaseerde representaties integreert in Prover-Verifier Games, waarmee PVGs effectief schaalt naar hoog-dimensionale beelddata.
Schaalbaarheid: Demonstreert dat het opereren op compacte concept-encodings de computationele en schaalbaarheidsproblemen van pixel-gebaseerde PVGs overwint.
Expressiviteit: Maakt expressieve, niet-lineaire redenering over concepten mogelijk, waardoor het de interpretabiliteits-accuraatheidsgat van lineaire Concept Bottleneck Models verkleint.
Robuustheid: Toont aan dat de adversariële trainingsopzet helpt bij het mitigeren van shortcut learning, waardoor modellen wordt aangemoedigd om te vertrouwen op robuuste, taakrelevante kenmerken in plaats van spookcorrelaties (spurious correlations).

Experimentele Resultaten

De auteurs evalueerden NCV op synthetische (CLEVR-Hans3, CLEVR-Hans7) en real-world (CIFAR-100, ImageNet-1k, COCOLogic) datasets.

Prestaties vs. Baselines: NCV behaalde consistent een hoge volledigheid (accuratesse) en bijna perfecte deugdelijkheid. Op CLEVR-Hans3 presteerde het beter dan zowel lineaire CBM's als opaak ResNet-18 baselines. Op real-world datasets zoals CIFAR-100 en COCOLogic presteerde NCV beter dan lineaire en niet-lineaire CBM's en evenaarde of overtrof zelfs de ResNet-50 accuratesse terwijl de interpreteerbaarheid behouden bleef.
Pixel-gebaseerde PVG Vergelijking: Pixel-MAC (een pixel-gebaseerde PVG) faalde of presteerde slecht op hoog-dimensionale real-world datasets, terwijl NCV succesvol schaalde.
Interpreteerbaarheid: Kwalitatieve analyse toonde aan dat NCV ijle, semantisch betekenisvolle concept-verklaringen produceert (bijv. "kleine metalen bol") vergeleken met de diffuse, oninformatieve pixel-maskers gegenereerd door Pixel-MAC.
Shortcut Mitigatie: In experimenten met spookcorrelaties (CLEVR-Hans) demonstreerde NCV superieure robuustheid. Naarmate de hoeveelheid schone data toenam, verminderde NCV de afhankelijkheid van shortcuts sneller dan zowel lineaire als niet-lineaire CBM-varianten, waarbij het de hoogste test-accuratesse bereikte in settings met beperkte schone supervisie.

Betekenis en Claims

Het artikel positioneert NCV als een veelbelovende stap richting concept-niveau, verifieerbare AI. De auteurs beweren dat NCV erin slaagt de kloof te overbruggen tussen de formele garanties van speltheoretische verificatie en de praktische schaalbaarheid die vereist is voor hoog-dimensionale data.

Het werk claimt niet alle interpretabiliteitsproblemen op te lossen. De auteurs erkennen beperkingen, waaronder:

Afhankelijkheid van de kwaliteit van de onderliggende concept-extractor (ruis in concepten verslechtert de prestaties).
Verhoogde trainingscomplexiteit en computationele kosten vergeleken met lineaire CBM's.
Geërfde biases van gepre-trainde foundation models (zo.n. CLIP) die gebruikt worden voor concept-ontdekking.
Theoretische garanties zijn het meest direct evalueerbaar in discrete, matig-dimensionale conceptruimtes; in dichte continue ruimtes dienen de grenzen als theoretische motivatie in plaats van een direct gemeten hoeveelheid.

Uiteindelijk betogen de auteurs dat NCV een pad biedt naar het inzetten van betrouwbare modellen waar zowel voorspellende prestaties als verifieerbare, menselijk begrijpelijke rechtvaardigingen essentieel zijn.