🤖 AI

A Geometric Unification of Concept Learning with Concept Cones

Dit artikel verenigt Concept Bottleneck Models en Sparse Autoencoders door aan te tonen dat beide conceptkegels leren in de activatieruimte, waarbij een geometrisch inkapselingskader wordt voorgesteld om kwantitatief te evalueren hoe goed ongesuperviseerde SAE's uitlijnen met door mensen gedefinieerde CBM-concepten en optimale parameters voor ijver en expansie identificeert voor het ontdekken van plausibele concepten.

Oorspronkelijke auteurs: Alexandre Rocchi, Thomas Fel, Gianni Franchi

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexandre Rocchi, Thomas Fel, Gianni Franchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe machine hebt (zoals een moderne AI) die naar plaatjes kijkt en ze begrijpt. We willen weten hoe hij ze begrijpt. Ziet hij een "hond" als één enkel, simpel idee, of is het een rommelige mix van duizenden kleine signalen?

Dit paper probeert dit te beantwoorden door twee verschillende manieren te verenigen waarop wetenschappers hebben geprobeerd in de hersenen van de machine te kijken.

De twee benaderingen: De "Docent" versus de "Detective"

Het paper vergelijkt twee belangrijke methoden om AI te begrijpen:

De Docent (Concept Bottleneck Models - CBMs):
Stel je een docent voor die een student een checklist geeft voordat deze een toets maakt. De docent zegt: "Voordat je me vertelt welk dier het is, moet je eerst identificeren: Heeft het vacht? Blaft het? Is het bruin?"
- Hoe het werkt: Mensen labelen deze kenmerken (concepten) expliciet en dwingen de AI om deze te gebruiken.
- Het Voordeel: We weten precies wat de AI denkt omdat wij de woorden hebben gedefinieerd.
- Het Nadeel: Het is beperkt. De AI kan alleen denken over de concepten die we hem hebben gegeven. Als we niet hebben vermeld "draagt een hoed", dan kan de AI dat misschien missen.
De Detective (Sparse Autoencoders - SAEs):
Stel je een detective voor die naar een plaats delict kijkt (de interne data van de AI) zonder enige voorafgaande instructies. De detective probeert op eigen houtje patronen te vinden. "Hm, telkens wanneer er een hond is, gaan deze specifieği lichten in de machine aan. Misschien betekent dat 'hond'?"
- Hoe het werkt: De AI wordt met rust gelaten om zelf patronen te vinden in zijn eigen data. De AI probeert complexe afbeeldingen af te breken tot eenvoudige, ijle (sparse) bouwstenen.
- Het Voordeel: Het kan nieuwe dingen vinden waar wij niet eens naar hadden gezocht.
- Het Nadeel: Het is instabiel. Als je de instrumenten van de detective een klein beetje verandert, vindt hij misschien een compleet ander pakket aan patronen die de data nog steeds perfect verklaren. Het is moeilijk te weten of de patronen die hij heeft gevonden daadwerkelijk betekenisvol zijn of gewoon willekeurige ruis.

Het Grote Idee: De "Concept Kegel"

De auteurs realiseerden zich dat zowel de Docent als de Detective eigenlijk hetzelfde geometrische proces uitvoeren, maar vanuit een andere hoek.

Ze stellen een metafoor voor genaamd de Concept Kegel.

Stel je de hersenen van de AI voor als een enorme kamer vol licht.
Elk "concept" (zoals "vacht" of "blaffen") is een specifieke richting in die kamer.
Wanneer de AI een hond ziet, zet hij niet zomaar één licht aan; hij creëert een lichtstraal die een combinatie is van verschillende richtingen (bijv. 50% "vacht" + 30% "blaffen" + 20% "bruin").
Alle mogelijke combinaties van deze richtingen vormen een Kegel.

De Vereniging:

De Docent bouwt een kegel met behulp van de specifieke richtingen die hij heeft gelabeld.
De Detective bougt een kegel door richtingen in de data te vinden.
Het paper stelt: Als de Detective zijn werk goed doet, zou zijn kegel de kegel van de Docent moeten bevatten. Met andere woorden: de patronen die de Detective op eigen houtje heeft gevonden, zouden in staat moeten zijn om de specifieke concepten die de Docent de AI heeft geleerd, te recreëren.

Het Probleem: Hoe weten we of de Detective gelijk heeft?

Omdat de Detective geen "correct antwoordformulier" heeft, hoe weten we dan of hij een echt "hond"-concept heeft gevonden of gewoon een willekeurige glitch?

Het paper suggereert om de Docent te gebruiken als een gedeeltelijk anker. We verwachten niet dat de Detective elk concept vindt dat de Docent kent. Maar we verwachten wel dat de kegel van de Detective groot genoeg moet zijn om de kegel van de Docent te dekken.

Als de kegel van de Detective de richting van de Docent voor "vacht" of "blaffen" niet kan recreëren, dan vindt de Detective waarschijnlijk niet de juiste structuur.

De Gereedschapskist: Vijf manieren om succes te meten

Om te controleren of de kegel van de Detective de kegel van de Docent dekt, hebben de auteurs vijf specifieke "meetlatten" (metrics) ontwikkeld:

Dekking (Coverage): Dekt de kegel van de Detective genoeg van het gebied van de Docent? (Zoals vragen: "Heb je genoeg kleuren in je verfdoos om de specifieke tinten die ik nodig heb te mengen?")
Geometrische Uitlijning (Geometric Alignment): Wijzen de individuele richtingen van de Detective in dezelfde richting als die van de Docent? (Zoals vragen: "Wijst jouw 'rood' in dezelfde richting als mijn 'rood'?")
Activatie-uitlijning (Activation Alignment): Wanneer de AI een plaatje ziet, gaan de lichten van de Detective dan tegelijkertijd aan als die van de Docent? (Zoals vragen: "Word jij ook enthousiast van dezelfde dingen als ik?")
Regressie Voorspelbaarheid (Regression Predictability): Kunnen we de antwoorden van de Docent voorspellen door alleen naar de data van de Detective te kijken?
Niveau-overeenkomst (Sample-Level Agreement): Komen de belangrijkste zaken die de Detective op een specifieke foto opmerkt, overeen met de belangrijkste zaken die de Docent opmerkt?

Cruciale bevinding: Je kunt niet naar slechts één meetlat kijken. Een Detective kan een geweldige "Dekking" hebben (hij heeft alle kleuren) maar een slechte "Uitlijning" (zijn rood is eigenlijk oranje). Je moet al deze aspecten samen bekijken.

Wat ze vonden (De "Sweet Spot")

De auteurs hebben dit getest op diverse AI-modellen en kwamen tot enkele interessante vuistregels om de "Detective" het beste te laten werken:

De "Precies Goede" IJlheid (Sparsity): Als de Detective te streng is (er kijkt naar slechts 1 of 2 dingen tegelijk), mist hij het grote plaatje. Als hij te losjes is (naar alles kijkt), raakt hij in de war. Er is een "sweet spot" van matige strengheid waarbij hij de meest betekenisvolle concepten vindt.
De "Precies Goede" Grootte: De Detective een iets grotere "gereedschapskist" geven (meer potentiële concepten om uit te kiezen) helpt hem betere patronen te vinden, maar het te groot maken van de kist maakt de resultaten rommelig.
Diepte Doet Er Toe: De Detective werkt het best wanneer hij kijkt naar het "middenbrein" (diepere lagen) van de AI. De vroege lagen zijn te simpel (alleen randen en kleuren) en het uiterste einde is te abstract. In de middelste lagen bevinden de "concepten" zich.

De Kernboodschap

Dit paper zegt niet dat we de Docenten moeten stoppen of de Detectives moeten stoppen. In plaats daarvan zegt het: Gebruik ze samen.

Door de door mensen gelabelde concepten (de Docent) te behandelen als een geometrisch "doelwit" dat de door data gedreven ontdekking (de Detective) moet proberen te dekken, krijgen we een betrouwbare manier om te controleren of de AI daadwerkelijk betekenisvolle dingen leert. Het verandert het mysterie van "Is dit AI-concept echt?" in een meetbaar geometrisch probleem.

Technische Samenvatting: Een Geometrische Unificatie van Concept Learning met Concept Cones

Probleemstelling

Het artikel behandelt de uitdaging van het interpreteren van diepe neurale netwerken door twee dominante maar onderscheidende paradigma's in concept learning te overbruggen: Concept Bottleneck Models (CBMs) en Sparse Autoencoders (SAEs).

CBMs zijn gesuperviseerde methoden die interpreteerbaarheid afdwingen door modelactivaties af te stemmen op menselijk gelabelde concepten. Hoewel ze een expliciete semantische structuur bieden, vertrouwen ze op vooraf gedefinieerde taxonomieën die incompleet of niet uitgelijnd kunnen zijn met de interne representaties van het model.
SAEs zijn ongesuperviseerde methoden die emergente concepten ontdekken door ijle (sparse) lineaire representaties te leren over een overcompleet woordenboek (dictionary). Hoewel schaalbaar, lijden ze onder niet-identificeerbaarheid: veel verschillende woordenboeken kunnen activaties met een vergelijkbare fout reconstrueren, wat het moeilijk maakt om te bepalen of geleerde concepten betekenisvol zijn. Bovendien zijn SAEs instabiel, waarbij kleine veranderingen in hyperparameters (sparsity, grootte van het woordenboek) leiden tot zeer verschillende decomposities.

Momenteel is er geen principiële manier om deze gesuperviseerde en ongesuperviseerde benaderingen te vergelijken of om te evalueren of een ongesuperviseerde SAE "plausibele" menselijke relevante concepten heeft ontdekt zonder een volledige grondwaarheid (ground truth).

Methodologie: Het Concept Cone Framework

De auteurs stellen een verenigd geometrisch framework voor, gebaseerd op dictionary learning en concept cones, om beide paradigma's te analyseren.

1. Geometrische Unificatie

Het artikel stelt dat zowel CBMs als SAEs hetzelfde inverse probleem oplossen: het decomponeren van activatievectoren in niet-negatieve lineaire combinaties van conceptrichtingen.

Dictionary Learning View: Beide methoden leren een woordenboek (rijen zijn conceptrichtingen) en codes (coëfficiënten).
Niet-negativiteit: Beide dwingen niet-negatieve codes af ( $c \geq 0$ ). In CBMs wordt dit afgedwongen door de activatiefunctie (bijv. sigmoid/ReLU); in SAEs is het een expliciete beperking.
Concept Cone: De verzameling van alle mogelijke activaties die representeerbaar zijn door een woordenboek $D$ vormt een concept cone, gedefinieerd als de conische hull van de dictionary atoms:
$C_D = \{ v \in \mathbb{R}^d : v = \alpha^\top D, \alpha \in \mathbb{R}^c_+ \}$
Deze geometrie verenigt de twee benaderingen: ze verschillen niet in de structuur die ze leren, maar in hoe ze de specifieke cone selecteren.

2. Partiële Verankering via CBMs

Omdat SAEs niet-identificeerbaar zijn, gebruiken de auteurs CBMs als partiële geometrische ankers. De kernhypothese is dat een "goede" SAE-decompositie de conceptrichtingen die door een CBM zijn geleerd, binnen zijn eigen concept cone moet bevatten. Specifiek zou een subset van SAE-atoms in staat moeten zijn om CBM-concepten te reconstrueren via ijle, niet-negatieve combinaties. Dit vereist geen perfecte één-op-één uitlijning, maar eerder dat de menselijk plausibele structuur aanwezig is binnen de representatieruimte van de SAE.

3. Operationalisering: Metrieken

Om de uitlijning tussen de SAE-cone ( $C_{SAE}$ ) en de CBM-cone ( $C_{CBM}$ ) te kwantificeren, introduceren de auteurs een reeks complementaire metrieken:

Coverage (Dekking): Meet de mate waarin CBM-conceptrichtingen binnen de SAE-cone liggen. Dit wordt berekend door een ijle niet-negatieve reconstructieprobleem voor elk CBM-concept tegenover het SAE-woordenboek op te lossen. Hoge dekking impliceert dat de SAE CBM-concepten kan representeren.
Geometric Alignment ( $\rho_{geom}$ ): Meet de directionele gelijkenis tussen individuele SAE-atoms en CBM-concepten (met behulp van correlatie). Een top- $k$ versie maakt één-op-veel of vele-op-één mapping mogelijk.
Activation Alignment ( $\rho_{act}$ ): Meet of SAE- en CBM-concepten op vergelijkbare datapunten activeren, rekening houdend met verschillen in encoders en drempelwaarden.
Regression Predictability ( $R^2$ ): Past een lineaire kaart toe van SAE-activaties naar CBM-activaties om de globale informatiebehoud te meten.
Sample-level Agreement: Berekent precisie, recall en F1-scores op basis van de top- $k$ actieve concepten voor elk datapunt, waarbij SAE-indices naar CBM-concepten worden gemapt.

De auteurs benadrukken dat geen enkele metriek op zichzelf voldoende is; bijvoorbeeld kan hoge dekking voorkomen met willekeurige woordenboeken (kunstmatige inflatie), terwijl een hoge geometrische uitlijning geen betekenisvolle activatiepatronen garandeert.

Belangrijkste Bijdragen

Verenigd Framework: Toont aan dat CBMs en SAEs instanties zijn van dezelfde geometrische structuur (het leren van een cone in de activatieruimte via niet-negatieve dictionary learning).
Partiële Uitlijningshypothese: Formaliseert het idee dat een SAE plausibel is als een ijle subset van zijn atoms onafhankelijk gevalideerde CBM-concepten kan herstellen, wat dient als een controle tegen niet-identificeerbaarheid.
Diagnostische Metrieken: Introduceert een set metrieken (Coverage, Geometric/Activation Alignment, $R^2$ , Sample-level Agreement) en biedt theoretische verduidelijkingen over wat elke metriek meet en wat de beperkingen zijn.
Empirische Richtlijnen: Identificeert via uitgebreide benchmarks de "sweet spots" in SAE-ontwerp (sparsity en expansiefactoren) die het beste menselijke relevante structuren herstellen.

Experimentele Resultaten

De auteurs evalueerden hun framework op visuele backbones (ResNet-50, ViT, DINOv2) getraind op ImageNet en CUB (Caltech-UCSD Birds). Ze vergeleken diverse SAE-varianten (Vanilla, TopK, BatchTopK, JumpReLU, Matching Pursuit, Archetypal).

Sanity Check: Getrainde SAEs vertoonden een significant betere uitlijning met CBMs dan willekeurig geïnitialiseerde SAEs. Opvallend genoeg vertoonden willekeurige SAEs een kunstmatig hoge Coverage, maar een lage uitlijning en $R^2$ , wat bevestigt dat dekking alleen onvoldoende is en gepaard moet gaan met andere metrieken.
SAE-varianten: JumpReLU en Vanilla SAEs behaalden over het algemeen superieure dekking en competitieve geometrische uitlijning. Archetypal analyse toonde betere F1-scores.
Sparsity Trade-off: Er is een spanning tussen sparsity en volledigheid. Agressieve sparsity (zeer weinig actieve eenheden) levert een hoge geometrische uitlijning op (gelokaliseerde prototypes) maar lagere dekking. Verslapte sparsity verbetert de dekking en reconstructie maar verspreidt de structuur. Een intermediair sparsity-regime (ongeveer 0,01–0,05% actieve eenheden) bood de beste balans.
Expansion Factor: Het vergroten van de grootte van het woordenboek (expansiefactor) verbeterde de dekking en $R^2$ tot op een bepaald punt. Een 2x expansie werd geïdentificeerd als een sweet spot; voorbij dit punt begon de directionele uitlijning te diffunderen.
Laag-specifieke Analyse: In ResNet-50 vertoonden diepere lagen (specifiek Laag 4, na de laatste pooling) de sterkste semantische uitlijning met CBM-concepten, waarbij ze hoogwaardige features vastlegden. Lagere lagen legden laag-niveau attributen (randen, kleuren) vast die geometrisch uitgelijnd waren maar een gebrek aan semantische correspondentie hadden met de CBM-taxonomie.

Betekenis en Claims

Het artikel beweert een geprincieerd, geometrisch fundament te bieden voor het evalueren van ongesuperviseerde concept discovery. Door CBMs niet als een grondwaarheid maar als een "partiële semantische verankering" te behandelen, biedt het werk een gestructureerd alternatief voor bestaande praktijken voor het beoordelen van SAEs.

De auteurs stellen dat interpreteerbaarheid niet vereist om te kiezen tussen supervisie (CBMs) en discovery (SAEs). In plaats daarvan ligt de weg vooruit in het harmoniseren van de twee: het gebruik van gesuperviseerde concepten om ongesuperviseerde discovery te valideren en te sturen binnen een gedeeld geometrisch framework. Deze benadering stelt onderzoekers in staat om inductieve biases (zoals specifieke sparsity-mechanismen of expansieratio's) te identificeren die systematisch meer plausibele en menselijk gealigneerde concept-woordenboeken opleveren.

Het werk concludeert dat hoewel CBMs geen perfecte grondwaarheden zijn (door menselijke bias en annotatielimieten), ze een noodzakelijk referentiepunt bieden om betekenisvolle decomposities te onderscheiden van de oneindige mogelijkheden die door niet-identificeerbaarheid worden toegestaan. De voorgestelde metrieken dienen als diagnostische instrumenten om de trade-offs tussen expressiviteit en interpreteerbaarheid in moderne neurale netwerken te navigeren.