💻 computer science

Concept-SAE: A Controllable and Invertible Concept Interface for Sparse Autoencoders

Concept-SAE is een nieuw framework dat Sparse Autoencoders versterkt met een controleerbare, omkeerbare interface door activaties te ontbinden in orthogonale "Concept Tokens" die zijn afgestemd op gebruikersgedefinieerde semantiek en "Free Tokens" voor residuele informatie, waardoor hoogwaardige probing, editing en diagnose van specifieke concepten mogelijk wordt terwijl open uiteinde feature-ontdekking behouden blijft.

Oorspronkelijke auteurs: Jianrong Ding, Muxi Chen, Chenchen Zhao, Qiang Xu

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianrong Ding, Muxi Chen, Chenchen Zhao, Qiang Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente AI hebt die naar plaatjes kijkt en vertelt wat hij ziet. Al een tijdje gebruiken wetenschappers een hulpmiddel genaamd een Sparse Autoencoder (SAE) om in de hersenen van deze AI te gluren. Denk aan de SAE als een enorme, automatische woordenlijst. Wanneer de AI naar een foto kijkt, breekt de SAE de afbeelding af in duizenden kleine, verborgen "woorden" (features) die de AI gebruikt om de foto te begrijpen.

Het Probleem:
De oude manier van het gebruiken van deze woordenlijst is als een bibliothecaris die je simpelweg een lijst met woorden uit een boek geeft en zegt: "Hier, zoek zelf maar uit wat deze betekenen." Je moet handmatig naar de lijst kijken, raden wat "Token #452" betekent, en hopen dat het iets nuttigs is. Het is passief, traag, en je kunt de AI niet specifieke vragen stellen zoals: "Weet je zeker dat er een baard in deze foto zit?"

De Oplossing: Concept-SAE
De auteurs van dit paper hebben een nieuw hulpmiddel gebouwd genaamd Concept-SAE. Denk aan het upgraden van de bibliothecaris naar een tweelinguïstische, interactieve vertaler die zowel de "AI-taal" als de "menselijke taal" spreekt.

Zo werkt het, met behulp van een eenvoudige analogie:

1. Het Tweeledige Brein

In plaats van slechts één grote woordenlijst, splitst Concept-SAE de hersenen van de AI in twee duidelijke zones:

De "Concept Zone" (De Georganiseerde Bibliotheek): Dit deel is getraind om specifieke dingen te begrijpen waar jij om geeft, zoals "baarden", "zonnebrillen" of "glimlachen".
- Hoe het leert: Het systeem wordt tegelijkertijd getraind op twee zaken:
  1. Bestaan: "Is de baard aanwezig?" (Ja/Nee).
  2. Locatie: "Waar precies zit de baard?" (Een kaart van het gezicht).
- Het Resultaat: Deze "Concept Tokens" zijn als gelabelde laden. Als je de "Baard"-lade eruit trekt, krijg je een duidelijk, eerlijk antwoord over of de AI een baard ziet en precies waar deze zich bevindt. Ze raken niet in de war met andere dingen.
De "Free Zone" (De Wilde Tuin): Dit deel werkt als de oude SAE. Het vangt alles ander op wat de AI ziet waar jij niet specifiek naar hebt gevraagd — zoals achtergrondruis, vreemde texturen of abstracte patronen.
- Waarom dit belangrijk is: Dit zorgt ervoor dat de AI niet zijn vermogen verliest om nieuwe, onverwachte dingen te ontdekken. Het houdt de "wilde tuin" van ontdekking levend, terwijl de "Concept Zone" de specifieke vragen afhandelt.

2. Waarom dit een Big Deal is

De paper beweert dat deze nieuwe opzet veel beter is dan vorige methoden omdat het getrouw (het vertelt de waarheid) en ontvlochten (het houdt dingen gescheiden) is.

Geen "Lekkage" meer: Bij oude methoden, als je de AI probeerde iets over "baarden" te leren, lekte dat concept soms door naar andere delen van de hersenen, waardoor de AI in de war raakte. Concept-SAE houdt het "baard"-concept strikt in zijn eigen lade, zodat het niet per ongeluk de "zonnebril"-lade verstoort.
Ruimtelijke Verankering: Het zegt niet alleen "baard"; het weet ook waar de baard op het gezicht zit.

3. Wat kun je ermee doen? (De Tests)

De auteurs hebben dit hulpmiddel op drie specifieke manieren getest om te bewijzen dat het werkt:

De "Leugendetector"-test (Detectie):
Ze lieten de AI lastige, valse afbeeldingen (adversarial attacks) zien die ontworpen zijn om de AI te misleiden. Ze ontdekten dat wanneer de AI in de war was of werd misleid, de "Concept Tokens" rommelig en onzeker werden (hoge entropie). Door deze verwarring te meten, kon het hulpmiddel nepafbeeldingen beter herkennen dan andere methoden. Het is als het merken van een persoon die stamelt wanneer hij liegt.
De "Wat als"-test (Controleerbaarheid):
Ze probeerden de AI van gedachten te veranderen door handmatig de "Concept Tokens" aan te passen. Bijvoorbeeld, als de AI dacht dat een man een vrouw was, draaiden ze de scores voor "baard" en "ademhalingslus (Adam's apple)" handmatig omhoog naar 100%. De AI identificeerde de persoon toen correct als een man. Dit bewijst dat het hulpmiddel de redenering van de AI daadwerkelijk kan sturen, en niet alleen kan observeren.
De "Stresstest" (Stabiliteit):
Ze vielen de AI aan met ruis om te zien waar de hersenen zouden breken. Ze ontdekten dat de "Concept Tokens" exact konden aanwijzen welke lagen van de hersenen van de AI het meest kwetsbaar en fragiel waren voor aanvallen. Het fungeert als een diagnostisch hulpmiddel dat een monteur vertelt: "De motor is prima, maar de transmissie trilt."

Samenvatting

Concept-SAE is een nieuwe interface waarmee mensen actief kunnen praten met de interne hersenen van een AI. In plaats van alleen maar passief te kijken naar wat de AI leert, kun je nu:

Vragen naar specifieke concepten (bijv. "Is er een baard?").
Vertrouwen op het antwoord omdat het geworteld is in echt visueel bewijs.
Fouten herstellen door die specifieke concepten aan te passen.
Diagnostiek uitvoeren wanneer de AI wordt misleid of in de war is.

Het verandert de AI-hersenen van een zwarte doos in een transparante, controleerbare machine waarbij menselijke concepten en AI-kenmerken perfect op elkaar zijn afgestemd.

Technische Samenvatting: Concept-SAE

Probleemstelling

Standaard Sparse Autoencoders (SAEs) hebben zichzelf gevestigd als krachtige instrumenten voor mechanistische interpreteerbaarheid, waarbij ze de activaties van neurale netwerken mogelijk maken om te deconstrueren naar een woordenboek van geleerde kenmerken. De bruikbaarheid hiervan blijft echter grotendeels passief. Huidige workflows vereisen dat onderzoekers handmatig latente tokens inspecteren, afbeeldingen met sterke activaties identificeren en visueel de onderliggende concepten afleiden. Deze aanpak is beperkt omdat het alleen verifieert of een model toevallig door mensen gespecificeerde concepten codeert, in plaats van het de actieve test-, bevraging- of systematische evaluatie van concepten mogelijk te maken waar gebruikers expliciet om geven.

Bestaande pogingen om deze kloof te overbruggen, zoals Concept Bottleneck Models (CBMs) of het inbedden van concepten als latente vectoren, kampen met aanzienlijke nadelen. CBMs vertrouwen vaak op binaire aanwezigheidssignalen die er niet in slagen hoogdimensionale concepten te ontwarren of wat leidt tot semantische vermenging met onbeperkte tokens. Benaderingen op basis van inbedding, die een gebrek aan expliciete supervisie hebben, neigen af te drijven van hun beoogde betekenis, wat de interpreteerbaarheid ondermijnt en open analyses beperkt. Er is behoefte aan een framework dat actieve, bidirectionele interactie mogelijk maakt met door de gebruiker gedefinieerde concepten, terwijl de capaciteit van de SAE voor het ontdekken van nieuwe, onbeperkte kenmerken behouden blijft.

Methodologie: Concept-SAE

De auteurs stellen Concept-SAE voor, een framework dat standaard SAEs uitbreidt met een gestructureerde, controleerbare en omkeerbare interface. De kerninnovatie is een hybride ontwarringsstrategie die een activatiesubruimte deelt in twee orthogonale componenten:

Concept Tokens (Gesuperviseerd): Deze tokens zijn uitgelijnd met extern gespecificeerde semantiek (bijv. "baard", "ogen"). Ze worden getraind onder dubbele supervisie:
- Concept Bestaan: Een scalaire score die de binaire aanwezigheid van het concept aangeeft.
- Ruimtelijke Lokalisatie: Een segmentatiemasker dat de ruimtelijke positie van het concept binnen de feature map aangeeft.
- Deze dubbele supervisie zorgt ervoor dat de tokens getrouw, ruimtelijk gegrond en schoon gescheiden zijn van de residu-ruimte.
Free Tokens (Ongesuperviseerd): Deze functioneren als standaard SAE-tokens en vangen alle resterende informatie op die niet wordt gedekt door de vooraf gedefinieerde concepten. Ze behouden de capaciteit van de SAE voor open, passieve ontdekking van kenmerken.

Trainingspipeline

Het trainingsproces omvat een vierstaps-pipeline (geïllustreerd in Fig. 1 van het paper):

Label Generatie: Een Vision-Language Model (VLM) genereert binaire bestaan-labels, en een segmentatiemodel produceert ruimtelijke maskers. Deze worden gefuseerd om schone grondwaarheid-annotaties te creëren (waarbij maskers worden onderdrukt als het concept afwezig is).
Concept Tokenizer ( $T_{concept}$ ): Een encoder die visuele modelkenmerken naar de conceptruimte mapt, waarbij de scores voor bestaan en ruimtelijke maskers worden voorspeld. Het is getraind om de MSE tussen voorspellingen en de grondwaarheid te minimaliseren, met een L1-penalty om sparsity te stimuleren.
Concept Aggregator ( $A_{concept}$ ): Een decoder die de oorspronkelijke visuele modelkenmerken reconstrueert vanuit de voorspelde conceptrepresentaties. Het is getraind om de reconstructiefout te minimaliseren en stemt de interne gewichtsverdelingen af met de Tokenizer via KL-divergentie.
Free Tokenizer & Aggregator ( $T_{free}, A_{free}$ ): Deze modules worden gezamenlijk met de conceptmodules getraind om de residu-kenmerken te reconstrueren. Ze worden getraind zonder externe supervisie, uitsluitend op het doel om de reconstructiefout van de gecombineerde output (Concept + Free) ten opzicht van de oorspronkelijke kenmerken te minimaliseren.

Belangrijkste Bijdragen

Het paper claimt drie primaire bijdragen:

Concept-SAE Framework: Een nieuw architectuurontwerp dat SAEs uitrust met een hoogwaardige, bidirectionele interface voor concept-gebaseerde inspectie, wat de verificatie en manipulatie van vooraf gedefinieerde menselijke concepten mogelijk maakt.
Hybride Ontwarringsstrategie: Experimentele validatie die aantoont dat de voorgestelde strategie conceptrepresentaties produceert die opmerkelijk getrouw, ruimtelijk gelokaliseerd en schoon ontward zijn van de free-token residu-ruimte, waarbij zij superieur presteren aan alternatieve methoden wat betreft de kwaliteit van de interface.
Diagnostisch Nut: Demonstratie dat de geëxtraheerde conceptscores de interne zekerheid van het model accuraat reflecteren en kunnen worden gebruikt voor drie specifieke diagnostische evaluaties:
- Detectie: Het identificeren van adversariële beeldmonsters.
- Controleerbaarheid: Het uitvoeren van gecontroleerde counterfactual editing om modelmisclassificaties te corrigeren.
- Stabiliteit: Het diagnosticeren van kwetsbaarheden van het model via adversariële perturbaties.

Experimentele Resultaten

De auteurs evalueerden Concept-SAE op CelebA (geslachtclassificatie) en ImageNet-1k (objectclassificatie) met behulp van ResNet-18 en Vision Transformer (ViT-B/32) architecturen.

Getrouwheid & Lokalisatie (RQ1): Vergeleken met een Concept Embedding Model (CEM) baseline bereikte Concept-SAE een significant hogere Localization Ratio (bijv. 1.472 vs. 1.019 op ResNet laag 5). Dit geeft aan dat Concept-SAE erin slaagt gezichtconcepten te isoleren van achtergrondruis, terwijl CEM concepten verstrengelde met irrelevante achtergrondinhoud. Free tokens behielden rijke semantische informatie, wat bevestigt dat de introductie van gesuperviseerde tokens de capaciteit voor open-ended ontdekking niet heeft verminderd.
Adversariële Detectie (RQ2): De entropie van de conceptscores werd gebruikt als metriek voor modelzekerheid. Onjuiste voorspellingen en adversariële monsters vertoonden consistent een hogere entropie (ambiguïteit) vergeleken met correcte voorspellingen. Een drempelgebaseerde classifier gebruikmakend van deze entropie behaalde superieure AUC-scores (bijv. 0.974 op CelebA-ViT) vergeleken met gevestigde baselines zoals JPEG, Randomization en Feature Squeezing, wat bewijst dat de scores de interne verwerking getrouw reflecteren.
Controleerbaarheid (RQ3): Het framework maakte counterfactual editing mogelijk. Door de conceptscores aan te passen (bijv. "baard" instellen op 0.0 of 1.0) en de kenmerken te reconstrueren via de aggregator, konden de auteurs causaal interveniëren op de output van het model. Bijvoorbeeld: het verhogen van de "baard"-scores corrigeerde mannelijke beelden die als vrouw waren geclassificeerd. Interventies waren het meest effectief in diepere ViT-lagen en zowel ondiepe als diepe ResNet-lagen.
Stabiliteitsdiagnose (RQ4): De auteurs gebruikten de Jensen-Shannon (JS) afstand tussen de conceptscoreverdelingen van schone en adversariële monsters om kwetsbaarheid te meten. Lagen met hogere JS-afstanden werden geïdentificeerd als fragieler. Het finetunen van deze specifieke lagen resulteerde in de grootste verbeteringen in robuustheid (bijv. een nauwkeurigheidsstijging van 40,77% op ResNet-18 wanneer alle lagen werden gefinetuned), wat de conceptrepresentaties valideert als een precies diagnostisch instrument voor het lokaliseren van modelkwetsbaarheden.

Betekenis en Claims

Het paper positioneert Concept-SAE als een gevalideerd mechanisme dat de interpretatie van SAE's verschuift van passieve observatie naar actieve ondervraging. Door een gestructureerde interface te bieden, stelt het onderzoekers in staat om:

Systematisch te evalueren of een model specifieke concepten representeert.
De causale rol van deze concepten in modelbeslissingen te bevragen.
Modelstoringen en kwetsbaarheden met hoge getrouwheid te diagnosticeren.

De auteurs benadrukken dat hun aanpak traditionele SAEs aanvult in plaats van vervangt, door de capaciteit voor het ontdekken van nieuwe kenmerken te behouden terwijl er een laag van controleerbare, mens-gealigneerde interpreteerbaarheid wordt toegevoegd. De conclusie is dat Concept-SAE een betrouwbare, omkeerbare en ruimtelijk gegronde methode biedt voor het evalueren en diagnosticeren van door de gebruiker gedefinieerde concepten in visuele modellen.