Technische Samenvatting: Supervised Sparse Auto-encoders voor Interpreteerbare en Compositorische Representaties

Probleemstelling

Sparse Auto-encoders (SAE's) zijn opnieuw opgekomen als een primair instrument voor mechanistische interpretatie in grote foundation-modellen, met als doel selectieve en gelokaliseerde kenmerken binnen interne activaties te identificeren. Onsupervised SAE's staan echter voor twee kritieke beperkingen:

1. Optimalisatie-instabiliteit: De afhankelijkheid van $L_1$-regularisatie om sparsiteit af te dwingen introduceert niet-gladheid, wat leidt tot optimalisatie-uitdagingen die slecht schalen met dimensionaliteit, resulterend in instabiliteit en een slechte reconstructietrouw.
2. Semantische misalignering: Onsupervised training levert vaak kenmerken op die verstrengeld, ruisachtig of misaligneerd zijn met semantische concepten die voor mensen begrijpelijk zijn. Het ontbreken van een directe link tussen geleerde kenmerken en specifieke semantiek belemmert causale interventie en compositorische generalisatie.

Tegelijkertijd behandelt het Unconstrained Feature Model (een theoretisch kader uit de theorie van neurale instorting) kenmerken als vrije parameters die uitsluitend worden geoptimaliseerd met betrekking tot outputs, waarbij input-data-beperkingen worden genegeerd. Hoewel dit kader theoretisch krachtig is voor het analyseren van trainingsdynamiek, heeft het tot nu toe een gebrek aan praktische toepassing gehad omdat het niet kan leren van input-data in standaard supervised settings.

Methodologie

De auteurs stellen een Supervised Sparse Auto-encoder (SSAE)-kader voor dat de kloof tussen SAE's en het Unconstrained Feature Model overbrugt. Het kerninzicht is dat bij auto-encoding de input en output bedoeld zijn om samen te vallen; daarom is het negeren van de input-data om uitsluitend op de output te trainen (zoals in het Unconstrained Feature Model) wiskundig onderbouwd en maakt het de toepassing van dit kader op auto-encoders mogelijk.

Belangrijke Architecturale Componenten

1. Vooraf gedefinieerde Spars Structuur: In plaats van kenmerken tijdens het trainen te ontdekken, definieert de SSAE een spars latente ruimte die is uitgelijnd met een bekende dictionary van mensinterpreteerbare concepten ($C = \{c_1, ..., c_K\}$).
2. Spars Kenmerkontwerp ($Y$): De latente representatie wordt geconstrueerd als een matrix waarbij elk concept $c_k$ overeenkomt met een toegewijd sub-vector van dimensie $d$.
   • Als een concept $c_k$ aanwezig is in een specifiek trainingsvoorbeeld, bevat het overeenkomstige sub-vector leerbare parameters.
   • Als $c_k$ afwezig is, is het sub-vector strikt nul.
   • Dit ontwerp dwingt sparsiteit af door constructie, waardoor de noodzaak voor $L_1$-straffen wordt geëlimineerd.
3. Decoder-only Training: Het model leert een decoder-matrix $W_2$ om de doel-kenmerkruimte (bijvoorbeeld prompt-embeddings) te reconstrueren vanuit de spars latente vectoren $Y$. Het doel is het minimaliseren van de reconstructieverlies:
   $$\mathcal{L} = \|X - W_2\sigma(Y)\|^2$$
   waarbij $\sigma$ een activatiefunctie is (bijvoorbeeld ReLU). Er wordt geen encoder getraind in de primaire configuratie, en het proces is volledig differentieerbaar met betrekking tot $W_2$ en de concept-embeddings in $Y$.

Theoretische Rechtvaardiging

De auteurs betogen dat dit kader compositorische generalisatie aanmoedigt. Geput uit literatuur over Unconstrained Feature Models, stellen zij dat gradient-based training op gedeelde lineaire decoders een impliciete bias induceert naar geometrisch gestructureerde oplossingen (bijvoorbeeld orthogonale of simplex-configuraties). Dit bevordert de decorrelatie van concept-subruimtes, waardoor wordt gegarandeerd dat verschillende concepten niet met elkaar interfereren, waardoor het model kan generaliseren naar ongezette combinaties van concepten.

Experimentele Opzet en Resultaten

De methodologie werd gevalideerd op Stable Diffusion 3.5, specifiek gericht op de prompt-embeddingsruimte gegenereerd door een bevroren T5-gebaseerde tekstencoder.

• Dataset: Een trainingsset van 1.500 prompts werd samengesteld met gevarieerde combinaties van visuele attributen (bijvoorbeeld haarkleur, oogkleur, poses, objecten zoals geweren of koffiekopjes, en omgevingen). Cruciaal is dat de dataset zo was ontworpen dat bepaalde conceptcombinaties nooit samen tijdens het trainen werden gezien.
• Configuratie: Het model gebruikte een concept-subruimte-dimensie van $d=10$. Training werd voltooid in ongeveer 12 minuten op een enkele NVIDIA A10G GPU.
• Taken:
  1. Compositorische Generalisatie: De auteurs testten het vermogen van het model om prompts te reconstrueren die conceptcombinaties bevatten die niet in de training waren gezien (bijvoorbeeld het combineren van "blond haar" en "blauwe ogen" terwijl de trainingsset alleen "bruin haar" met "blauwe ogen" bevatte).
  2. Modulair Bewerken op Kenmerk-niveau: Het model werd gebruikt om prompt-embeddings te modificeren door concept-sub-vectoren te nullen (verwijderen), in te voegen of te wisselen zonder de originele tekst-prompt te wijzigen.

Belangrijkste Bevindingen:

• Generalisatie: De SSAE reconstrueerde succesvol afbeeldingen met nieuwe conceptcombinaties. Bijvoorbeeld, het veranderen van haarkleur van "bruin" naar "blond" in een specifieke scène-configuratie resulteerde in de juiste visuele verandering 100% van de tijd bij een visuele inspectie van >50 afbeeldingen.
• Modulariteit: De methode maakte directe manipulatie van de kenmerkruimte mogelijk om objecten te verwijderen (bijvoorbeeld een geweer) of attributen te wisselen (bijvoorbeeld haarkleur) terwijl de rest van de afbeeldingsstructuur behouden bleef.
• Schaalbaarheid: De auteurs merken op dat hoewel de huidige experimenten voorlopig zijn, de lineaire schaling van gradient-updates met betrekking tot het aantal concepten en subruimte-dimensie hoge schaalbaarheid suggereert.

Betekenis en Claims

Het paper positioneert dit werk als een stap richting interpreteerbare, gestructureerde interfaces voor grote foundation-modellen. De auteurs claimen dat door unsupervised ontdekking te vervangen door spars supervisie, het SSAE-kader verschillende duidelijke voordelen biedt:

• Ontwerp-gedreven Interpretatie: Door kenmerken a priori te definiëren, garandeert het model uitlijning met menselijke semantiek, waardoor de "black box"-karakteristiek van unsupervised kenmerk-ontdekking wordt vermeden.
• Stabiliteit en Efficiëntie: Het verwijderen van $L_1$-straffen en het gebruik van een decoder-only architectuur lossen optimalisatie-instabiliteiten op en verminderen de computatie-overhead.
• Compositorische Controle: Het kader biedt een theoretisch en praktisch mechanisme voor compositorische generalisatie, waardoor manipulatie van complexe semantische concepten op een modulaire manier mogelijk is.

De auteurs stellen expliciet dat hoewel de huidige resultaten voorlopig zijn en beperkt tot prompt-embeddings in Stable Diffusion 3.5, het kader model-agnostisch is en kan worden toegepast op verborgen activaties in Transformers, U-Net-lagen of andere representaties. Zij zien dit als een fundamentele stap richting schaalbare, kenmerk-niveau controle in generatieve AI, hoewel zij beperkingen erkennen met betrekking tot de handmatige inspanning die nodig is om concept-dictionaries te bouwen en het huidige gebrek aan grootschalige benchmarking tegen state-of-the-art bewerkingsmethoden.