Technische Samenvatting: Bilineaire Auto-encoders Vinden Interpretabele Manifolden

Probleemstelling

Huidige mechanistische interpretbaarheid is sterk afhankelijk van Sparse Auto-encoders (SAE's) om interpreteerbare latente representaties in neurale netwerken bloot te leggen. Deze methoden opereren onder de Lineariteitsrepresentatiehypothese, waarbij wordt aangenomen dat concepten worden gecodeerd langs lineaire richtingen. Recent onderzoek geeft echter aan dat opvallende concepten vaak complexe, multidimensionale manifolden beslaan (bijvoorbeeld ellipsoïden, hyperboloïden) die lineaire methoden niet kunnen vangen zonder post-hoc analyse. Bovendien faalt het geïsoleerde bestuderen van lineaire latenten vaak om rekening te houden met contextafhankelijkheid, waarbij de betekenis van een latent verschuift op basis van co-actieve kenmerken. Hoewel het vergroten van het modelvermogen meer structuur kan vangen, leidt onbegrensde expressiviteit vaak tot triviale oplossingen die interpretabiliteit ondermijnen. De kernuitdaging is een representatieklasse te vinden die niet-lineair genoeg is om deze manifolden te vangen, maar algebraïsch hanteerbaar genoeg om gesloten-vorm geometrische analyse en compositief begrip mogelijk te maken.

Methodologie

Het artikel stelt Bilineaire Auto-encoders voor als oplossing, waarbij de standaard architectuur van de sparse auto-encoder wordt uitgebreid om kwadratische latenten te leren.

Architectuur

In plaats van het invoervector $x$ direct te reconstrueren, reconstrueert de bilineaire auto-encoder de geliftte productruimte $X = xx^\top$.

• Encoder: Het model gebruikt Gated Linear Units (GLU's) die zijn aangepast om polynomen van de tweede orde te berekenen. De activatie van de $i$-de latent wordt gedefinieerd als $z_i = x^\top W_i x$, waarbij $W_i$ een symmetrische matrix is die een kwadratische vorm vertegenwoordigt.
• Decoder: De reconstructie wordt lineair uitgevoerd in de geliftte ruimte: $\hat{X} = W^\top W X$.
• Trainings-efficiëntie: Het direct materialiseren van de $d \times d$ matrix $X$ is computationeel onuitvoerbaar voor grote modellen. De auteurs maken gebruik van een kernel-truc om de reconstructieverlies en gradiënten te berekenen zonder $X$ expliciet te construeren. De kernelmatrix $K = WW^\top$ wordt efficiënt berekend via de factorisatie $K = C^\top (LL^\top \odot RR^\top) C$, waarbij $L$ en $R$ encoder-factormatrices zijn en $C$ een compositematrix is.
• Sparsiteit: De auteurs introduceren Hoyer-dichtheid als een schaal-invariante straffunctie voor sparsiteit. In tegenstelling tot standaard $L_1$-straffen die tot triviale inkrimping kunnen leiden, moedigt Hoyer-dichtheid relatieve prominentie over de batch aan, waardoor latenten selectief op specifieke structuren afvuren zonder in te storten naar nul.

Structurele Hypothesen

Het artikel formaliseert drie geneste representatiehypothesen die de geometrische priors van de dictionary-atomen definiëren:

1. Kwadratische Representatiehypothese: De dictionary bestaat uit symmetrische matrices $W_i$. Het model decomposeert $xx^\top$ in een som van deze matrices. Dit maakt detectie mogelijk van kwadratische geometrieën (ellipsoïden, hyperboloïden, paraboloiden).
2. Atomaire Representatiehypothese: Een beperking waarbij elke dictionary-atoom een rang-1-matrix is ($W_i = w_i w_i^\top$). Het receptieve veld is een symmetrisch "plaatje" (twee parallelle hypervlakken), dat energie detecteert langs een richting ongeacht het teken.
3. Composiete Representatiehypothese: Dictionary-atomen zijn spare mengsels van rang-1-matrices ($W_i = \sum C_{ij} w_j w_j^\top$). Dit stelt het model in staat om automatisch laag-rang subruimten te leren. Een composiet atoom kan een ellipsoïde vormen (als het positief semi-definiet is) of een hyperboloïde (als het indefiniet is), en vangt effectief concepten die meerdere lineaire richtingen vereisen om te definiëren.

Belangrijkste Bijdragen

1. Architectuur: De auteurs passen bilineaire auto-encoders toe voor dictionary-learning, wat efficiënt trainen mogelijk maakt via een kernel-truc. Dit biedt een natuurlijke, hanteerbare uitbreiding van lineaire SAE's die in de gewichtenruimte opereert, waardoor geometrische analyse mogelijk is zonder forward passes.
2. Kader: Zij stellen een formeel kader voor van structurele priors (Atomaire, Composiete, Kwadratische) die dictionary-beperkingen koppelen aan specifieke geometrieën van receptieve velden (plaatjes, ellipsoïden/hyperboloïden, en willekeurige kwadraten). Dit daagt de standaard lineaire hypothese uit door aan te tonen dat concepten kunnen worden gedetecteerd via hun nabijheid tot kwadratische oppervlakken in plaats van lineaire halfruimten.
3. Empirische Validatie:
   • Reconstructie: Experimenten op Qwen 3.5 (0.8B), Gemma-3 (1B) en Llama-3.2 (1B) tonen aan dat composiete en kwadratische latenten consequent een lagere reconstructiefout (NMSE) bereiken dan atomaire (rang-1) latenten en lineaire baselines.
   • Geometrische prevalentie: Spectrale analyse onthult dat hoewel veel concepten laag-rang zijn, een aanzienlijke "lange staart" van concepten hogere dimensionale geometrieën (rang > 1) vereist om nauwkeurig te worden vastgelegd.
   • Stabiliteit: Hoewel individuele dictionary-atomen (decomposities) aanzienlijk variëren tussen trainingsruns en hyperparameters, blijft de globale invoersubruimte die door de auto-encoders wordt hersteld uiterst stabiel (>90% overeenkomst). Dit suggereert dat de specifieke decompositie minder belangrijk is dan de onderliggende manifoldstructuur.
   • Kwalitatieve Analyse: Een interactieve visualisator toont aan dat bilineaire auto-encoders diverse geometrische patronen vangen, waaronder kegels (jaren), clusters (locaties), interpolaties (semantische bruggen) en subsets (contextuele onderscheidingen zoals "voor" versus "bijvoorbeeld").

Betekenis en Beweringen

Het artikel betoogt dat bilineaire auto-encoders een belangrijke stap voorstellen naar niet-lineaire maar wiskundig hanteerbare latente representaties.

• Voorbij Lineariteit: Het werk daagt de dominantie van de lineariteitsrepresentatiehypothese uit en toont aan dat opvallende concepten vaak multidimensionale manifolden bewonen die lineaire methoden missen.
• Compositief Begrip: Door polynomen te gebruiken, zorgt het model ervoor dat compositie plaatsvindt in de gewichtenruimte. Dit maakt expliciete, berekenbare interacties tussen kenmerken mogelijk, waardoor interpretabiliteit verschuift van geïsoleerde bases naar begrijpelijke compositieve structuren.
• Manifold-ontdekking: De auteurs positioneren deze modellen als onbeheerde hulpmiddelen voor manifold-ontdekking. Omdat de geometrie direct uit de gewichtstensors wordt gelezen (eigenwaarden en eigenvectoren van $W_i$), bieden de modellen een "lens" op representatiegeometrie die per ontwerp interpreteerbaar is.
• Beperkte Scope: De auteurs stellen expliciet dat de gepresenteerde structurele priors een proof-of-concept zijn. Zij claimen niet alle mogelijke priors te hebben doorzocht om de optimale afweging te vinden, noch claimen zij causale ablatie te hebben opgelost. In plaats daarvan kaderen zij dit als een fundament voor toekomstig werk in causale sturing en het karakteriseren van welke geometrische priors specifieke modellen prefereren.

Het artikel concludeert dat hoewel lineaire methoden nuttig zijn, het vakgebied moet bewegen naar representaties die de gebogen, hoogdimensionale geometrie inherent aan activaties in neurale netwerken expliciet kunnen modelleren om waarachtig compositief begrip te bereiken.