Technische Samenvatting: Sparse Autoencoder Neural Operators (SAE-NOs)

1. Probleemstelling

Standaard Sparse Autoencoders (SAEs) zijn uitgegroeid tot een primair hulpmiddel voor mechanistische interpretatie, met als doel latente concepten in neurale netwerken bloot te leggen door activaties eenzaamheid (sparsiteit) op te leggen. Echter, bestaande formuleringen (aangeduid als SAE-MLPs) vertrouwen op de Lineaire Representatie Hypothese (LRH), die data modelleert als schaarse lineaire combinaties van scalar-geactiveerde concepten. Deze aanpak legt drie kritieke beperkingen op:

1. Scalar Activaties: Concepten worden weergegeven door een enkele scalarwaarde, die alleen aanwezigheid en sterkte codeert, maar faalt in het vastleggen van hoe of waar een concept tot uitdrukking komt over het invoergebied.
2. Vaste Discretisatie: Concepten worden geparametriseerd als vectoren in dezelfde Euclidische ruimte als de invoer, waardoor de representatie wordt gekoppeld aan een specifieke resolutie of rooster. Dit verhindert generalisatie naar verschillende discretisaties of resoluties.
3. Inductieve Bias: Voor ruimtelijk gestructureerde data (bijvoorbeeld afbeeldingen, fysieke velden) dwingen standaard SAEs concepten tot globaal uniforme bijdragen, wat hun vermogen beperkt om gelokaliseerde of domein-afhankelijke structuren weer te geven. Hoewel Convolutionele SAEs (SAE-CNNs) lokaliteit introduceren, blijven ze gebonden aan vaste receptieve velden en resoluties.

Het artikel betoogt dat de overstap van vector-waardige naar functionele parametreringen noodzakelijk is om gestructureerde conceptuitdrukking te modelleren, met name voor data die ruimtelijke of temporele structuur over schalen vertoont.

2. Methodologie: SAE-NOs en SAE-FNOs

De auteurs introduceren Sparse Autoencoder Neural Operators (SAE-NOs), een kader waarin concepten worden geparametriseerd als functies in plaats van vectoren. Dit wordt specifiek geïmplementeerd als Sparse Autoencoder Fourier Neural Operators (SAE-FNOs).

Functionele Representatie Hypothese (FRH)

De auteurs formaliseren de Functionele Representatie Hypothese (FRH), die stelt dat data $x$ in een functieruimte $\mathcal{X}$ kan worden verklaard door een schaarse representatie $z$ in een functieruimte $\mathcal{Z}$ via een lineaire operator $G_{D^*}$:
$$x = G_{D^*}(z)$$
In tegenstelling tot standaard SAEs, waar $z$ een vector van scalairen is, is hier $z$ een steekproef uit een functieruimte, en is het "woordenboek" $D$ een operator.

Gecombineerd Eenzaamheidsmechanisme

SAE-FNOs introduceren een dubbele-eenzaamheidsstructuur om niet alleen welke concepten actief zijn, maar ook hoe en waar te coderen:

1. Concept Eenzaamheid (Groeps-Eenzaamheid): Selecteert een klein subset van actieve concepten (groepen).
2. Domein Eenzaamheid (Intra-groep Eenzaamheid): Beperkt het activatiepatroon binnen de feature map van elk actief concept. Dit bepaalt de ruimtelijke locatie van de conceptuitdrukking.

Wiskundig is, voor een concept $c$, de activatie een feature map $v_c$. Concept-eenzaamheid selecteert $c$ op basis van de $\ell_2$-norm van $v_c$, terwijl domein-eenzaamheid element-voor-element eenzaamheid toepast binnen $v_c$.

Fourier Parametrering

SAE-FNOs parametreren de concepten als integraaloperatoren in het Fourier-domein. De decoder reconstrueert de invoer als:
$$\hat{x} = \mathcal{F}^{-1} \left( \sum_{c=1}^p W_c \cdot (\mathcal{F} z_c) \right)$$
waarbij $W_c$ leerbare Fourier-coëfficiënten (kernen) zijn en $z_c$ de schaarse feature maps. Deze formulering induceert een inductieve bias naar schaarse convolutionele representaties.

Lifting

Het kader omvat lifting, een lineaire operator $L$ die invoer afbeeldt naar een hoger-dimensionale ruimte voordat conceptlearning plaatsvindt, gevolgd door een projectie $P$ terug naar de oorspronkelijke ruimte. Theoretisch tonen de auteurs aan dat lifting fungeert als een preconditioner, die update-richtingen herschaalt om optimalisatie te versnellen en woordenboekherstel te verbeteren.

3. Belangrijkste Bijdragen

1. SAE-NO Kader: Introductie van een nieuwe klasse van sparse autoencoders die opereren in functieruimtes, waardoor resolutie-invariante representaties mogelijk worden.
2. Functionele Schaarse Coding: Vervanging van scalar-activaties door feature-map-representaties, waardoor conceptexpressiviteit (gecontroleerd door concept-eenzaamheid) wordt ontkoppeld van structurele lokaliteit (gecontroleerd door domein-eenzaamheid).
3. Theoretische Karakterisering:
   • Bewijs dat lifting fungeert als een preconditioner, wat convergentie versnelt.
   • Demonstratie dat onder specifieke voorwaarden (orthogonale lifting, gekoppelde projectie), geliftte SAE-NOs reduceren tot standaard SAE-NOs, waardoor architecturale equivalentie wordt gewaarborgd.
   • Karakterisering van trainingsdynamiek die aantoont dat SAE-FNOs concepten herstellen onder een schaars convolutioneel generatief model.
4. Ontstane Temporele Consistentie: Demonstratie dat SAE-FNOs concepten op natuurlijke wijze hergebruiken over vertaalde patronen (bijvoorbeeld bewegende cijfers) door ruimtelijke activaties te verschuiven, zonder expliciete temporele beperkingen, sequentie-niveau training of temporeel geheugen te vereisen.

4. Experimentele Resultaten

De auteurs evalueren SAE-FNOs tegen SAE-MLPs en SAE-CNNs op synthetische data, MNIST, CIFAR-10 en ImageNet.

• Conceptherstel: Op synthetische data met bekende ground-truth convolutionele woordenboeken herstellen SAE-FNOs onderliggende concepten succesvol, en presteren beter dan SAE-CNNs, vooral bij grote initialisatiefouten.
• Stabiliteit over Eenzaamheid: SAE-FNOs leren concepten waarvan de structurele kenmerken (gemeten door de Hoyer-score) stabiel blijven naarmate de eenzaamheidsniveaus ($k$) variëren. Daarentegen veranderen SAE-MLP-concepten drastisch en verliezen ze structuur naarmate $k$ toeneemt.
• Efficiëntie en Expressiviteit: SAE-FNOs bereiken een hogere reconstructienauwkeurigheid ($R^2$) met minder actieve concepten. Ze vertonen een scherpere afname in conceptgebruik, wat wijst op een efficiënter hergebruik van gestructureerde concepten in vergelijking met de vlakkere verdeling van SAE-MLPs.
• Generalisatie over Discretisatie: SAE-FNOs getraind op een specifieke resolutie (bijvoorbeeld 28x28) generaliseren naar hogere resoluties (bijvoorbeeld 56x56, 112x112) met een minimale toename van de fout. Standaard SAEs falen in generalisatie buiten hun trainingsdiscretisatie, met scherpe toenames in reconstructiefout.
• Robuustheid: SAE-FNOs vertonen grotere stabiliteit onder perturbaties door hoogfrequente ruis en spectrale verschuivingen in vergelijking met SAE-MLPs.
• Gecorreleerde Concepten: In tegenstelling tot SAE-MLPs, die neigen naar orthogonale features, leren SAE-FNOs een bredere reeks gecorreleerde concepten, omdat de functionele parametrering toelaat dat concepten verschillen in waar ze tot uitdrukking komen, wat interferentie vermindert.

5. Betekenis en Claims

Het artikel claimt dat de verschuiving van vector-waardige naar functionele parametrering de mogelijkheden van sparse autoencoders fundamenteel uitbreidt. Door verder te gaan dan de "aanwezigheid" van een concept naar het modelleren van "gestructureerde conceptuitdrukking", bieden SAE-FNOs:

• Resolutie-invariantie: Het vermogen om te opereren op data met resoluties die niet tijdens training zijn gezien.
• Structurele Stabiliteit: Concepten die consistent blijven over variërende eenzaamheidsniveaus en domeingroottes.
• Efficiënte Representatie: Een mechanisme om datapopulaties te vertegenwoordigen met minder effectieve concepten door ze over ruimtelijke domeinen te hergebruiken.

De auteurs positioneren SAE-NOs als een algemeen functioneel kader in plaats van een specifieke architectuur, en merken op dat de FNO-parametrering orthogonaal is aan het verschaaringsmechanisme. Ze concluderen dat functionele parametrering centraal staat in het leren van representaties voor gestructureerde domeinen, en benadrukken het belang van hoe concepten worden geparametriseerd in mechanistische interpretatie.

Erkende Beperkingen:
Het artikel merkt op dat SAE-FNOs hogere computationele en geheugenkosten met zich meebrengen vanwege Fourier-operaties en feature-map-representaties. Bovendien kan de spectrale bias naar gladde, laagfrequente patronen minder geschikt zijn voor sterk onregelmatige, discontinu of tabulaire data, waar vector-gebaseerde SAEs mogelijk de voorkeur behouden. De empirische studie is gericht op visuele datasets, waardoor toepassingen voor neurale operator-foundationmodellen en wetenschappelijk machine learning als toekomstige richtingen worden gelaten.