Résumé technique : Opérateurs de réseaux de neurones à autoencodeurs parcimonieux (SAE-NOs)

1. Énoncé du problème

Les autoencodeurs parcimonieux (SAE) standards sont devenus un outil principal pour l'interprétabilité mécaniste, visant à révéler des concepts latents dans les réseaux de neurones en imposant de la parcimonie sur les activations. Cependant, les formulations existantes (désignées par SAE-MLP) reposent sur l'hypothèse de représentation linéaire (LRH), qui modélise les données comme des combinaisons linéaires parcimonieuses de concepts activés par des scalaires. Cette approche impose trois limitations critiques :

1. Activations scalaires : Les concepts sont représentés par une seule valeur scalaire, codant uniquement la présence et l'intensité, mais échouant à capturer comment ou où un concept s'exprime à travers le domaine d'entrée.
2. Discrétisation fixe : Les concepts sont paramétrés comme des vecteurs dans le même espace euclidien que l'entrée, liant la représentation à une résolution ou une grille spécifique. Cela empêche la généralisation à différentes discrétisations ou résolutions.
3. Biais inductif : Pour les données structurées spatialement (par exemple, images, champs physiques), les SAE standards forcent les concepts à des contributions globalement uniformes, limitant leur capacité à représenter des structures localisées ou dépendantes du domaine. Bien que les SAE convolutifs (SAE-CNN) introduisent la localité, ils restent liés à des champs récepteurs et des résolutions fixes.

L'article soutient que le passage de paramétrisations vectorielles à des paramétrisations fonctionnelles est nécessaire pour modéliser l'expression structurée des concepts, en particulier pour les données présentant une structure spatiale ou temporelle à travers les échelles.

2. Méthodologie : SAE-NOs et SAE-FNOs

Les auteurs introduisent les Opérateurs de réseaux de neurones à autoencodeurs parcimonieux (SAE-NOs), un cadre où les concepts sont paramétrés comme des fonctions plutôt que comme des vecteurs. Ceci est spécifiquement mis en œuvre sous la forme d'Opérateurs de réseaux de neurones de Fourier à autoencodeurs parcimonieux (SAE-FNOs).

Hypothèse de représentation fonctionnelle (FRH)

Les auteurs formalisent l'hypothèse de représentation fonctionnelle (FRH), postulant que les données $x$ dans un espace fonctionnel $\mathcal{X}$ peuvent être expliquées par une représentation parcimonieuse $z$ dans un espace fonctionnel $\mathcal{Z}$ via un opérateur linéaire $G_{D^*}$ :
$$x = G_{D^*}(z)$$
Contrairement aux SAE standards où $z$ est un vecteur de scalaires, ici $z$ est un échantillon d'un espace fonctionnel, et le « dictionnaire » $D$ est un opérateur.

Mécanisme de parcimonie conjointe

Les SAE-FNOs introduisent une structure de double parcimonie pour encoder non seulement quels concepts sont actifs, mais comment et où :

1. Parcimonie des concepts (parcimonie de groupe) : Sélectionne un petit sous-ensemble de concepts actifs (groupes).
2. Parcimonie du domaine (parcimonie intra-groupe) : Contraint le motif d'activation à l'intérieur de la carte de caractéristiques de chaque concept actif. Cela détermine l'emplacement spatial de l'expression du concept.

Mathématiquement, pour un concept $c$, l'activation est une carte de caractéristiques $v_c$. La parcimonie des concepts sélectionne $c$ sur la base de la norme $\ell_2$ de $v_c$, tandis que la parcimonie du domaine applique une parcimonie élément par élément au sein de $v_c$.

Paramétrisation de Fourier

Les SAE-FNOs paramètrent les concepts comme des opérateurs intégraux dans le domaine de Fourier. Le décodeur reconstruit l'entrée comme suit :
$$\hat{x} = \mathcal{F}^{-1} \left( \sum_{c=1}^p W_c \cdot (\mathcal{F} z_c) \right)$$
où $W_c$ sont des coefficients de Fourier apprenables (noyaux) et $z_c$ sont les cartes de caractéristiques parcimonieuses. Cette formulation induit un biais inductif vers des représentations convolutives parcimonieuses.

Relèvement

Le cadre intègre le relèvement, un opérateur linéaire $L$ qui mappe les entrées vers un espace de plus grande dimension avant l'apprentissage des concepts, suivi d'une projection $P$ vers l'espace d'origine. Théoriquement, les auteurs montrent que le relèvement agit comme un préconditionneur, recalibrant les directions de mise à jour pour accélérer l'optimisation et améliorer la récupération du dictionnaire.

3. Contributions clés

1. Cadre SAE-NO : Introduction d'une nouvelle classe d'autoencodeurs parcimonieux opérant dans des espaces fonctionnels, permettant des représentations invariantes à la résolution.
2. Codage parcimonieux fonctionnel : Remplacement des activations scalaires par des représentations de cartes de caractéristiques, découplant l'expressivité des concepts (contrôlée par la parcimonie des concepts) de la localité structurelle (contrôlée par la parcimonie du domaine).
3. Caractérisation théorique :
   • Preuve que le relèvement agit comme un préconditionneur, accélérant la convergence.
   • Démonstration que, sous des conditions spécifiques (relèvement orthogonal, projection liée), les SAE-NOs relevés se réduisent aux SAE-NOs standards, assurant une équivalence architecturale.
   • Caractérisation de la dynamique d'entraînement montrant que les SAE-FNOs récupèrent des concepts sous un modèle génératif convolutif parcimonieux.
4. Cohérence temporelle émergente : Démonstration que les SAE-FNOs réutilisent naturellement les concepts à travers des motifs traduits (par exemple, chiffres en mouvement) en déplaçant les activations spatiales, sans nécessiter de contraintes temporelles explicites, d'entraînement au niveau de la séquence ou de mémoire temporelle.

4. Résultats expérimentaux

Les auteurs évaluent les SAE-FNOs par rapport aux SAE-MLP et aux SAE-CNN sur des données synthétiques, MNIST, CIFAR-10 et ImageNet.

• Récupération de concepts : Sur des données synthétiques avec des dictionnaires convolutifs de vérité terrain connus, les SAE-FNOs récupèrent avec succès les concepts sous-jacents, surpassant les SAE-CNN, en particulier sous de grandes erreurs d'initialisation.
• Stabilité à travers la parcimonie : Les SAE-FNOs apprennent des concepts dont les caractéristiques structurelles (mesurées par le score de Hoyer) restent stables lorsque les niveaux de parcimonie ($k$) varient. En revanche, les concepts SAE-MLP changent radicalement et perdent leur structure à mesure que $k$ augmente.
• Efficacité et expressivité : Les SAE-FNOs atteignent une précision de reconstruction plus élevée ($R^2$) avec moins de concepts actifs. Ils présentent un déclin plus net de l'utilisation des concepts, indiquant une réutilisation plus efficace des concepts structurés par rapport à la distribution plus plate des SAE-MLP.
• Généralisation à travers la discrétisation : Les SAE-FNOs entraînés à une résolution spécifique (par exemple, 28x28) généralisent à des résolutions plus élevées (par exemple, 56x56, 112x112) avec une augmentation minimale de l'erreur. Les SAE standards échouent à généraliser au-delà de leur discrétisation d'entraînement, montrant des augmentations nettes de l'erreur de reconstruction.
• Robustesse : Les SAE-FNOs présentent une plus grande stabilité sous des perturbations de bruit haute fréquence et des décalages spectraux par rapport aux SAE-MLP.
• Concepts corrélés : Contrairement aux SAE-MLP qui tendent vers des caractéristiques orthogonales, les SAE-FNOs apprennent une gamme plus large de concepts corrélés, car la paramétrisation fonctionnelle permet aux concepts de différer par l'endroit où ils s'expriment, réduisant ainsi les interférences.

5. Signification et affirmations

L'article affirme que le passage d'une paramétrisation vectorielle à une paramétrisation fonctionnelle étend fondamentalement les capacités des autoencodeurs parcimonieux. En allant au-delà de la « présence » d'un concept pour modéliser « l'expression structurée des concepts », les SAE-FNOs offrent :

• Invariance à la résolution : La capacité d'opérer sur des données à des résolutions non vues pendant l'entraînement.
• Stabilité structurelle : Des concepts qui restent cohérents à travers des niveaux de parcimonie et des tailles de domaine variables.
• Représentation efficace : Un mécanisme pour représenter des populations de données avec moins de concepts effectifs en les réutilisant à travers les domaines spatiaux.

Les auteurs positionnent les SAE-NOs comme un cadre fonctionnel général plutôt qu'une architecture spécifique, notant que la paramétrisation FNO est orthogonale au mécanisme de parcimonisation. Ils concluent que la paramétrisation fonctionnelle est centrale pour l'apprentissage de représentations pour des domaines structurés, soulignant l'importance de la manière dont les concepts sont paramétrés dans l'interprétabilité mécaniste.

Limites reconnues :
L'article note que les SAE-FNOs entraînent des coûts computationnels et mémoire plus élevés en raison des opérations de Fourier et des représentations de cartes de caractéristiques. De plus, le biais spectral vers des motifs lisses et basse fréquence peut être moins adapté aux données hautement irrégulières, discontinues ou tabulaires où les SAE basés sur des vecteurs pourraient rester préférables. L'étude empirique se concentre sur des ensembles de données de vision, laissant les applications aux modèles de base d'opérateurs de réseaux de neurones et à l'apprentissage automatique scientifique comme orientations futures.