Résumé Technique : Apprentissage d'une Structure Latente Compositionnelle avec des Réseaux Vectoriels

Énoncé du Problème

Les réseaux profonds modernes reposent généralement sur un substrat de paramètres denses partagés pour implémenter des calculs diversifiés. Par la rétropropagation de l'erreur, des caractéristiques, compétences et comportements distincts deviennent encodés dans des directions superposées des mêmes matrices de poids, un phénomène que les auteurs qualifient d'enchevêtrement des poids. Dans ce régime, les améliorations apportées à un comportement affectent souvent involontairement les autres, car les gradients sont agrégés à la sortie et propagés à travers toutes les couches. Par conséquent, les réseaux standards manquent de « responsabilité adressable » dans l'espace des poids : ils ne stockent pas naturellement les composantes apprises comme des objets persistants et réutilisables pouvant être isolés, recombinés ou mis à jour indépendamment. Bien que les méthodes d'interprétabilité a posteriori puissent parfois identifier des circuits fonctionnels, l'architecture elle-même n'impose pas une décomposition en unités réutilisables. Cette limitation entrave la généralisation compositionnelle, où un système doit recombiner des facteurs familiers en configurations nouvelles sans réentraînement. Les approches existantes, telles que les mélanges d'experts (Mixture-of-Experts) ou les modèles centrés sur les objets, introduisent un routage ou une modularité, mais fonctionnent souvent via un routage feedforward sur des modules denses ou ne rendent pas explicite la responsabilité par échantillon dans l'espace des poids lui-même.

Méthodologie : Le Réseau Vectoriel (VN)

L'architecture du Réseau Vectoriel (VN) répond à ces limitations en remplaçant les matrices de poids denses et fixes par une bibliothèque d'atomes de poids de rang 1 réutilisables. Le mécanisme central implique un processus en deux phases : une inférence rapide pour composer des transformations spécifiques à l'entrée, et un apprentissage lent pour mettre à jour le dictionnaire sous-jacent.

1. Architecture et Atomes de Rang 1

Chaque couche $l$ d'un VN est paramétrée non pas par une seule matrice $W$, mais par un dictionnaire de $K_l$ atomes de poids de rang 1. Chaque atome $i$ est défini par une paire de vecteurs de code appris : un vecteur d'entrée $s_{l,i}$ et un vecteur de sortie $u_{l,i}$. Ensemble, ils forment un opérateur de rang 1 :
$$A^{(l,i)} = u_{l,i} s_{l,i}^\top$$
Pour toute entrée donnée $x_l$, le réseau infère un ensemble clairsemé de coefficients $g_l$ (où $g_{l,i}$ pondère la contribution de l'atome $i$). La matrice de poids effective et spécifique à l'entrée $W^*_l(x_l)$ est synthétisée comme une combinaison linéaire de ces atomes :
$$W^*_l(x_l) = \sum_{i=1}^{K_l} g^*_{l,i}(x_l) A^{(l,i)}$$
Cela permet au réseau de composer une transformation adaptée pour chaque échantillon en utilisant un sous-ensemble réduit du dictionnaire partagé, plutôt que d'appliquer une matrice fixe monolithique.

2. Inférence Rapide par Minimisation d'Énergie

Pour chaque échantillon, le VN effectue une inférence rapide pour déterminer les coefficients clairsemés $g_l$. Cela est réalisé en minimisant une fonction d'énergie locale à la couche $E_l$ qui équilibre trois termes :

1. Reconstruction de l'entrée : Minimisation de l'erreur entre l'entrée $x_l$ et la reconstruction $S_l g_l$ (où $S_l$ contient les vecteurs de code côté entrée).
2. Cohérence Descendante : Minimisation de l'erreur entre la cible descendante $h_{l,target}$ (fournie par la couche supérieure) et le message d'interface $U_l g_l$ (où $U_l$ contient les vecteurs de code côté sortie).
3. Clairsemé : Une pénalité $\ell_1$ $\lambda_l \|g_l\|_1$ pour imposer un ensemble actif clairsemé.

L'inférence procède par des balayages itératifs ascendants et descendants (ressemblant à un réglage encodeur-décodeur) utilisant des étapes de gradient proximal (style ISTA/FISTA). Le processus converge vers un point fixe clairsemé où seuls quelques atomes sont actifs. La couche supérieure peut également imposer une contrainte top-$k$ stricte.

3. Apprentissage Lent : Mises à Jour Atomo-Hebbiennes

Une fois l'inférence rapide convergée, l'apprentissage lent met à jour les atomes de poids. Crucialement, les mises à jour sont appliquées uniquement aux atomes ayant des coefficients non nuls ($g^*_{l,i} \neq 0$). La règle de mise à jour, nommée Atomo-Hebbienne, est une mise à jour résiduelle locale pondérée par la responsabilité inférée :
$$S_l \leftarrow S_l + \rho^S_l r^x_l (g^*_l)^\top$$
$$U_l \leftarrow U_l + \rho^U_l r^h_l (g^*_l)^\top$$
où $r^x_l$ et $r^h_l$ sont les résidus de reconstruction et descendants, respectivement. L'analyse théorique (via le théorème de Danskin) prouve que ces mises à jour locales sont exactement équivalentes aux gradients implicites de l'énergie libre globale, malgré le fait que le processus d'inférence soit traité comme une boîte noire. Cela garantit que l'attribution de crédit est localisée aux atomes de poids spécifiques responsables de l'explication actuelle, empêchant l'enchevêtrement diffus des poids observé dans la rétropropagation standard.

Contributions Clés

1. Atomes de Poids de Rang 1 comme Bâtisseurs : Les auteurs proposent une architecture récurrente hiérarchique où les couches sont composées d'atomes de rang 1 réutilisables, rendant les fonctions du réseau adressables, inspectables et composables.
2. Poids Effectifs Définis par l'Inférence : La matrice de poids effective pour un échantillon n'est pas fixe mais inférée par minimisation d'énergie sur des coefficients clairsemés. Cela sépare la sélection rapide des composantes de l'apprentissage lent du dictionnaire.
3. Règle d'Apprentissage Atomo-Hebbienne : Une règle d'apprentissage qui met à jour uniquement les atomes de poids sélectionnés en utilisant des signaux résiduels locaux pondérés par les coefficients inférés. Cela limite le chevauchement entre des mises à jour non liées et préserve la réutilisabilité des composantes apprises.
4. Limitation Structurelle du Chevauchement des Mises à Jour des Poids : En restreignant les mises à jour à l'ensemble actif clairsemé, l'architecture limite structurellement l'enchevêtrement des poids, garantissant que l'apprentissage d'un comportement ne dégrade pas nécessairement les autres.

Résultats Expérimentaux

Les auteurs évaluent le VN sur quatre benchmarks couvrant des signaux 1D, un décodage spatial 2D, la dynamique à N corps et le MNIST compositionnel. Dans tous les cas, les modèles sont entraînés in-distribution (ID) et testés sur des cas out-of-distribution (OOD) impliquant des combinaisons nouvelles de facteurs familiers.

• Composition Spatiale : Dans une tâche nécessitant la reconstruction de bosses gaussiennes à des positions non vues, les CNN standards et les VAE ont montré une erreur OOD significative. Le VN a maintenu une erreur uniformément faible sur tout le domaine spatial, surpassant à la fois les bases denses et les décodeurs factorisés manuellement.
• Composition de Fonctions : Sur des tâches de reconstruction de signaux 1D et de prédiction masquée impliquant des sommes et des compositions imbriquées de fonctions sinus, cosinus, polynomiales et gaussiennes, le VN a démontré une stabilité supérieure. Alors que de puissants modèles de séquence (Transformers, Mamba) ont bien performé sur la reconstruction ID et OOD simple, ils se sont dégradés de manière significative sur les tâches de prédiction masquée nécessitant la récupération d'une structure réutilisable. Le VN a obtenu l'avantage le plus net dans ces tests plus stricts.
• Dynamique à N Corps : Dans un benchmark physique impliquant des champs de forces mixtes (gravité, traînée, Lorentz, ressort) et des nombres de corps variables, le VN a maintenu une faible erreur sous des décalages OOD complexes (forces multiples, nombre de corps réduit). Les bases de référence telles que les MLP, les GNN et les Transformers ont montré de fortes augmentations d'erreur lorsque les forces étaient combinées ou que le nombre de corps changeait, tandis que le VN restait robuste.
• Composition d'Images : Sur les tâches de reconstruction de chiffres MNIST et de transformation dynamique (Rotation/Translation/Mise à l'échelle), le VN a largement surpassé les autoencodeurs dans des configurations OOD impliquant des mélanges additifs, des projections max et des compositions de transformations complexes. L'avantage était d'environ un ordre de grandeur dans les conditions OOD les plus fortes.

Sur tous les benchmarks, le VN a égalé les bases de référence solides sur les performances ID, mais a obtenu une erreur OOD substantiellement plus faible (souvent d'un ordre de grandeur) lorsque des facteurs familiers devaient être recombinés de nouvelles manières.

Signification et Revendications

L'article soutient que les Réseaux Vectoriels rendent la généralisation compositionnelle une propriété structurelle de l'architecture et du processus d'inférence, plutôt qu'un sous-produit fragile de l'ajustement de nombreux comportements dans un substrat dense partagé.

• Responsabilité Explicite dans l'Espace des Poids : Contrairement aux réseaux standards où la responsabilité est implicite et enchevêtrée, le VN infère explicitement quels atomes de poids sont responsables d'un échantillon avant de les mettre à jour. Cette séparation « recomposition rapide / stockage lent » localise la plasticité.
• Composition au Niveau du Mécanisme : Les résultats suggèrent que le VN apprend des composantes réutilisables au niveau du mécanisme (par exemple, des lois de forces spécifiques ou des facteurs spatiaux) qui peuvent être recombinées pour expliquer de nouvelles entrées, plutôt que de simplement interpoler dans la distribution d'entraînement.
• Efficacité et Évolutivité : Les auteurs suggèrent qu'une fois une bibliothèque de facteurs latents apprise, de nouvelles entrées peuvent être traitées par recomposition, offrant une voie naturelle vers une efficacité accrue des données, en particulier dans la « longue traîne » des combinaisons non vues.
• Limitations : L'article reconnaît que l'implémentation actuelle repose sur une inférence récurrente clairsemée, qui est plus lente qu'un seul passage feedforward. Les auteurs notent que cette inférence pourrait potentiellement être approximée par des mises à jour feedforward apprises dans un travail futur, mais la forme actuelle privilégie l'interprétabilité et la modularité.

En résumé, le Réseau Vectoriel propose un passage du routage d'états (comme dans les Transformers) à la responsabilité dans l'espace des poids, où le calcul infère d'abord une responsabilité clairsemée sur des composantes de poids réutilisables, et où l'apprentissage agit ensuite sélectivement sur cette structure inférée. Cette approche vise à résoudre le problème de l'enchevêtrement des poids et à permettre une généralisation robuste à de nouvelles compositions de facteurs familiers.