Résumé Technique : Généralisation d'Architecture avec MetaNCA

Énoncé du Problème

Les paradigmes actuels de l'apprentissage profond reposent lourdement sur la rétropropagation et l'optimisation par gradient, ce qui présente des limitations significatives concernant la consommation de mémoire, la rigidité architecturale et l'efficacité des données. Les systèmes biologiques, en revanche, développent des circuits neuronaux complexes grâce à des interactions locales et une auto-organisation, régies par des règles généralisées encodées dans un génome bien plus petit que le circuit résultant.

Les approches existantes tentent de combler ce fossé mais font face à des contraintes spécifiques :

• Les Hyperréseaux (Hypernetworks) génèrent généralement des poids de manière globale pour des architectures cibles fixes, manquant de véritable interaction locale.
• Les méthodes basées sur la plasticité offrent des mises à jour locales mais peinent souvent à se généraliser à des architectures inédites.
• Les Automates Cellulaires Neuronaux (NCA) et les programmes de développement (par exemple, HyperNCA) peuvent générer des paramètres via des règles locales mais opèrent souvent sur des grilles fixes ou font croître la topologie à partir de zéro, plutôt que de générer des poids pour une distribution d'architectures diverses et pré-spécifiées.

Il existe un manque de méthodes combinant des mises à jour de poids purement locales sur un graphe de calcul avec un apprentissage de bout en bout à travers une distribution d'architectures.

Méthodologie : MetaNCA

Les auteurs introduisent Meta Neural Cellular Automata (MetaNCA), un cadre qui apprend une règle locale unique pour auto-organiser les poids de réseaux de neurones artificiels.

Mécanisme Central

MetaNCA traite les poids d'un réseau de tâche comme des « pixels » sur une « grille » basée sur un graphe. Un réseau de règle locale distinct, $R$, met à jour de manière itérative les poids ($w$) et les états cachés associés ($\vec{h}$) d'un réseau de tâche en utilisant uniquement des informations locales provenant du graphe de calcul.

• Voisinage Local : Pour tout poids $w$, l'entrée du réseau de règle consiste en ses voisins directs (poids post-synaptiques) et ses voisins indirects (poids pré-synaptiques), ainsi que leurs états cachés correspondants.
• Processus Itératif : Le système met à jour les poids sur $T=10$ pas de temps. Le réseau de tâche est mis à jour exclusivement par les sorties de la règle locale, tandis que le réseau de règle lui-même est entraîné via la rétropropagation à travers le temps (BPTT).

Architecture : Transformateur de Poids (Weight Transformer)

Pour agréger les signaux des voisins, les auteurs proposent une nouvelle architecture de Transformateur de Poids pour le réseau de règle locale :

1. Attention Linéaire : Le réseau utilise une attention linéaire avec une carte de caractéristiques basée sur ELU ($\psi(x) = \text{ELU}(x) + 1$) pour agréger les poids et les états cachés des voisinages directs et indirects. Cela évite de matérialiser la matrice d'attention complète, assurant une mise à l'échelle linéaire avec le nombre de voisins.
2. Encodage Positionnel Rotatif : Des matrices de rotation dépendantes de la position sont appliquées aux requêtes (queries) et clés (keys) pour encoder l'information structurelle (indice de couche, indices de neurones, positions de noyaux/kernels).
3. Vecteur de Perception : La sortie du mécanisme d'attention (signal direct $a_f$ et signal indirect $a_b$) est concaténée avec le poids actuel et l'état caché pour former un vecteur de perception : $v_{perception} = [w, \vec{h}, a_f, a_b]$.
4. Règle de Mise à Jour : Un réseau de neurones à propagation avant (MLP) traite ce vecteur pour produire les mises à jour $\Delta w$ et $\Delta \vec{h}$.

Stratégie d'Entraînement

• Méta-Entraînement : Le réseau de règle locale est entraîné sur un petit ensemble d'architectures de réseaux de tâches (2 à 5 configurations).
• Objectif de Généralisation : La règle doit générer des paramètres valides pour diverses architectures (variations de largeurs de couches, tailles de noyaux et nombres de canaux) simultanément. Cela force la règle à apprendre des stratégies de développement généralisées plutôt qu'à mémoriser des configurations spécifiques.
• Mises à jour Stochastiques : Pour simuler les mises à jour biologiques asynchrones, la règle est appliquée de manière stochastique à 80 % des poids par étape.

Contributions Clés

1. Première Règle Locale Trans-Architecture : MetaNCA est la première méthode capable d'apprendre une règle locale unique capable d'auto-organiser les poids à travers une distribution d'architectures inédites possédant des millions de paramètres.
2. Transformateur de Poids : L'introduction d'un mécanisme d'attention linéaire spécifiquement conçu pour agréger les signaux de voisinage sur un graphe de calcul pour la génération de poids.
3. Généralisation d'Architecture : Capacité démontrée à générer des poids pour des MLP (Feedforward), des CNN et des ResNets sans rétropropagation sur le réseau de tâche lui-même.
4. Compression : Le cadre agit comme une méthode de distillation de modèle flexible en architecture, compressant le processus d'entraînement de plusieurs grands réseaux en un seul petit réseau de règle (par exemple, une compression de 16x pour des réseaux de 2 millions de paramètres).

Résultats Expérimentaux

Les auteurs ont évalué MetaNCA sur MNIST et CIFAR-100 à travers trois familles d'architectures :

• MLP Denses (MNIST) : Entraîné sur 3 à 5 architectures, la règle s'est généralisée à des largeurs de couches inédites. Avec 5 architectures d'entraînement, elle a atteint une précision $\ge 90 \%$ sur la plupart des configurations, y compris celles avec de petites couches qui performaient auparavant mal.
• Réseaux Convolutionnels (MNIST) : Entraîné sur seulement deux architectures (tailles de noyaux 3 et 5), la règle a atteint jusqu'à 97 % de précision sur des tailles de noyaux inédites (ex: taille 4), la performance se dégradant progressivement à mesure que les configurations s'éloignent des données d'entraînement.
• ResNets (CIFAR-100) : Entraîné sur deux largeurs de canaux de base ($c=16, 20$), la règle s'est généralisée aux architectures proches, atteignant 29,9 % de précision. La performance chute significativement pour les architectures de plus faible capacité ($c \le 14$), indiquant que la règle a appris des dynamiques spécifiques à une certaine plage de capacité.
• Comparaison avec les Références (Baselines) : Sur MNIST, les réseaux générés par MetaNCA égalent les références entraînées avec Adam (97 % contre 96,9 %). Sur CIFAR-100, MetaNCA (29,9 %) accuse un retard par rapport aux références entraînées avec Adam (41–42 %), bien que les auteurs notent que cet écart pourrait potentiellement être réduit avec plus d'architectures d'entraînement ou un ajustement des hyperparamètres.
• Structure des Poids : Les poids générés par MetaNCA présentaient une symétrie et une plus grande parcimonie (sparsity) par rapport aux poids entraînés avec Adam, malgré une précision similaire.

Signification et Revendications

L'article affirme que MetaNCA démontre que des règles d'auto-organisation locales peuvent effectivement générer des paramètres de réseaux de neurones à travers diverses architectures sans coordination globale. En déplaçant l'accent de la mise à l'échelle des détails spécifiques du modèle vers l'apprentissage des règles qui les génèrent, MetaNels offre une voie vers des modèles plus flexibles, compressibles et adaptables.

Les auteurs soulignent que :

• La règle locale apprend un attracteur vers des configurations de poids performantes à partir d'une initialisation aléatoire.
• Le réseau de règle sert de description compressée du processus de génération, capable de se décompresser en réseaux de tailles variables.
• La diversité architecturale lors de la phase d'entraînement est critique ; augmenter le nombre d'architectures d'entraînement améliore la couverture de généralisation.

Limites et Travaux Futurs

Les auteurs notent modestement que la généralisation est plus forte dans la plage de capacité couverte par les architectures d'entraînement et se dégrade pour les réseaux nettement plus petits ou plus grands. De plus, bien que la définition du voisinage soit générale, l'instanciation pour de nouvelles familles d'architectures (ex: topologies convolutionnelles spécifiques) nécessite toujours de mapper la définition à cette famille de connectivité.

Les travaux futurs visent à :

• Conditionner la règle locale directement sur des signaux de données (activations et valeurs de perte) pour améliorer la généralisation à de nouvelles tâches.
• Explorer le MetaNCA multi-tâche, où une seule règle génère des réseaux pour plusieurs tâches simultanément (une capacité déjà démontrée dans des tests préliminaires).
• Entraîner une seule règle à travers plusieurs familles d'architectures distinctes plutôt qu'une règle par famille.