Résumé technique : Distiller un réservoir modulaire à travers un goulot d'étranglement génomique

Énoncé du problème

Les réseaux de neurones biologiques présentent une stratégie d'apprentissage duale : les processus évolutifs encodent des priors structurés et compressés (goulots d'étranglement génomiques) qui servent de cadres au développement, tandis que l'apprentissage continu affine ces structures par l'expérience. En revanche, les réseaux de neurones artificiels (ANN) reposent généralement sur un entraînement direct et de novo de tous les paramètres, ce qui peut s'avérer inefficace et manque des biais inductifs robustes présents dans les systèmes biologiques.

Le défi spécifique abordé est la génération d'architectures récurrentes modulaires complexes capables de résoudre des tâches temporelles difficiles avec une grande efficacité de paramètres et une grande robustesse, sans nécessiter l'entraînement de chaque connexion individuellement. Bien que le calcul de réservoir modulaire offre un cadre pour des dynamiques internes fixes, la connectivité entre les modules (poids de feedforward) nécessite souvent un entraînement extensif ou une initialisation aléatoire, ce qui limite la scalabilité et la robustesse.

Méthodologie

Les auteurs proposent un schéma d'apprentissage indirect inspiré du « goulot d'étranglement génomique », utilisant une architecture de réservoir modulaire hiérarchique. Le système se compose de deux composantes primaires :

1. Le réseau phénotypique (p-net) : Un réservoir modulaire composé de plusieurs modules récurrents. Chaque module contient des connexions d'entrée ($W_{IN}$) et récurrentes ($W_R$) fixes. Le réseau croît de manière hiérarchique : un nouveau module est ajouté pour résoudre des tâches de plus en plus difficiles (augmentation de $N$ dans le $N$-parity ou le $N$-DMS). Les connexions de feedforward ($W_F$) reliant le module précédent au nouveau sont les seuls poids internes qui varient entre les modules.
2. Le réseau génomique (g-net) : Un hyperréseau (un MLP à 3 couches avec 16 neurones par couche) qui agit comme un processus génératif. Au lieu d'entraîner $W_F$ directement via la rétropropagation, le g-net apprend une mise en correspondance compressée. Il prend l'indice du neurone source ($i$), l'indice du neurone cible ($j$) et l'indice du module ($m$) comme entrées (encodés sous forme de vecteurs denses) et produit le poids de feedforward correspondant : $W^F_{ij}(m) = g_\Theta(i, j, m)$.

Protocoles d'entraînement :
L'étude compare deux schémas d'apprentissage pour les poids de feedforward $W_F$ :

• Entraînement Direct (Phénotypique) : Les valeurs de $W_F$ sont initialisées aléatoment et mises à jour directement par rétropropagation pour toutes les tâches du curriculum, de manière analogue à la neuroplasticité.
• Entraînement Indirect (Génomique) : Les paramètres du g-net ($\Theta$) sont entraînés via la rétropropagation. Le g-net génère les poids $W_F$ pour le p-net. Le signal d'erreur est rétropropagé à travers le p-net pour mettre à jour le g-net, apprenant ainsi une règle générative compressée de la connectivité.

Tâches et Évaluation :
Les modèles sont évalués sur deux tests de mémoire de travail :

• N-Parity : Produire la parité des $n$ derniers bits ($1 \le n \le N$).
• N-Delayed Match-to-Sample (N-DMS) : Déterminer si le bit actuel correspond à l'un des $n$ bits précédents.

La performance est mesurée par l'efficacité des paramètres, la robustesse aux perturbations de poids et la compressibilité des matrices de poids résultantes (via la décomposition en valeurs singulières - SVD).

Contributions clés et Résultats

1. Efficacité des paramètres et mise à l'échelle (Scaling)

L'approche indirecte via le g-net démontre des propriétés de mise à l'échelle supérieures par rapport à l'entraînement direct.

• Entraînement Direct : Le nombre de paramètres entraînables augmente linéairement avec la complexité de la tâche ($N$) et quadratiquement avec la taille du module ($M$), soit $|\Theta| \propto NM^2$.
• Entraînement Indirect : Le nombre de paramètres entraînables (poids du g-net) reste presque constant lorsque $N$ augmente et évolue plus favorablement avec $M$.
• Résultat : L'approche par g-net résout des tâches d'égale complexité en utilisant des ordres de grandeur de paramètres entraînables en moins.

2. Robustesse à la perturbation

L'étude examine la stabilité du réseau en ajoutant un bruit gaussien aux poids de feedforward ($W_F$).

• Constat : Les réseaux entraînés indirectement (via le g-net) sont nettement plus robustes aux perturbations que les réseaux entraînés directement, particulièrement pour les petites tailles de modules ($M < 60$).
• Compromis : Bien qu'il existe un compromis entre efficacité et robustesse, l'approche par g-net atteint une frontière de Pareto supérieure, offrant une meilleure robustesse pour un niveau donné d'efficacité de paramètres.

3. Compressibilité de la connectivité

Les auteurs analysent la redondance structurelle des poids générés.

• Redondance inter-modules : Les poids entraînés directement présentent une faible corrélation entre les modules ($r \approx 0,05–0,14$). En revanche, les poids générés par le g-net sont hautement conservés entre les modules ($r \approx 0,67–0,90$), changeant de manière coordonnée.
• Réduction de dimension : En utilisant la SVD, les auteurs montrent que les poids générés par le g-net ne nécessitent que 2 à 4 composantes pour reconstruire 90 % de la fidélité de la matrice de poids, indépendamment de la taille du module ou de la tâche. Les poids entraînés directement nécessitent 21 à 26 composantes.
• Stabilité intra-module : Le rang des poids générés par le g-net reste stable et faible à travers la profondeur du curriculum. Les poids entraînés directement montrent un rang croissant (plus faible compressibilité) pour les modules récemment ajoutés, indiquant un manque de convergence.

Signification et Revendications

L'article affirme que la combinaison du calcul de réservoir modulaire hiérarchique avec un « goulot d'étranglement génomique » basé sur un hyperréseau crée un paradigme d'apprentissage qui imite l'efficacité de l'évolution et du développement biologiques.

• Biais Inductif : Le goulot d'étranglement génomique agit comme un régularisateur fort, induisant une structure compressée de bas rang dans la connectivité, qui est indépendante de la tâche. Cela permet au système d'apprendre des invariants dynamiques réutilisables plutôt que de s'ajuster excessivement (overfitting) aux détails spécifiques de la tâche.
• Dissociation Taille et Complexité : Les résultats suggèrent que la taille et la complexité du réseau peuvent être partiellement dissociées de la difficulté de la tâche. Un réseau génératif simple peut produire une connectivité hautement fonctionnelle et robuste sans nécessiter de comptes de paramètres massifs.
• Plausibilité Biologique : Cette approche fournit un modèle computationnel de la manière dont les processus évolutifs peuvent distiller des modules fonctionnels complexes en représentations génétiques compressées, qui sont ensuite décodées lors du développement pour produire des systèmes robustes et pré-câblés nécessitant un ajustement minimal.
• Efficacité Pratique : La méthode offre une voie pour entraîner des réseaux récurrents à grande échelle avec des exigences de mémoire et de calcul considérablement réduites, répondant aux limites économiques de l'entraînement de modèles très larges tout en maintenant ou en améliorant les performances.

Les auteurs notent que bien qu'ils aient utilisé la rétropropagation pour entraîner le g-net, les travaux futurs pourraient explorer explicitement les algorithmes évolutifs (neuroévolution) pour mieux aligner la méthode avec les processus biologiques et potentiellement exploiter des mécanismes tels que la recombinaison et l'effet Baldwin. Ils reconnaissent également que les hyperréseaux peuvent être sensibles aux conditions initiales, bien que les schémas d'initialisation standards se soient révélés suffisants dans leurs expériences.