Résumé Technique : Réseaux Croissance-Élagage-Gel pour la Navigation Olfactive

Énoncé du Problème

L'article aborde le défi de l'entraînement d'agents robotiques pour la navigation olfactive, une tâche caractérisée par des signaux épars et intermittents, des environnements non stationnaires et l'absence de grands ensembles de données standardisés (contrairement à la vision ou au langage). Les architectures d'apprentissage profond traditionnelles sont statiques et reposent sur d'immenses ensembles de données précollectés, ce qui les rend inadaptées à la robotique du « grand monde » où les agents doivent s'adapter en temps réel à des motifs moléculaires évolutifs et à des panaches turbulents. De plus, les approches standard d'apprentissage continu souffrent souvent d'oubli catastrophique (perte des connaissances antérieures) ou de perte de plasticité (incapacité à apprendre de nouvelles tâches), en particulier dans des environnements partiellement observables où l'agent doit inférer le contexte à partir d'un historique sensoriel limité.

Méthodologie : Cadre Croissance-Élagage-Gel (GPF)

Les auteurs proposent des réseaux Croissance-Élagage-Gel (GPF), un cadre adaptatif qui modifie dynamiquement l'architecture d'un réseau de neurones pendant l'exécution, en fonction de la complexité de l'environnement et des performances d'apprentissage. Le cadre intègre trois mécanismes fondamentaux :

1. Croissance : Le réseau commence avec une seule couche cachée. De nouvelles couches sont ajoutées uniquement lorsque la perte de validation stagne (dépassant un seuil de patience $\rho_k$ sans amélioration), permettant au modèle d'augmenter sa capacité à mesure que la complexité de la tâche (par exemple, la turbulence du panache) l'exige.
2. Élagage : Pour maintenir l'efficacité et éviter la surparamétrisation, le réseau élague les neurones « mous ». Une valeur de croyance ($h \in [0, 1)$) est attribuée à chaque neurone, s'incrémentant lorsque l'amplitude de son poids ou son activation reste constamment élevée. Les neurones ayant de faibles valeurs de croyance et de petits poids sont supprimés. Cela s'appuie sur l'élagage basé sur l'amplitude (LeCun et al., 1989) mais est augmenté par des valeurs de croyance pour protéger les motifs épars mais pertinents.
3. Gel : Pour prévenir l'oubli catastrophique, les couches qui se stabilisent (les poids changent minimalement sur une période de patience $\rho_f$) sont gelées. Cela préserve la dynamique temporelle apprise lors des premières rencontres tout en permettant aux couches plus récentes de rester plastiques.

Fondements Théoriques

La méthodologie repose sur la Théorie des Matrices Aléatoires Non Linéaires (RMT). Les auteurs étendent les travaux de Pennington & Worah (2017), qui ont établi l'invariance spectrale pour les réseaux à une seule couche cachée, aux modèles d'apprentissage continu à $n$ couches.

• Ils démontrent que, à mesure que des couches sont ajoutées, la composition des valeurs propres des poids du réseau est préservée.
• En gelant les couches stables, le cadre garantit que la distribution spectrale de la matrice de Gram conserve sa forme idéale (distribution de Marchenko-Pastur), assurant une isométrie dynamique et une propagation stable des gradients même lorsque la profondeur du réseau augmente.
• L'analyse théorique (Théorème 1) prouve que, sous des hypothèses d'homogénéité des couches, la transformée de Stieltjes de la distribution spectrale empirique converge vers un point fixe unique, assurant la stabilité lors d'une adaptation indéfinie.

Politique et Entraînement

Le cadre GPF est évalué à l'aide de SARSA Espéré, un algorithme d'apprentissage par différence temporelle choisi pour sa robustesse dans des environnements partiellement observables avec des récompenses éparses (par rapport à l'apprentissage Q gourmand). L'agent opère dans un panache d'odeur turbulent simulé utilisant un modèle de filament de Farrell–Murlis. L'espace d'états est discrétisé en 392 états uniques basés sur des bins de concentration d'antennes bilatérales et des octants de direction du vent.

Contributions Clés

1. Cadre Adaptatif : Un cadre novateur fondé sur la RMT pour des agents d'apprentissage par renforcement adaptatifs dans des environnements partiellement observables et non stationnaires. Il combine croissance, élagage et gel pour équilibrer plasticité et stabilité.
2. Extension Théorique : Une extension des travaux de Pennington & Worah (2017) et Martin & Mahoney (2021) pour montrer que l'invariance spectrale des valeurs propres s'applique aux réseaux multicouches qui croissent indéfiniment, fournissant une base théorique pour un apprentissage continu économe en ressources.
3. Critères de Réglage : Des critères spécifiques pour stabiliser l'apprentissage continu, incluant des variables de patience pour la croissance des couches ($\rho_k$), l'élagage ($\rho_p$) et le gel ($\rho_f$), ainsi qu'un mécanisme de valeur de croyance pour le durcissement des neurones.
4. Validation Empirique : Démonstration que les GPF atteignent des taux de réussite élevés en navigation olfactive et preuves de généralisation à d'autres domaines (Atari, CIFAR-10, GPT-2).

Résultats Expérimentaux

Navigation Olfactive (Tâche Principale)

• Performance : L'agent GPF a atteint un taux de réussite de 98 % sur la distribution d'entraînement et 94 % sur les essais retenus à travers diverses initialisations aléatoires.
• Évolution de l'Architecture : Le réseau a commencé avec une couche et est passé à quatre couches grâce à trois événements de croissance.
  • Après le premier passage de croissance-élagage, le réseau a conservé 47,9 % des poids.
  • Les passages suivants ont été plus agressifs, conservant respectivement 19,6 % et 9,9 % des poids, aboutissant à une architecture à quatre couches hautement sparse.
• Comparaison : L'agent GPF a nettement surpassé une base statique (une seule couche cachée) et a montré une stabilité supérieure par rapport aux agents d'apprentissage Q, qui ont lutté face aux récompenses éparses et aux panaches non stationnaires.

Expériences de Généralisation

Les auteurs ont testé les GPF sur trois tâches supplémentaires pour démontrer leur généralisabilité, bien qu'ils précisent explicitement ne pas revendiquer des performances de pointe sur tous les référentiels :

• Classification d'Images (CIFAR-10) : Les modèles GPF ont montré une convergence plus stable de la perte de validation par rapport aux bases statiques, avec des spectres de valeurs propres adhérant à la distribution de Marchenko-Pastur.
• Apprentissage par Renforcement (Atari - Ms. Pacman) : Les agents GPF ont présenté une volatilité réduite des récompenses de validation par rapport aux politiques statiques.
• Modélisation du Langage (GPT-2 sur TinyShakespeare) : La variante GPF a atteint une convergence régulière et a cessé de croître après avoir atteint un nombre maximal de couches, tandis que la base statique a montré une perte volatile.

Importance et Revendications

L'article affirme que les réseaux GPF offrent une solution pratique pour l'apprentissage robotique déployable en périphérie où les données sont rares et les environnements dynamiques. En ancrant l'architecture dans la RMT, les auteurs fournissent un mécanisme permettant aux agents d'allouer la capacité de représentation uniquement là où les signaux environnementaux sont complexes, tout en préservant les connaissances acquises par le gel.

Les auteurs font preuve de modestie dans leurs revendications, notant que :

• La motivation et la validation principales concernent la robotique olfactive, une modalité dépourvue de référentiels standardisés.
• Les résultats de généralisation (Atari, CIFAR, GPT-2) sont présentés comme des preuves à l'appui du potentiel du cadre, et non comme des référentiels de pointe définitifs.
• Des travaux futurs sont nécessaires pour valider les GPF sur un éventail plus large de tâches et pour les intégrer avec l'apprentissage fédéré et des simulateurs de dynamique des fluides computationnelle (CFD) plus complexes.

L'ouvrage conclut que les GPF répondent avec succès à la « perte de plasticité » identifiée dans la littérature récente (Dohare et al., 2024) en permettant aux agents de croître, d'élaguer et de geler en réponse aux données en temps réel, offrant ainsi une voie vers des systèmes d'apprentissage continu véritablement adaptatifs pour la robotique.