Infant Spontaneous Movement Noise Improves Exploration in Deep RL

Résumé Technique : Le bruit des mouvements spontanés du nourrisson améliore l'exploration en apprentissage par renforcement profond (Deep RL)

Énoncé du problème
L'exploration dans l'apprentissage par renforcement profond (RL) est fréquemment implémentée à l'aide d'un bruit blanc (gaussien) temporellement non corrélé. Bien qu'efficace, la littérature récente suggère que le bruit « coloré » temporellement corrélé peut améliorer l'efficacité de l'exploration en générant des trajectoires plus fluides qui couvrent l'espace d'états plus efficacement. Cependant, la plupart des approches existantes utilisent des paramètres de bruit statiques (par exemple, un bruit rose constant). Cet article étudie si un bruit d'action inspiré de la trajectoire développementale des mouvements spontanés du nourrisson peut améliorer davantage l'exploration. Plus précisément, il s'agit de déterminer si imiter les changements de propriétés statistiques de la variabilité motrice biologique pendant le développement précoce peut engendrer des stratégies d'apprentissage plus efficaces pour les agents artificiels.

Méthodologie
La recherche suit une méthodologie en trois étapes : la caractérisation des données biologiques, la génération de bruit synthétique et l'intégration dans des algorithmes de RL.

1. Caractérisation du mouvement du nourrisson :
   Les auteurs ont analysé un ensemble de données longitudinales de vidéos d'enregistrement de quatre nourrissons (âgés de 8 à 30 semaines) enregistrés en position décubitus dorsal. À l'aide d'OpenPose, des points clés 2D des effecteurs terminaux (poignets et chevilles) ont été extraits pour calculer les séries temporelles de vitesse. La structure temporelle de ces mouvements a été quantifiée par une analyse de la densité spectrale de puissance (PSD) via la méthode de Welch. La couleur du bruit, définie par l'exposant spectral $\beta$ dans la relation de loi de puissance $S(f) \propto f^{-\beta}$, a été estimée pour chaque session.

2. Calendrier de bruit développemental :
   L'analyse a révélé une forte corrélation linéaire ($R=0,70$) entre l'exposant spectral $\beta$ et l'âge du nourrisson, $\beta$ augmentant d'environ 0,69 à 8 semaines à 0,88 à 30 semaines. Sur cette base, les auteurs ont proposé un calendrier de « bruit de bébé » où la couleur du bruit $\beta(t)$ augmente linéairement pendant l'entraînement d'un agent de RL, allant de 0,7 à 0,9 en fonction de la fraction du temps total d'entraînement $t/T$.

3. Génération de bruit et intégration :
   Pour générer du bruit coloré efficacement, les auteurs ont employé un façonnage spectral : génération de blocs de bruit blanc, transformation vers le domaine fréquentiel via FFT, mise à l'échelle du spectre pour correspondre à la PSD cible ($f^{-\beta}$), puis transformation inverse vers le domaine temporel. Ce bruit a été intégré dans deux algorithmes de contrôle continu :

• TD3 (Déterministe) : A remplacé le bruit gaussien additif standard par le bruit coloré programmé.
• SAC (Stochastique) : A remplacé la composante de bruit blanc dans l'astuce de reparamétrage par le bruit coloré programmé.

Principales contributions

• Quantification du développement moteur : L'article fournit la première caractérisation quantitative de la transition des comportements stochastiques vers les comportements structurés au début de l'enfance en utilisant les pentes de la PSD, identifiant une augmentation développementale de l'auto-corrélation temporelle ($\beta$) entre 8 et 30 semaines.
• Exploration programmée de manière développementale : Il introduit un nouveau mécanisme d'exploration où la couleur du bruit est recuite (annealed) au cours du temps d'entraînement, reflétant le motif de développement observé chez le nourrisson.
• Validation empirique : L'étude démontre que cette stratégie d'exploration inspirée du nourrisson produit un comportement d'exploration structuré et améliore l'efficacité de l'apprentissage par rapport aux stratégies conventionnelles de bruit statique dans plusieurs environnements.

Résultats
Les expériences ont été menées sur 12 environnements de contrôle continu (contrôle classique, locomotion et labyrinthes) en utilisant les algorithmes TD3 et SAC. La performance a été évaluée à l'aide de l'aire sous la courbe d'apprentissage (AUC) des rendements normalisés.

• Performance : La stratégie du « bruit de bébé » a obtenu le score d'AUC normalisé le plus élevé en moyenne sur tous les algorithmes et environnements. Elle a été suivie de près par les bruits colorés statiques (blush $\beta=0,5$, rose $\beta=0,75$ et rose $\beta=1,0$), qui ont tous surpassé le bruit blanc ($\beta=0$). Les bruits à forte corrélation (bruit rouge $\beta=2$ et Ornstein-Uhlenbeck) ont donné les moins bons résultats.
• Cohérence : Bien qu'aucun type de bruit ne domine systématiquement chaque environnement spécifique, la stratégie du bruit de bébé est la plus cohérente, avec seulement trois scores tombant en dessous de la moyenne nulle sur 24 conditions.
• Signification statistique : Dans les comparaisons appariées contre le bruit blanc, le bruit de bébé est la seule stratégie présentant un taux de victoire significativement supérieur au hasard (56 %, $p < 0,05$). Les bruits colorés statiques (blush, rose, rose) ont montré des AUC moyennes plus élevées mais n'ont pas atteint de taux de victoire statistiquement significatifs par rapport au bruit blanc dans l'analyse appariée.

Signification et affirmations
Les auteurs affirment que leur travail s'ajoute au corpus croissant de preuves suggérant que le développement moteur et cognitif humain peut fournir des orientations utiles pour la conception de mécanismes d'apprentissage chez les agents artificiels. L'étude postule que le changement de couleur du bruit développemental reflète une transition des mouvements spontanés exploratoires vers des comportements orientés vers un but. En traduisant cette intuition biologique en un curriculum de dynamique d'exploration, l'article démontre que les agents de RL profond peuvent bénéficier d'une adaptation continue à une exploration de plus en plus structurée et temporellement corrélée. Les auteurs maintiennent une position modeste, notant que bien que les résultats soient prometteurs, la prochaine étape consiste à confirmer si ces bénéfices s'étendent à des environnements avec des incarnations infantiles plus complexes (par exemple, des corps en croissance) et à explorer davantage le lien entre la science du développement et l'intelligence artificielle.