Benefits of Low-Cost Bio-Inspiration in the Age of Overparametrization

1. Problématique

L'article aborde le défi de la conception de contrôleurs pour la robotique évolutive, en particulier dans un contexte de surparamétrisation (overparametrization). Alors que les tendances actuelles en apprentissage par renforcement (RL) et en intelligence artificielle privilégient l'augmentation massive du nombre de paramètres, cette approche peut être contre-productive lorsque l'espace d'entrée et de sortie est restreint, comme c'est souvent le cas en robotique modulaire à faible coût.

Le problème central est de déterminer si des architectures complexes (réseaux de neurones profonds) sont réellement nécessaires ou bénéfiques par rapport à des modèles bio-inspirés plus simples (comme les Générateurs de Motifs Centraux ou CPG), surtout lorsque les capacités sensorielles du robot sont limitées. L'étude vise à évaluer si l'ajout de paramètres améliore réellement la performance ou s'il entrave le processus d'apprentissage.

2. Méthodologie

Plateforme Robotique :

• Robot : Une instance du robot modulaire « ARIEL » (anciennement Revolve), de morphologie « araignée » avec 8 articulations (hinges) et 8 blocs structurels.
• Capacités : Le robot dispose d'un espace d'observation et d'action de dimension 8 (position des articulations), ce qui est très faible comparé aux benchmarks standards de RL (qui utilisent souvent plus de 100 observations).

Architectures Comparées :

1. Générateurs de Motifs Centraux (CPG) : Modèles bio-inspirés basés sur des oscillateurs couplés. Les auteurs ont varié la connectivité du réseau (distance de voisinage) pour créer différentes tailles de paramètres (de 8 à 36 paramètres).
2. Perceptrons Multi-Couches (MLP) : Réseaux de neurones artificiels classiques. Les auteurs ont fait varier la profondeur ($d \in \{0, 1, 2\}$) et la largeur ($w$) des couches cachées pour tester des architectures allant de simples perceptrons à des réseaux profonds.

Algorithmes d'Optimisation :

• CMA-ES (Covariance Matrix Adaptation Evolutionary Strategy) : Une méthode d'optimisation sans gradient, utilisée pour optimiser à la fois les CPG et les MLP.
• PPO (Proximal Policy Optimization) : Un algorithme d'apprentissage par renforcement basé sur le gradient, utilisé uniquement pour entraîner les MLP (via une politique acteur-critique).

Fonctions de Récompense (Fitness) :
Trois objectifs distincts ont été testés pour évaluer la robustesse des contrôleurs :

1. Vitesse ($R_s$) : Maximisation de la vitesse linéaire.
2. Économie ($R_g$) : Basée sur le benchmark Gymnasium "Ant", pénalisant les grandes forces de contrôle et les impacts au sol (favorise une locomotion économe).
3. Stabilité/Kernels ($R_k$) : Basée sur des fonctions à base radiale (RBF), visant une vitesse cible spécifique, une absence de mouvement latéral/vertical et une hauteur de corps constante.

Métrique Nouvelle :
Les auteurs introduisent la métrique « Impact des Paramètres » (Parameter Impact - $I_F$) définie comme le rapport entre la performance normalisée et le logarithme du nombre de paramètres ($\hat{f}/\log_{10}(p)$). Cela permet de mesurer l'efficacité réelle de l'ajout de paramètres.

3. Contributions Clés

1. Comparaison Systématique : Une étude comparative rigoureuse entre CPG et MLP sous différents régimes d'entraînement (Évolutionnaire vs RL) dans un espace de paramètres restreint.
2. Validation de l'Efficacité des Petits Modèles : Démonstration empirique que, pour des robots à faible dimensionnalité sensorielle, des architectures peu profondes (MLP peu profonds) et des CPG denses surpassent les architectures profondes.
3. Métrique d'Efficacité : Introduction de l'indicateur Parameter Impact pour quantifier le retour sur investissement des paramètres supplémentaires, montrant que l'augmentation des paramètres ne se traduit pas toujours par une meilleure performance.
4. Analyse de la Diversité : Évaluation de la capacité des architectures à générer une diversité de modes de marche (gaits) via une analyse en composantes principales (PCA) des trajectoires des pieds.

4. Résultats Principaux

• Performance Brute :

  • Les CPG bénéficient généralement d'une connectivité plus élevée (plus de paramètres) pour atteindre leurs meilleures performances.
  • Les MLP atteignent leur pic de performance avec des architectures très simples (peu de couches et peu de neurones). L'augmentation massive des paramètres (ex: réseaux profonds) n'apporte aucun gain significatif et peut même dégrader les performances (phénomène de surparamétrisation).
  • Pour la tâche de vitesse pure ($R_s$), les MLP entraînés par PPO sont compétitifs, mais pour les tâches d'économie ($R_g$) et de stabilité ($R_k$), les CPG et les perceptrons simples dominent.

• Efficacité (Parameter Impact) :

  • L'analyse via la métrique $I_F$ révèle que les stratégies évolutives (CMA-ES) sont globalement plus efficaces que le RL (PPO) en termes de rapport performance/paramètres.
  • Les CPG (notamment $c_4$ et $c_6$) et les MLP très petits (ex: $m_1^4$, $m_0^0$) offrent le meilleur compromis.
  • L'ajout de paramètres dans les MLP pour PPO n'apporte pas de gain proportionnel, rendant les CMA-ES et les architectures légères préférables pour les robots à ressources limitées.

• Transfert et Robustesse :

  • Les CPG montrent une meilleure capacité de transfert (cross-performance) entre les différentes fonctions de récompense. Leur biais inhérent vers les motifs rythmiques les aide à trouver des solutions viables même lorsque la fonction de récompense change.
  • Les MLP, en particulier ceux entraînés avec PPO sur la récompense d'économie ($R_g$), ont eu du mal à apprendre, convergeant souvent vers des mouvements très limités ou nuls.

• Diversité des Gaites :

  • Les MLP génèrent une plus grande diversité de mouvements (couverture plus large dans l'espace PCA), tandis que les CPG sont plus limités en diversité mais plus performants en moyenne grâce à leur biais structurel vers la locomotion.

5. Signification et Conclusion

Cet article remet en question la tendance actuelle du « plus c'est gros, mieux c'est » (plus de paramètres) dans le domaine de la robotique évolutive. Les résultats suggèrent que :

1. Le Bio-Inspiration à Bas Coût est Efficace : Les CPG, bien que simples, sont extrêmement efficaces pour la locomotion de robots modulaires à faible coût, surpassant souvent les réseaux de neurones complexes.
2. L'Importance de l'Adéquation Architecture-Tâche : Pour des espaces d'entrée/sortie de faible dimension, les architectures profondes sont inutiles et coûteuses. Des modèles légers (CPG denses ou MLP peu profonds) sont optimaux.
3. Avantage des Méthodes Évolutionnaires : Dans ce contexte spécifique, CMA-ES s'est révélé plus robuste et efficace que PPO, notamment parce qu'il évite la surcharge paramétrique des réseaux acteur-critique et gère mieux les espaces de recherche discrets ou complexes des CPG.

En conclusion, pour les robots aux capacités sensorielles limitées, l'approche « low-cost » (moins de paramètres, architectures bio-inspirées ou shallow) est non seulement suffisante, mais souvent supérieure en termes de performance, d'efficacité énergétique et de robustesse de l'apprentissage.