Résumé technique : Apprendre ce qui compte : Objectifs adaptatifs d'information pour l'exploration robotique

Énoncé du problème

La conception d'objectifs d'information apprenables pour l'exploration robotique constitue un défi majeur. Bien que la Conception Expérimentale Bayésienne Optimale (BOED) offre un cadre rigoureux pour orienter l'exploration vers des données réduisant l'incertitude sur les paramètres du modèle, son application pratique dans les systèmes robotiques de haute dimension est entravée par deux problèmes principaux :

1. Observabilité et Identifiabilité faibles : Dans les systèmes complexes, de nombreuses directions de paramètres sont faiblement observables ou non identifiables. Optimiser naïvement tous les paramètres peut conduire à des directions d'exploration erronées.
2. Influence des paramètres de nuisance : Même lorsque des paramètres critiques sont sélectionnés, l'omission de « paramètres de nuisance » (ceux qui ne sont pas explicitement ciblés) peut fausser les mesures d'information. Ces directions omises restent souvent couplées aux directions critiques, conduisant à des stratégies d'exploration sous-optimales qui échouent à isoler les véritables dynamiques apprenables.

Les méthodes actuelles reposent souvent sur des ensembles de paramètres de faible dimension, curatés par des experts, en supposant que les paramètres non sélectionnés ont une influence négligeable. Cette hypothèse échoue fréquemment dans des scénarios réels où les paramètres physiques (par exemple, le frottement, la masse, la dynamique des moteurs) sont interdépendants et difficiles à pré-spécifier.

Méthodologie : Conception Expérimentale Quasi-Optimale (QOED)

Les auteurs proposent la Conception Expérimentale Quasi-Optimale (QOED), un objectif d'information adaptatif fondé sur la théorie de la conception expérimentale optimale. La QOED répond aux défis de l'observabilité et des paramètres de nuisance grâce à un processus en trois étapes intégré à l'Optimisation de Politique Basée sur un Modèle (MBPO).

1. Identification des paramètres critiques (en ligne)

Au lieu de s'appuyer sur des paramètres pré-spécifiés, la QOED identifie dynamiquement un ensemble compact de paramètres identifiables :

• Estimation des paramètres : Elle estime d'abord les valeurs actuelles des paramètres ($\hat{\phi}$) à partir des données de trajectoire observées en utilisant un optimiseur sans dérivée (Méthode de l'Entropie Croisée) pour faire correspondre les trajectoires simulées aux observations.
• Analyse de l'espace propre : Elle effectue une décomposition en valeurs propres de la Matrice d'Information de Fisher (FIM). Les valeurs propres indiquent la teneur en information le long de différentes directions dans l'espace des paramètres.
• Sélection de sous-espace : Les directions dont les valeurs propres sont inférieures à un seuil sont considérées comme « faiblement observées ». La méthode sélectionne un sous-ensemble de coordonnées de paramètres au sein du sous-espace « bien observé » qui sont diversifiés (maximisant le déterminant logarithmique de la sous-matrice) et peu corrélés (en imposant une contrainte de similarité cosinus).

2. Objectif d'information adaptatif

Pour répondre à l'influence des paramètres de nuisance, la QOED construit un objectif qui met l'accent sur les directions critiques tout en supprimant les directions non critiques.

• Complément de Schur : Plutôt que d'ignorer simplement les paramètres non critiques (ce qui conduit à l'objectif « Agnostique »), la QOED utilise le complément de Schur de la FIM.
• Formulation mathématique : Soit $F_{kk}$ le bloc FIM pour les paramètres critiques et $F_{\bar{k}\bar{k}}$ pour les paramètres de nuisance. L'objectif QOED est défini comme la trace du complément de Schur :
  $$B_{QOED} = \text{tr}(F_{kk} - F_{k\bar{k}} F_{\bar{k}\bar{k}}^{-1} F_{\bar{k}k})$$
  Cette formulation récompense efficacement l'information sur les paramètres critiques qui ne peut pas être prédite linéairement à partir des paramètres de nuisance, supprimant ainsi les « effets de nuisance » qui faussent les mesures standards de gain d'information.
• Garantie théorique : Les auteurs prouvent que, sous une influence de nuisance bornée et un couplage limité, la QOED fournit une approximation à facteur constant de l'objectif BOED idéal qui explore tous les paramètres.

3. Intégration avec l'Optimisation de Politique Basée sur un Modèle (MBPO)

La QOED est intégrée dans un cadre d'apprentissage par renforcement basé sur un modèle :

• Modèle de dynamique appris : Un modèle de dynamique forward différentiable (implémenté comme un « modèle de raccourci » utilisant une architecture Transformer) est appris à partir de données réelles. Ce modèle prend en charge un raisonnement basé sur la vraisemblance, permettant le calcul de la FIM et de l'objectif QOED.
• Optimisation de la politique : L'objectif d'exploration est ajouté comme bonus à la récompense de la tâche. La politique est optimisée à l'aide de PPO, en utilisant le modèle de dynamique appris pour générer des trajectoires imaginées. Cela permet au robot d'explorer efficacement tout en affinant simultanément sa compréhension de l'environnement physique.

Contributions clés

1. Identification automatique des paramètres critiques : L'article introduit une méthode pour analyser la structure propre de la FIM afin de sélectionner automatiquement un ensemble compact et non redondant de directions de paramètres identifiables, éliminant ainsi le besoin d'une pré-spécification par des experts.
2. Objectif adaptatif conscient des nuisances : L'objectif QOED proposé utilise le complément de Schur pour supprimer l'influence des paramètres de nuisance, garantissant que la politique d'exploration reste quasi-optimale même lorsque des paramètres non sélectionnés affectent les dynamiques.
3. Garantie de quasi-optimalité : L'analyse théorique démontre que la QOED atteint une approximation à facteur constant de l'objectif BOED complet, comblant le fossé entre la conception théorique idéale et la mise en œuvre pratique en haute dimension.
4. Intégration MBPO de bout en bout : Ce travail démontre un pipeline pratique où un modèle de dynamique appris soutient à la fois l'optimisation de la politique et le calcul d'objectifs d'information adaptatifs.

Résultats expérimentaux

Les auteurs ont évalué la QOED sur des tâches simulées et réelles impliquant la navigation et la manipulation.

Expériences de simulation (MuJoCo)

• Environnements : Tests effectués sur Unitree Go1 (quadrupède), G1 (humanoïde), Jackal (véhicule) et Inspire Hand sur des terrains plats et accidentés.
• Estimation des paramètres et prédiction de dynamique : La QOED a obtenu une amélioration de 35,23 % de l'erreur quadratique moyenne (RMSE) de prédiction de dynamique par rapport à la BOED standard et une amélioration de 21,98 % par rapport à la variante QOED « Agnostique » (qui ignore les paramètres de nuisance).
• Performance de la politique : Dans les tâches d'apprentissage de politique, la QOED avec dynamique apprise a surpassé de solides références, notamment SAC-Adapt, Disagreement (incertitude d'ensemble) et Domain Randomization. La QOED avec physique réelle (QOED-Physics) a constamment atteint les performances les plus élevées, validant l'efficacité de l'objectif lorsque le modèle est précis.

Expériences réelles

• Équilibrage de tige (Franka Panda) : La QOED a atteint un taux de réussite de 89 % dans l'empilement et l'équilibrage de cubes, surpassant nettement la BOED (8 %) et la QOED-Agnostique (17 %). La méthode a adapté avec succès sa stratégie d'exploration, identifiant d'abord la masse/l'inertie, puis le frottement.
• Navigation sauvage sur roues (Clearpath Jackal) : Dans des scénarios impliquant des dysfonctionnements de moteurs et des forces adverses, la QOED a obtenu le taux de réussite le plus élevé et le gain d'information cumulatif le plus important. Elle a identifié avec succès les paramètres clés (masse, frottement) tout en supprimant les directions de nuisance couplées, alors que les références échouaient souvent par crash en raison d'une physique mal calibrée.

Importance et revendications

L'article affirme que la QOED comble une lacune critique dans l'exploration robotique : la difficulté de définir « ce qui compte » à apprendre dans des environnements de haute dimension et incertains. En s'éloignant des ensembles de paramètres statiques définis par des experts vers une sélection adaptative et pilotée par les données de directions identifiables, la QOED permet aux robots de :

• Collecter des données plus informatives avec moins d'interactions.
• Apprendre des modèles de dynamique plus précis en se concentrant sur les paramètres qui déterminent réellement le comportement du système.
• Améliorer les performances des politiques en aval dans l'apprentissage par renforcement basé sur un modèle.

Les auteurs soulignent que, bien que la BOED ait été théoriquement rigoureuse, son application a été limitée par le « fléau de la dimensionnalité » et l'hypothèse d'une spécification parfaite des paramètres. La QOED fournit une solution pratique et théoriquement fondée qui permet aux robots d'apprendre « ce qui compte » de manière autonome, conduisant à des performances robustes tant en simulation qu'en déploiement réel. Ce travail suggère que les orientations futures pourraient inclure l'extension de ces principes à l'apprentissage méta et à l'optimisation des hyperparamètres d'algorithmes différentiables.