Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

1. Énoncé du problème

L'article aborde le défi de l'efficacité des échantillons et de la stabilité de l'optimisation dans le contrôle continu de haute dimension pour la robotique utilisant l'apprentissage par renforcement profond (RL).

• Arbitrage Local vs Global : Les méthodes standard basées sur le gradient (par exemple, TD3, SAC) effectuent des mises à jour locales dans des espaces de paramètres de haute dimension. Bien que évolutives, elles restent souvent piégées dans des régions sous-optimales ou convergent lentement en raison de paysages non convexes. À l'inverse, les méthodes de recherche globale (par exemple, Stratégies Évolutionnaires, Entraînement Basé sur la Population) explorent des régions plus larges mais engendrent des coûts de déploiement (interactions avec l'environnement) prohibitifs en raison de la « malédiction de la dimensionnalité ».
• Limites de la modélisation de substitution : L'optimisation bayésienne (BO) tente de réduire les coûts de déploiement en utilisant des modèles de substitution. Cependant, la BO classique échoue dans les espaces de haute dimension (de dizaines à centaines de milliers de paramètres) en raison de la rareté des données. De plus, le paysage des politiques en RL est non stationnaire (évoluant pendant l'entraînement), ce qui viole les hypothèses de domaine fixe de la BO traditionnelle.
• Le fossé : Il existe un besoin pour une méthode qui combine l'efficacité des échantillons de la recherche guidée par substitution avec l'adaptabilité requise pour les politiques RL de haute dimension et évolutives, sans nécessiter des budgets d'interaction massifs.

2. Méthodologie : TFM-S3

Les auteurs proposent TFM-S3 (Recherche de Sous-espace Guidée par Modèle Fondation Tabulaire), un cadre hybride qui entrelace des mises à jour locales standard basées sur le gradient avec des rounds périodiques de recherche globale guidée par substitution.

A. Construction dynamique de sous-espaces de basse dimension

Au lieu de rechercher dans l'espace complet de paramètres de haute dimension ($\mathbb{R}^D$), TFM-S3 restreint la recherche globale à un sous-espace de basse dimension dynamiquement mis à jour ($\mathbb{R}^r$).

• Base informée par le gradient : À chaque round de recherche $t$, la méthode collecte les $Q$ instantanés de gradient de politique les plus récents ($G^{(t)}$).
• Décomposition SVD : Elle effectue une décomposition en valeurs singulières tronquée (SVD) sur $G^{(t)}$ pour extraire les $r$ premiers vecteurs singuliers à gauche ($U_r$). Ces vecteurs forment une base orthonormée $A^{(t)}$ qui capture les directions de mise à jour dominantes observées lors de l'entraînement récent.
• Adaptabilité : Le sous-espace évolue à mesure que l'entraînement progresse, garantissant que la géométrie de la recherche s'adapte au paysage de politique changeant plutôt que de s'appuyer sur des projections aléatoires statiques.

B. Recherche globale guidée par substitution

Dans le sous-espace de basse dimension, TFM-S3 effectue une recherche itérative pour trouver des candidats de politique performants avec un minimum de déploiements.

1. Initialisation du contexte : Un petit ensemble de politiques candidates est échantillonné dans le sous-espace et évalué via de vrais déploiements d'environnement pour former un ensemble de contexte ($C$).
2. Modèle Fondation Tabulaire (TFM) : Un Modèle Fondation Tabulaire préentraîné (spécifiquement TabPFN-v2) est utilisé comme substitution. Contrairement aux Processus Gaussiens traditionnels, les TFM sont préentraînés sur des tâches de régression diverses, fournissant de fortes biais inductifs et une généralisation robuste à partir de très petits échantillons (par exemple, $K=16$).
3. Boucle de raffinement itératif :
   • Le TFM prédit les retours pour un grand pool de nouveaux candidats ($N=256$) échantillonnés autour du meilleur candidat actuel.
   • Le candidat avec le retour prédit le plus élevé est sélectionné.
   • Seul ce meilleur candidat unique est évalué via un vrai déploiement.
   • Le résultat est ajouté à l'ensemble de contexte, mettant à jour le conditionnement du TFM pour la prochaine itération.
   • Cette boucle se répète $T$ fois (par exemple, 16 itérations) par round de recherche.
4. Mise à jour de la politique : Le meilleur candidat trouvé lors du round de recherche est projeté de retour dans l'espace d'origine de haute dimension et utilisé pour initialiser la prochaine phase d'entraînement local basé sur le gradient.

3. Contributions clés

1. Recherche de sous-espace dynamique : Les auteurs introduisent une procédure SVD informée par le gradient pour construire des sous-espaces de politiques de basse dimension qui s'adaptent à la trajectoire d'optimisation évolutive, résolvant ainsi le problème de non-stationnarité inhérent au RL.
2. Substitutions par Modèles Fondation : Ils démontrent que les Modèles Fondation Tabulaires préentraînés peuvent servir de substitutions efficaces et sans réglage pour la prédiction de retours en RL, permettant un filtrage fiable des candidats avec des données extrêmement limitées (généralisation à petits échantillons).
3. Cadre hybride efficace en échantillons : TFM-S3 comble avec succès le fossé entre le RL basé sur le gradient et la recherche globale, atteignant une convergence plus rapide et de meilleures performances finales que les références sous des budgets de déploiement identiques.

4. Résultats expérimentaux

La méthode a été évaluée sur trois benchmarks de contrôle continu MuJoCo : HalfCheetah-v5, Ant-v5 et Humanoid-v5, en utilisant TD3 comme colonne vertébrale.

• Performance : TFM-S3 a constamment accéléré la convergence précoce et atteint des retours finaux plus élevés par rapport à TD3 standard, à la Recherche Aléatoire dans le même sous-espace, et à une variante « One-Shot » (sans raffinement itératif).
• Efficacité : Sous un budget fixe de 1 million d'étapes d'environnement, TFM-S3 a atteint les seuils de performance cible significativement plus vite (par exemple, atteignant 90 % de la performance finale en ~38 % des étapes pour Humanoid contre 48 % pour TD3 standard).
• Stabilité : La méthode a réduit la variabilité entre les graines aléatoires, indiquant des mises à jour de politique plus stables.
• Dynamiques internes :
  • Cohérence du classement : Le TFM a montré une forte corrélation de rang de Spearman (jusqu'à 0,97) entre les retours prédits et réels après une phase initiale de mise en chauffe.
  • Qualité de sélection : Le candidat n°1 sélectionné par le TFM se situait dans le top 20 % des retours réels 63,5 % du temps, contre seulement 20 % pour une sélection aléatoire.
  • Bénéfice itératif : La variante « One-Shot » a sous-performé la version itérative complète, prouvant que le raffinement séquentiel (mise à jour de la substitution avec de nouvelles données réelles) est crucial pour le succès.

5. Importance

• Nouveau paradigme pour le RL : Ce travail établit les Modèles Fondation Tabulaires comme des outils puissants pour l'apprentissage de politiques en robotique, dépassant leur utilisation traditionnelle dans les données tabulaires statiques pour aborder des problèmes de contrôle dynamiques et de haute dimension.
• Combler le fossé : Il offre une solution pratique au goulot d'étranglement de l'« efficacité des échantillons » en robotique. En combinant la réduction de dimensionnalité (SVD) avec des priors efficaces en données (TFM), il permet une exploration globale sans le coût computationnel massif des méthodes basées sur la population.
• Modularité : Le cadre est orthogonal à l'algorithme RL sous-jacent (démontré avec TD3 mais applicable à SAC, PPO, etc.), ce qui en fait une amélioration polyvalente pour les pipelines d'optimisation de politiques existants.

En conclusion, TFM-S3 démontre que l'exploitation de modèles fondation préentraînés au sein de variétés de basse dimension reconstruites dynamiquement peut considérablement améliorer l'efficacité des échantillons et la robustesse de l'apprentissage de politiques robotiques.