Résumé Technique : Seeing-to-Experiencing (S2E)

Problématique

Les modèles de fondation pour la navigation, entraînés sur des données massives issues du web, ont démontré une forte capacité de généralisation dans divers environnements. Cependant, ces modèles reposent principalement sur l'imitation visuelle passive, capturant des corrélations statistiques plutôt qu'une causalité ancrée. Par conséquent, ils manquent de la capacité de raisonner sur les conséquences des actions, de s'adapter à des scénarios contrefactuels ou de manifester des comportements réactifs nécessaires pour une navigation urbaine sûre (par exemple, éviter des obstacles dynamiques ou des piétons). Bien que l'apprentissage par renforcement (RL) offre un paradigme pour l'apprentissage interactif, les tentatives précédentes de mise à l'échelle du RL pour la navigation ont échoué en raison d'une faible efficacité d'échantillonnage, d'un manque de priors inductifs et de la difficulté d'entraîner des agents à partir de zéro dans des environnements synthétiques restreints. De plus, le simple passage à l'échelle des données supervisées hors ligne entraîne souvent des rendements décroissants en termes de performance.

Méthodologie : Le cadre S2E

Les auteurs proposent Seeing-to-Experiencing (S2E), un cadre d'apprentissage hybride qui combine un pré-entraînement hors ligne à grande échelle avec un apprentissage par renforcement en ligne en simulation. Le cadre vise à conserver les représentations visuelles généralisables apprises à partir de vidéos du monde réel tout en acquérant des capacités interactives grâce au RL.

1. Pré-entraînement : Anchor-Guided Distribution Matching (AGDM)

Pour traiter la nature multimodale de la navigation (où plusieurs actions valides existent pour une seule observation), les auteurs introduisent une stratégie d'Anchor-Guided Distribution Matching (Appariement de Distribution Guidé par Ancres).

• Architecture : Au lieu d'utiliser des bacs discrets ou des Gaussiennes unimodales, le modèle prédit un mélange de Gaussiennes (GMM) où les composantes du mélange sont guidées par des « ancres ».
• Mécanisme : $M$ points d'intention représentatifs (ancres) sont échantillonnés via K-Means sur l'ensemble de données unifié. Ces ancres servent de requêtes dans un mécanisme d'attention croisée. Chaque ancre correspond à un mode gaussien avec des scores, des moyennes, des écarts-types et des corrélations appris.
• Avantage : Cette approche fournit une distribution multimodale structurée qui équilibre l'expressivité et la stabilité de l'entraînement. Elle permet au modèle de capturer des comportements divers (ex. : aller tout droit, tourner, céder le passage) tout en maintenant une base fiable pour l'adaptation ultérieure.

2. Post-entraînement : Residual-Attention Module (RAM)

Pour injecter des capacités interactives sans effacer les connaissances pré-entraînées ou souffrir d'un décalage de domaine (sim-to-real), les auteurs proposent un Module d'Attention Résiduelle pour le fine-tuning par RL.

• Motivation : Le fine-tuning complet des paramètres par RL risque de provoquer un « oubli des capacités pré-entraînées » (FPC) et fait que l'encodeur visuel surapprend les textures du simulateur, dégradant les performances dans le monde réel.
• Mécanisme : Les paramètres originaux de l'attention croisée pré-entraînés sont gelés. Une copie parallèle et entraînable du bloc d'attention est introduite, cadencée par des couches linéaires initialisées à zéro.
• Dynamique d'entraînement : L'initialisation à zéro garantit qu'au début du fine-tuning, la branche résiduelle ne contribue en rien ($Q' = \psi_{pre}(Q)$). À mesure que l'entraînement progresse, les poids de la porte s'activent progressivement, permettant au modèle d'apprendre sélectivement des comportements réactifs (ex. : évitement d'obstacles) à partir du signal de RL tout en préservant les représentations visuomotrices généralisables issues du pré-entraînement hors ligne.
• Efficacité : Cette approche est efficace en termes de paramètres, ne mettant à jour qu'un plugin léger plutôt que l'ensemble du modèle, et évite de mettre à jour l'encodeur visuel pour prévenir le décalage de domaine.

3. Benchmark d'évaluation : NavBench-GS

Les auteurs établissent NavBench-GS, un benchmark d'évaluation complet de bout en bout.

• Caractéristiques : Construit sur des reconstructions de scènes du monde réel par Gaussian Splatting 3D photoréaliste, il incorpore des interactions physiques et des dynamiques précises.
• Portée : Il comprend 26 scénarios avec quatre variations de tâches : environnements vides, obstacles statiques, piétons en mouvement, et combinaisons d'obstacles/piétons.
• Métriques : Taux de succès (SR), Complétion de trajectoire (RC) et Temps de collision (CT).

Résultats Clés

Performance de mise à l'échelle (Scaling)

Les expériences démontrent que S2E atténue les rendements décroissants associés à la mise à l'échelle des données hors ligne seules.

• RL vs. Mise à l'échelle des données : Augmenter les données hors ligne de 250k à 750k échantillons n'a produit qu'une amélioration de 2 % du taux de succès. En revanche, l'application du fine-tuning par RL à un modèle entraîné sur 100 heures de données a entraîné une amélioration de 15 % du taux de succès sans données hors ligne supplémentaires.
• RL vs. SFT : Comparé au fine-tuning supervisé (SFT), qui souffre d'un surapprentissage sévère à mesure que les coûts d'entraînement augmentent, le RL maintient ou améliore les taux de succès et démontre une plus grande efficacité d'échantillonnage.

Performance sur le Benchmark (NavBench-GS)

S2E a surpassé les modèles de fondation de navigation de pointe (incluant GNM, ViNT, NoMaD, MBRA et CityWalker) dans tous les scénarios de test.

• Efficacité : S2E, entraîné sur seulement 100 heures de données, a surpassé CityWalker, qui a été entraîné sur plus de 2000 heures de données.
• Sécurité : S2E a obtenu les taux de succès les plus élevés et les temps de collision les plus bas, particulièrement dans les scénarios complexes impliquant à la fois des obstacles statiques et des piétons en mouvement.

Déploiement dans le monde réel

Le cadre a été déployé sur deux plateformes robotiques distinctes : un robot à roues et un robot quadrupède Unitree GO2.

• Généralisation Zero-Shot : S2E a réalisé un transfert zero-shot vers des scénarios urbains réels inédits.
• Performance : Lors des tests en conditions réelles, S2E-Full a atteint un taux de succès de 0,51 (roues) et de 0,55 (quadrupède), surpassant de manière significative les bases comme NoMaD et CityWalker, qui peinent avec l'évitement de collisions.

Signification et Revendications

L'article affirme que l'intégration d'expériences interactives en ligne via l'apprentissage par renforcement est cruciale pour la mise à l'échelle des modèles de fondation en robotique. Les principales contributions sont :

1. Combler le fossé : S2E réussit à combler l'écart entre la large généralisation du pré-entraînement hors ligne et la sécurité réactive de l'interaction en ligne.
2. Innovation technique : L'Anchor-Guided Distribution Matching stabilise l'apprentissage de distributions multimodales complexes, tandis que le Residual-Attention Module permet un apprentissage incrémental et sûr des comportements interactifs sans oubli catastrophique ni décalage de domaine.
3. Nouveau paradigme : Ce travail remet en question l'idée que la mise à l'échelle des données hors ligne est le principal moteur de performance, montrant que le post-entraînement par RL offre une voie plus efficace vers des politiques de navigation robustes et sûres.
4. Reproductibilité : Les auteurs fournissent un nouveau benchmark (NavBench-GS) et s'engagent à publier le code et les modèles pour faciliter la vérification par la communauté.

Les auteurs reconnaissent des limites, notant que les systèmes actuels dépendent d'entrées visuelles 2D et manquent de perception 3D explicite, ce qui peut encore mener à des collisions dans des structures 3D complexes. Ils suggèrent que les travaux futurs pourraient intégrer la prédiction de profondeur ou d'occupation.