SocialNav: Training Human-Inspired Foundation Model for Socially-Aware Embodied Navigation

Le papier présente SocialNav, un modèle fondamental hiérarchique entraîné sur un jeu de données massif et optimisé par une nouvelle méthode d'apprentissage par renforcement (SAFE-GRPO) pour réaliser une navigation robotique qui respecte à la fois les normes sociales et l'efficacité du déplacement.

L'essentiel

Imaginez que vous apprenez à un robot à se promener dans une ville bondée. Si vous lui donnez seulement une carte et un GPS, il va probablement essayer de prendre le chemin le plus court, même si cela signifie qu'il traverse un parterre de fleurs, qu'il marche sur la pelouse d'un voisin ou qu'il bouscule les piétons. Pour un humain, c'est impoli et dangereux. Pour un robot, c'est une catastrophe sociale.

SocialNav est la solution à ce problème. C'est un "cerveau" pour robots qui ne se contente pas de savoir où aller, mais qui comprend comment se comporter comme un humain dans la société.

Voici comment cela fonctionne, avec quelques analogies :

1. Le Problème : Le Robot "Égoïste"

La plupart des robots actuels sont comme des conducteurs de course : leur seul but est d'arriver le plus vite possible au point B. Ils ne voient pas les panneaux "Interdit aux piétons" ou ne comprennent pas qu'il faut s'arrêter au feu rouge pour laisser passer quelqu'un. Ils calculent la géométrie, pas les règles sociales.

2. La Solution : Un Robot avec un "Cerveau" et un "Corps"

Les chercheurs ont créé un modèle en deux parties, comme un chef cuisinier et un cuisinier en chef :

• Le Cerveau (Le Chef) : C'est une intelligence très avancée (un modèle de langage et de vision) qui regarde la scène. Il ne se contente pas de voir des murs, il comprend le contexte.

  • L'analogie : Imaginez un vieux sage qui vous accompagne. Il vous dit : "Attends, ne traverse pas cette pelouse, c'est privé. Regarde, il y a un feu vert pour les piétons, on va attendre. Et là-bas, il y a un groupe de personnes, on va passer doucement pour ne pas les effrayer."
  • Ce "Cerveau" explique ses pensées étape par étape (comme un dialogue interne) avant de donner un ordre.

• Le Corps (Le Cuisinier) : C'est la partie qui contrôle physiquement les roues ou les pattes du robot. Il reçoit les instructions du Cerveau et les transforme en mouvements fluides.

  • L'analogie : C'est le bras du chef qui exécute les mouvements précis. Si le Cerveau dit "tourne doucement à gauche pour éviter le chien", le Corps le fait sans heurter le chien.

3. L'École du Robot : La "SocNav Dataset"

Pour apprendre à ce robot à être poli, on ne peut pas lui montrer quelques vidéos. Il faut des millions d'exemples. Les chercheurs ont créé une énorme bibliothèque de données appelée SocNav (7 millions d'échantillons !).

• La Pyramide des Trajectoires (ETP) : C'est comme une bibliothèque de films d'action.

  • Niveau 1 : Des vidéos d'internet montrant comment les gens marchent dans le monde entier (pluie, neige, villes différentes).
  • Niveau 2 : Des simulations ultra-réalistes où le robot apprend à se sortir de situations dangereuses (comme éviter une collision imminente).
  • Niveau 3 : Des données réelles de vrais robots qui ont déjà marché dans des bureaux et des rues.

• Le Dataset d'Activation Cognitive (CAD) : C'est le manuel de "bonnes manières". Au lieu de juste montrer le mouvement, on apprend au robot à réfléchir. On lui pose des questions du type : "Pourquoi ne pas traverser ici ?" et on lui apprend à répondre : "Parce que c'est une zone interdite et que les gens s'y attendent."

4. La Récompense : Le "Système de Notation Sociale"

C'est la partie la plus brillante. Habituellement, on entraîne un robot en lui disant "Bravo si tu arrives au but". Ici, ils ont inventé une nouvelle méthode d'entraînement (appelée SAFE-GRPO) qui agit comme un professeur de conduite très strict mais juste.

• L'analogie : Imaginez un jeu vidéo où vous gagnez des points non seulement pour arriver à la fin, mais aussi pour votre comportement.
  • Si vous traversez la pelouse : -100 points (c'est malpoli).
  • Si vous respectez le trottoir : +10 points.
  • Si vous évitez de bousculer un piéton : +50 points.
  • Si vous arrivez au but en 10 secondes mais en bousculant tout le monde : 0 point.

Le robot apprend par essais et erreurs à maximiser ses points. Il comprend vite que pour gagner, il doit être poli.

5. Les Résultats : Un Robot "Citoyen"

Quand on a testé ce robot dans le monde réel (avec un robot-chien Unitree Go2), les résultats ont été impressionnants :

• Il réussit beaucoup plus souvent à atteindre son but sans se cogner.
• Surtout, il respecte les règles sociales : il reste sur les trottoirs, il ne traverse pas les parterres de fleurs, et il attend que les gens passent.
• Comparé aux meilleurs robots actuels, il est 46% plus poli et 38% plus efficace.

En résumé

SocialNav, c'est comme donner un "cœur" et une "conscience sociale" à un robot. Au lieu d'être une machine froide qui calcule des lignes droites, il devient un compagnon de voyage qui sait comment se comporter dans une société humaine, en respectant les règles invisibles qui nous permettent de vivre ensemble sans se marcher dessus. C'est un pas de géant vers des robots qui pourront vraiment vivre parmi nous, dans nos rues et nos bureaux.

Résumé technique

1. Problématique

La navigation des agents incarnés (robots) dans des environnements sociaux réels pose un défi majeur : la plupart des méthodes existantes se concentrent sur l'efficacité géométrique (chemin le plus court) et l'évitement de collisions physiques, en négligeant les normes sociales.

• Le manque actuel : Les trajectoires optimales d'un point de vue géométrique peuvent être socialement inacceptables (ex. : traverser des pelouses, marcher sur des voies réservées aux véhicules, ou ignorer les passages piétons), ce qui rend le déploiement de robots (comme des chiens guides) dangereux ou perturbateur.
• L'objectif : Développer un modèle capable de comprendre les normes sociales implicites et d'expliquer son raisonnement, tout en générant des trajectoires conformes à ces normes.

2. Méthodologie

L'approche proposée, SocialNav, repose sur une architecture hiérarchique "Cerveau-Action" et un pipeline d'entraînement multi-étapes.

A. Architecture du Modèle (Cerveau-Action)

Le modèle est divisé en deux modules couplés :

1. Le Module Cerveau (Brain Module) : Basé sur un Modèle Vision-Langage (VLM, spécifiquement Qwen2.5-VL). Il agit comme le centre de raisonnement cognitif.
   • Il génère des explications de type Chain-of-Thought (CoT) pour justifier les décisions.
   • Il prédit les zones socialement traversables (trottoirs, passages piétons) sous forme de polygones.
   • Il répond à des questions visuelles (VQA) pour comprendre le contexte.
2. L'Expert d'Action (Action Expert) : Basé sur l'appariement de flux conditionnel (Conditional Flow Matching).
   • Il transforme les priors sémantiques fournis par le "Cerveau" en trajectoires exécutables par le robot.
   • Il découple le raisonnement de haut niveau du contrôle de bas niveau tout en maintenant une forte connexion sémantique.

B. Le Jeu de Données SocNav

Pour entraîner ce modèle, les auteurs ont construit SocNav Dataset, une collection massive de 7 millions d'échantillons hétérogènes :

• Pyramide des Trajectoires d'Experts (ETP) :
  • Dvideo (2M) : Trajectoires pseudo-générées à partir de vidéos d'exploration urbaine sur internet.
  • Dsim (1.7M) : Trajectoires générées dans des environnements simulés haute fidélité (SocCity, SocialGS) incluant des scénarios de récupération (recovery) pour la robustesse.
  • Dreal (340k) : Données réelles de robots autonomes pour réduire l'écart simulation-réalité.
• Jeu de Données d'Activation Cognitive (CAD) :
  • Reconnaissance de traversabilité sociale : Annotation manuelle de zones traversables.
  • Chain-of-Thought (CoT) : 825k échantillons de raisonnement textuel générés par un LLM pour enseigner la logique de décision.
  • VQA : 1M de questions-réponses pour le raisonnement général.

C. Pipeline d'Entraînement

L'entraînement se déroule en trois étapes progressives :

1. Pré-entraînement : Apprentissage des compétences de navigation générales et du raisonnement social via l'apprentissage par imitation (IL) sur les données ETP et CAD.
2. Affinage (Fine-tuning) : Ajustement de l'Expert d'Action uniquement sur les données réelles (Dreal) pour adapter la dynamique physique, tout en figeant le module Cerveau.
3. Alignement par Renforcement (SAFE-GRPO) : Introduction d'un cadre d'apprentissage par renforcement basé sur le flux (Flow-based RL).
   • SAFE-GRPO (Socially-Aware Flow Exploration GRPO) est la première méthode de RL basée sur le flux pour la navigation incarnée.
   • Elle utilise une fonction de récompense explicite qui pénalise les comportements non conformes et récompense la conformité sociale, la sécurité et l'efficacité.
   • Contrairement à l'IL pure, cela permet au modèle d'intérioriser les principes sous-jacents des normes sociales plutôt que de simplement imiter des actions de surface.

3. Contributions Clés

1. SocialNav (Modèle Fondamental) : Une architecture hiérarchique unifiant la compréhension des normes sociales (via un VLM) et la génération de trajectoires conformes (via Flow Matching).
2. SAFE-GRPO : Un nouveau cadre d'apprentissage par renforcement utilisant des mécanismes de récompense sensibles aux normes pour aligner le comportement de l'agent avec les attentes humaines.
3. SocNav Dataset & Benchmark :
   • Un jeu de données à grande échelle (7M d'échantillons) combinant cognition et action.
   • Une plateforme d'évaluation haute fidélité (SocNav Bench) utilisant Isaac Sim et le rendu 3DGS (Gaussian Splatting) sur 9 scènes sociales réelles capturées, permettant une évaluation rigoureuse de la conformité sociale.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks ouverts (CityWalker), fermés (SocNav Bench) et dans des déploiements réels (robot Unitree Go2).

• Performance de Navigation : SocialNav surpasse les méthodes de l'état de l'art (CityWalker, ViNT, NoMaD, GNM).
  • Augmentation de +38% du taux de réussite (Success Rate - SR) par rapport à la méthode de référence.
  • Amélioration significative du SPL (Success Weighted by Path Length) et du taux de complétion de l'itinéraire.
• Conformité Sociale : C'est le gain le plus marquant.
  • Taux de conformité de distance (DCR) et de temps (TCR) supérieurs de +46% par rapport aux méthodes existantes.
  • Le modèle évite systématiquement les zones interdites (pelouses, routes) là où les autres modèles prennent des raccourcis socialement inacceptables.
• Déploiement Réel : Sur un robot Unitree Go2, SocialNav atteint un taux de réussite de 85% dans des environnements complexes (rues, centres commerciaux), contre 62,5% pour CityWalker, tout en maintenant une fréquence de contrôle en temps réel (>5 Hz).
• Études d'Abalation : Elles confirment que la combinaison des données cognitives (CoT) et du RL (SAFE-GRPO) est cruciale. Sans les priors cognitifs, le RL échoue à aligner correctement le comportement social.

5. Signification et Impact

Ce travail marque une étape importante vers une intelligence sociale incarnée véritable.

• Au-delà de l'efficacité : Il démontre qu'un agent robotique peut (et doit) sacrifier une optimisation géométrique stricte (le chemin le plus court) pour respecter les conventions humaines, rendant l'interaction plus naturelle et sûre.
• Reproductibilité et Généralisation : L'utilisation d'une architecture fondée sur des modèles de base (Foundation Models) et d'un jeu de données massif permet une généralisation supérieure à des scénarios non vus lors de l'entraînement.
• Futur : La méthode ouvre la voie à des robots de service capables de naviguer dans des espaces publics denses sans perturber les flux humains, en intégrant un raisonnement explicite sur les règles sociales implicites.

En résumé, SocialNav ne se contente pas de "voir" l'environnement, il le "comprend" socialement et agit en conséquence, comblant le fossé entre la navigation robotique théorique et le déploiement pratique dans le monde réel.