Résumé Technique : Prédiction du Mouvement Ego-Humain avec un LLM conscient de la 3D (Ego3DLM)

Énoncé du Problème

Anticiper le mouvement humain d'un point de vue égocentrique est crucial pour l'assistance proactive dans la RA/RV, la collaboration homme-robot et l'IA incarnée. Cependant, la prévision à partir de ce point de vue est intrinsèquement un problème mal posé : la caméra ne capture qu'une vue partielle du corps, s'appuyant sur des indices portables parsemés, et cette même observation partielle est compatible avec de nombreux mouvements futurs plausibles. Résoudre cette ambiguïté nécessite d'ancrer les prédictions dans le contexte sémantique de l'environnement — comprendre non seulement les états cinématiques, mais aussi l'intention sous-jacente et la sémantique de l'action régies par les contraintes physiques, l'espace libre et les affordances des objets.

Les approches existantes traitent souvent le mouvement et le langage comme des flux d'inférence séparés ou s'appuient sur des vues à la troisième personne et de la capture de mouvement canonique. Bien que certains travaux récents incorporent le langage comme un a priori sémantique, ils négligent largement le contexte spatial 3D explicite ou échouent à réaliser une prédiction multimodale holistique. De plus, les méthodes qui injectent directement des caractéristiques de scène 3D dans les modèles manquent souvent de véritables capacités de raisonnement 3D, traitant la prédiction de la pose et du langage comme des tâches indépendantes plutôt que de tirer parti de leur couplage sémantique inhérent.

Méthodologie : Ego3DLM

Les auteurs proposent Ego3DLM, un cadre unifié fondé sur deux principes fondamentaux : (1) une prévision précise du mouvement nécessite une compréhension spatiale et sémantique explicite de l'environnement 3D, et (2) la pose et le langage doivent être prédits de manière holistique en un seul passage pour garantir la cohérence intermodale et temporelle.

Entrée et Sortie

Le modèle prend trois entrées :

1. Suivi à trois points : Poses de la tête et des mains (rotation 6D et translation).
2. Vidéo égocentrée : Plongements (embeddings) vidéo 2D.
3. Caractéristiques de la scène 3D : Représentations explicites de la scène 3D (nuages de points avec caractéristiques sémantiques).

En un seul passage autorégressif, Ego3DLM décode simultanément quatre sorties :

• Tokens de pose passés ($x_{past}$)
• Tokens de pose futurs ($x_{fut}$)
• Narration de mouvement passée ($y_{past}$)
• Description de mouvement future ($y_{fut}$)

Architecture et Schéma d'Entraînement

Le cadre emploie un pipeline d'entraînement en trois étapes :

Étape I : Pré-entraînement de la conscience spatio-sémantique de la scène
Avant d'introduire le raisonnement de mouvement, le Modèle de Langage (LM) est ancré dans l'environnement 3D. Les auteurs construisent un ensemble de données de paires Question-Réponse (QA) spatiales et sémantiques à partir de scènes 3D et de vidéos égocentrées.

• Conscience Spatiale : Le modèle apprend à prédire le dégagement directionnel (bas/moyen/haut), les états d'obstruction et les directions navigables (devant/gauche/droite) par rapport à l'agent égocentrique.
• Conscience Sémantique : Le modèle apprend l'identité des objets, leurs attributs, les relations de lieu et le comptage.
  Cette étape instille la conscience des obstacles et la sémantique au niveau de l'objet, formant un a priori pour le raisonnement comportemental en aval.

Étape II : Ajustement d'instructions multi-modal et multi-tâches
Le LM conscient de la scène est ajusté par instruction pour générer les quatre sorties (pose passée/future et texte) en une seule séquence. Un choix de conception clé consiste à prépendre une étape explicite de raisonnement de scène spatiale avant toute sortie de mouvement ou de langage. Cela force le modèle à analyser les contraintes spatiales (obstacles, espace libre) avant de s'engager dans des prédictions, créant une structure de type "chaîne de pensée" où le raisonnement spatial informe le mouvement, qui à son tour informe la description sémantique.

Étape III : Fine-tuning par GRPO avec récompense multi-modale
Pour remédier aux limites de l'entraînement basé sur la vraisemblance (likelihood) pour imposer la cohérence intermodale, les auteurs appliquent l'Optimisation de Politique Relative de Groupe (GRPO). Cette étape d'apprentissage par renforcement optimise le modèle à l'aide d'une fonction de récompense composite :

• Récompenses intra-modales : $R_{motion}$ (Erreur de position articulaire) et $R_{text}$ (BLEU) pour assurer la précision au sein de chaque modalité.
• Récompense inter-modale ($R_{matching}$) : Un signal novateur mesurant la distance d'embedding entre le mouvement prédit et la description prédite (et leurs contreparties réelles). Cela optimise directement la fidélité entre la réalisation physique d'une action et sa description sémantique, un signal inatteignable par l'entraînement supervisé seul.

Extraction de Caractéristiques

Le pipeline d'extraction de caractéristiques de scène 3D projette les caractéristiques sémantiques 2D denses des images vidéo égocentrées sur un nuage de points 3D en utilisant les poses de la caméra et une politique de sélection de la meilleure vue. Ces caractéristiques sont voxelisées, encodées avec des encodages positionnels égocentrés, et compressées en embeddings de requête via un Q-Former, qui sont ensuite fusionnés avec les embeddings vidéo pour conditionner le LM.

Principales Contributions

1. Prédiction de mouvement égocentrique consciente de la scène 3D : Un cadre unifié qui prévoit conjointement le langage et la pose 3D pour le passé et le futur, en exploitant les indices à trois points, la vidéo égocentrée et les caractéristiques explicites de la scène 3D.
2. Décodage simultané de quatre sorties : Un mécanisme de génération en un seul passage qui impose la cohérence temporelle et intermodale, améliorant considérablement la fidélité entre le mouvement prédit et sa description textuelle.
3. Entraînement multi-étapes : Un schéma d'entraînement progressif passant de la compréhension spatio-sémantique 3D au suivi/prévision holistique, culminant avec le fine-tuning par renforcement GRPO qui optimise explicitement la cohérence pose-langage.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Nymeria, qui fournit des vidéos égocentrées synchronisées, des descriptions linguistiques et des scènes 3D reconstruites.

• Performance : Ego3DLM atteint des performances de pointe (state-of-the-art) sur tous les indicateurs pour la prédiction de mouvement futur, le suivi de mouvement passé et leurs descriptions linguistiques correspondantes.
• Précision du mouvement : Comparé à la base la plus forte (UniEgoMotion), Ego3DLM réduit l'APE de 2,4 %, le JPE de 14,1 % et le FDE2s de 13,3 %.
• Précision du suivi : Les améliorations sont encore plus prononcées dans le suivi de mouvement, avec une réduction de l'APE de 36,7 % par rapport aux bases de référence.
• Langage et Alignement : Le modèle améliore le BLEU-4 de la description de mouvement futur de 60,0 % et le BLEU-4 de la narration passée de 70,4 % par rapport à EgoLM. Crucialement, la distance d'embedding mouvement-description ($x-y$ Align.) s'améliore de 56,8 %, démontant que le mouvement et les descriptions prédits simultanément sont étroitement alignés dans un espace sémantique partagé.
• Analyse Qualitative : Les visualisations montrent que sans ancrage dans la scène 3D, les modèles prédisent souvent des mouvements qui entrent en collision avec les murs ou les meubles. Ego3DLM, en raisonnant sur la configuration 3D, génère des trajectoires physiquement plausibles qui respectent les limites spatiales et les affordances.

Signification et Revendications

L'article affirme qu'Ego3DLM démontre que l'ancrage dans la scène 3D et la prédiction intermodale holistique produisent des prévisions de mouvement physiquement plausibles et sémantiquement cohérentes.

Les auteurs soutiennent que traiter la pose et le langage comme des flux séparés manque l'opportunité de tirer parti du raisonnement sémantique comme un biais inductif direct. En imposant une génération en un seul passage où le raisonnement spatial précède la prédiction du mouvement, et en utilisant l'apprentissage par renforcement pour optimiser directement la cohérence entre le mouvement et le texte, le modèle produit des sorties qui sont non seulement précises mais aussi interprétables et ancrées dans l'environnement physique.

Ce travail représente une étape vers des systèmes d'IA incarnée plus anticipatifs, interprétables et interactifs. Les auteurs notent une limite : l'approche actuelle suppose qu'une caractéristique de scène 3D précalculée est disponible. Ils suggèrent que les travaux futurs pourraient se concentrer sur des modèles de langage capables d'enregistrer de manière incrémentielle les connaissances 3D de nouvelles scènes observées à la volée.