SARAH: Spatially Aware Real-time Agentic Humans

Each language version is independently generated for its own context, not a direct translation.

🌟 SARAH : Le Compagnon Virtuel Qui Vous "Sente"

Imaginez que vous parlez à un robot ou un avatar dans un jeu vidéo ou en réalité virtuelle. Souvent, ce robot est un peu bizarre : il reste figé comme une statue, vous regarde fixement dans les yeux même quand vous vous éloignez, ou il tourne le dos pendant que vous lui parlez. C'est comme parler à un mur qui ne vous écoute pas vraiment.

Les chercheurs de Meta ont créé SARAH (Spatially Aware Real-time Agentic Humans) pour régler ce problème. C'est un système qui permet à un avatar virtuel de se comporter comme un humain réel : il vous regarde, il réagit quand vous bougez, et il fait des gestes naturels, le tout en temps réel.

Voici comment ça marche, avec quelques analogies pour bien comprendre :

1. Le Problème : Le Robot "Borgne" 🤖

Avant SARAH, la plupart des avatars étaient comme des acteurs sur une scène de théâtre vide. Ils savaient parler et faire des gestes avec leurs mains en écoutant leur voix, mais ils ne savaient pas où vous étiez.

L'analogie : C'est comme si vous marchiez autour d'un ami qui parle au téléphone. Vous vous déplacez, vous vous asseyez, vous vous penchez, mais votre ami continue de regarder droit devant lui, comme s'il était aveugle à votre présence. C'est gênant et ça brise l'illusion.

2. La Solution : Un Miroir Magique 🪞

SARAH change la donne. Il ne se contente pas d'écouter la voix ; il regarde aussi où vous êtes.

L'analogie : Imaginez que votre avatar est un miroir intelligent. Si vous vous déplacez à gauche, le miroir tourne la tête pour vous suivre. Si vous vous éloignez, il recule un peu pour garder une distance confortable. Il sait exactement où vous êtes dans l'espace, même si vous bougez vite.

3. Comment ça marche ? (La Cuisine du Robot) 🍳

Pour que ce robot soit aussi rapide et naturel, les chercheurs ont utilisé deux ingrédients secrets :

Le Chef Cuisinier (Le VAE) :
Imaginez un chef qui prépare un plat complexe. Au lieu de cuisiner chaque ingrédient un par un (ce qui prendrait des heures), il prépare des "blocs" de saveurs à l'avance.
SARAH utilise une architecture spéciale qui découpe le mouvement en petits morceaux (des "blocs latents"). Cela lui permet de cuisiner (générer le mouvement) à la volée, sans jamais avoir besoin de regarder dans le futur. C'est comme conduire une voiture : vous regardez la route devant vous, pas celle qui sera là dans 10 minutes. C'est ce qu'on appelle un système causal et temps réel.
Le GPS de l'Émotion (Le Flow Matching) :
Une fois les blocs préparés, un autre système (le "Flow Matching") les assemble. Il utilise votre position et vos voix (la vôtre et celle du robot) comme un GPS.
- L'analogie : C'est comme un danseur qui suit un partenaire. Si vous avancez, le danseur ajuste son pas. Si vous reculez, il recule aussi. Le système apprend à faire cela naturellement, sans que le robot ait besoin de réfléchir à chaque mouvement.

4. Le Contrôle du Regard : Le "Volume" des Yeux 👁️

C'est la partie la plus cool. Dans la vraie vie, certaines personnes aiment beaucoup le contact visuel, d'autres préfèrent regarder ailleurs.

L'analogie : SARAH vous donne un bouton de volume pour les yeux.
- Si vous tournez le bouton à fond, l'avatar vous regarde fixement dans les yeux (comme un ami très attentionné).
- Si vous baissez le bouton, l'avatar regarde autour de lui, comme quelqu'un de timide ou distrait.
- Si vous le mettez au milieu, il fait un mélange naturel.
  Le système apprend d'abord à faire des mouvements naturels, puis vous pouvez ajuster ce "volume" pour que ça corresponde à votre personnalité.

5. Pourquoi c'est impressionnant ? 🚀

Vitesse : SARAH est ultra-rapide. Il génère plus de 300 images par seconde. C'est comme si vous aviez un super-héros qui pense et bouge instantanément. Les anciennes méthodes étaient 3 fois plus lentes et ne pouvaient pas être utilisées en direct.
Naturel : Il ne fait pas juste des gestes de bras. Il bouge tout son corps, ses pieds, sa tête, pour que vous ayez l'impression de parler à une vraie personne qui se tient debout face à vous.

En Résumé 🎯

SARAH, c'est comme donner un cerveau spatial à un avatar virtuel.
Avant, c'était un acteur qui jouait une pièce seul. Maintenant, c'est un partenaire de conversation qui :

Vous écoute (audio).
Vous voit bouger (position).
Réagit instantanément (temps réel).
Vous laisse choisir à quel point il veut vous regarder (contrôle du regard).

C'est un grand pas en avant pour rendre les mondes virtuels (comme le Métavers) plus vivants, plus confortables et plus humains. Fini les robots qui vous fixent dans le vide !

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les agents conversationnels incarnés (avatars) deviennent centraux dans la réalité virtuelle (VR), la téléprésence et les applications d'humains numériques. Cependant, les méthodes actuelles souffrent de limitations majeures :

Manque de conscience spatiale : La plupart des systèmes génèrent des gestes alignés sur la parole mais ignorent la position et le mouvement de l'interlocuteur. L'agent reste souvent figé ou tourne le dos à l'utilisateur, brisant l'illusion de présence.
Absence de causalité et de temps réel : Les modèles de pointe (diffusion, etc.) nécessitent souvent l'accès aux frames futures (non-causaux) pour fonctionner correctement, ce qui les rend inadaptés au streaming en temps réel sur des casques VR.
Données limitées : Les jeux de données existants se concentrent sur des interactions monadiques (un seul locuteur) ou des interactions dyadiques où les participants restent statiques face à face, ne capturant pas la dynamique spatiale des conversations réelles où les gens bougent.

L'objectif est de créer un système capable de générer un mouvement corporel complet (full-body) en temps réel, causal (sans accès au futur), et spatialement conscient (l'agent s'oriente et réagit au mouvement de l'utilisateur), tout en permettant un contrôle fin de l'intensité du contact visuel.

2. Méthodologie

L'approche proposée, SARAH, repose sur une architecture hybride combinant un VAE (Auto-encodeur variationnel) basé sur des transformateurs causaux et un modèle de "Flow Matching".

A. Représentation du Mouvement (Espace Euclidien)

Au lieu d'utiliser les angles articulaires traditionnels (qui peuvent entraîner des ambiguïtés et une instabilité lors de l'apprentissage), les auteurs utilisent une représentation entièrement euclidienne :

Chaque articulation est encodée comme un icosaèdre 3D.
Le centroïde des sommets donne la position globale ( $\Pi_j$ ) et une décomposition SVD par rapport à un icosaèdre de référence donne l'orientation globale ( $\Omega_j$ ).
Cette méthode améliore la stabilité de l'entraînement et permet un contrôle précis des effecteurs terminaux (mains, pieds).

B. Architecture Causal VAE avec Tokens Latents Intercalés

Pour permettre l'inférence en streaming sans sacrifier la cohérence temporelle :

Un VAE causal basé sur un transformateur est utilisé.
Contrairement aux VAE standards qui placent tous les tokens latents au début, SARAH intercale les tokens latents ( $\mu_k, \sigma_k$ ) à un pas de temps fixe ( $s$ ) au sein de la séquence de mouvement.
L'encodeur et le décodeur utilisent une attention causale stricte (chaque frame ne voit que le passé et les tokens latents précédents).
Cela permet une inférence en flux continu sans distillation complexe.

C. Générateur de Mouvement par Flow Matching

Le modèle génère le mouvement dans l'espace latent du VAE :

Il utilise un Flow Matching (modèle de flux) conditionné par :
- La trajectoire de la tête de l'utilisateur projetée au sol ( $p_y$ ).
- Les flux audio dyadiques (parole de l'agent et de l'utilisateur) extraits via HuBERT.
Le modèle prédit un champ de vitesse pour transporter le bruit vers les données latentes.
Pour l'inférence en temps réel, le modèle génère de manière auto-régressive en maintenant un tampon d'historique et en utilisant une imputation pour assurer la cohérence temporelle.

D. Contrôle du Regard (Gaze Guidance)

Pour gérer la variabilité des préférences de contact visuel (de l'évitement total au contact soutenu) :

Un score de regard ( $g$ ) est calculé comme le produit scalaire entre la direction du visage de l'agent et la direction vers l'utilisateur.
Ce score est utilisé comme condition d'entrée.
Grâce à la guidance sans classificateur (Classifier-Free Guidance), l'utilisateur peut ajuster l'intensité du regard à l'inférence (en spécifiant une cible $g$ ), permettant de décaler le comportement de l'agent sans réentraîner le modèle.

3. Contributions Clés

Première méthode temps réel et causale : SARAH est la première méthode capable de générer un mouvement conversationnel complet, conscient de l'espace, en temps réel (streaming) sur un casque VR, sans accès aux données futures.
Architecture innovante : Combinaison d'un VAE causal à tokens intercalés et d'un modèle Flow Matching, permettant une inférence rapide (>300 FPS) et une haute qualité.
Découplage Apprentissage/Contrôle : Introduction d'un mécanisme de guidage du regard qui permet de moduler l'engagement visuel à l'inférence tout en apprenant la distribution naturelle des comportements spatiaux à partir des données.
Représentation Euclidienne : Adoption d'une représentation géométrique directe (icosaèdres) qui améliore la convergence et évite les artefacts de cinématique inverse.
Validation sur un nouveau jeu de données : Utilisation et validation sur le sous-ensemble dyadique du jeu de données Embody 3D, le premier à capturer des proxémiques spatiales réalistes dans des interactions dynamiques.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Embody 3D (50 heures d'interactions).

Performance Temps Réel : Le système fonctionne à plus de 300 FPS, soit 3 fois plus rapide que les méthodes non-causales de référence (comme MDM ou A2P) qui tournent à ~90 FPS.
Qualité du Mouvement :
- FGD (Fréchet Gesture Distance) : SARAH obtient un score de 1.28, surpassant les méthodes de diffusion non-causales (MDM: 3.48, A2P: 2.01) et se rapprochant des méthodes de récupération (NN: 0.90) tout en étant génératif.
- Alignement du Regard (Head Ang.) : SARAH atteint 0.83, surpassant les méthodes audio-seules (SHOW: 0.61) et égalant les méthodes non-causales (MDM: 0.81), prouvant que l'alignement spatial peut être appris de manière causale.
- Stabilité Physique : Taux de glissement des pieds (Foot Slide) extrêmement faible (0.01), grâce à la représentation euclidienne et à la structure latente.
Contrôlabilité : La variation du paramètre de guidage $g$ permet de faire varier l'alignement du regard de 0.56 (regard détourné) à 0.96 (regard fixe), avec une légère amélioration de la qualité globale du mouvement pour un guidage modéré ( $g=0.8$ ).

5. Signification et Impact

Ce travail marque une avancée significative pour les agents conversationnels en réalité virtuelle et la téléprésence :

Réalisme Social : Il comble le fossé entre les gestes de parole et la conscience spatiale, rendant les interactions avec les agents plus naturelles et immersives.
Déploiement Industriel : La capacité à fonctionner en temps réel (<3ms par frame) sur des architectures de streaming ouvre la voie à des applications grand public dans les casques VR/AR, là où les méthodes précédentes étaient trop lourdes.
Flexibilité : La capacité à ajuster le niveau de contact visuel répond aux besoins variés des utilisateurs (culturels, personnels), rendant l'agent plus adaptable et moins intrusif.

En résumé, SARAH démontre qu'il est possible de créer des agents virtuels qui non seulement parlent, mais qui écoutent, regardent et réagissent à l'environnement spatial en temps réel, tout en maintenant une qualité de mouvement d'état de l'art.