🤖 AI

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

Cet article introduit UESF-Bench, un banc d'essai à grande échelle pour la recherche et le suivi unifiés d'humains incarnés qui répond aux limites des évaluations existantes en exigeant que les agents localisent d'abord une cible décrite par le langage avant de les suivre de manière persistante, et propose le cadre SeekFollow-VLA pour gérer efficacement la transition entre ces deux phases.

Auteurs originaux : Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Publié 2026-07-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment devenir le partenaire idéal. Dans le monde de la robotique, il existe une grande différence entre simplement « voir » et « comprendre ». Pour qu'un robot soit véritablement utile, il a besoin d'une IA incarnée (Embodied AI) — un cerveau qui vit à l'intérieur d'un corps, lui permettant de se déplacer dans le monde réel, et non pas seulement de fixer un écran. Il a également besoin de compétences en Vision-Langage-Action, ce qui est une façon sophistiquée de dire qu'il doit regarder ce qui se passe, écouter ce que vous dites, puis bouger physiquement pour agir en conséquence. Voyez cela comme une partie de cache-cache où le robot doit écouter un indice comme « Trouve l'homme avec la veste rouge », courir dans la maison pour le trouver, puis rester près de lui sans le bousculer. Pourquoi est-ce important ? Parce que dans la vraie vie, les gens ne se tiennent pas toujours juste devant un robot en attendant d'être suivis. Souvent, ils sont cachés dans une autre pièce, ou le robot a perdu leur trace. Si un robot peut seulement suivre quelqu'un qu'il voit déjà, il n'est pas très utile. Il doit être capable de les traquer d'abord, puis de changer de mode pour les suivre, tout en identifiant qui est qui dans une pièce bondée.

Ce document présente un nouveau défi et une nouvelle solution pour exactement ce problème. Les auteurs, une équipe de chercheurs provenant de diverses universités et entreprises, ont réalisé que la plupart des tests existants pour les robots suiveurs étaient trop faciles : ils supposaient que la personne cible était déjà là, debout et visible dès le départ. Ils soutiennent que cela néglige la partie la plus importante du travail : la recherche. Pour corriger cela, ils ont construit un nouveau terrain de jeu massif appelé UESF-Bench (Unified Embodied Seeking and Following Benchmark). C'est comme un niveau géant de jeu vidéo avec plus de 1,43 million de scénarios différents, comprenant plus de 4 800 personnes numériques uniques et plus de 770 environnements différents. Dans ce benchmark, le robot reçoit une instruction unique telle que « Trouve l'homme de petite taille aux cheveux bruns dans la cuisine et suis-le », et il doit accomplir deux tâches : d'abord, le chercher activement lorsqu'il est hors de vue, et ensuite, passer de manière fluide au suivi une fois trouvé, même s'il se perd à nouveau dans une foule.

Les chercheurs ont découvert que simplement dire à un robot de « faire les deux » ne suffit pas ; il s'embrouille. Ils ont testé trois façons de construire le cerveau du robot. La première était une « Tête Unique » (Single Head), où le robot essayait d'utiliser un seul cerveau pour la recherche et le suivi. La deuxième était une « Double Tête » (Dual Head) avec un commutateur basique, et la troisième était un « Routeur piloté par la tâche » (Task-Driven Router), un système plus intelligent qui agit comme un agent de circulation, indiquant explicitement au robot quand arrêter de chercher et commencer à suivre en fonction de ce qu'il voit. Les résultats ont montré que l'approche à « Tête Unique » était un désastre, le robot ne réussissant que 4 % des tests à personne unique. Même la « Double Tête » basique avait du mal, restant à 5 %. Cependant, le « Routeur piloté par la tâche » (qu'ils appellent SeekFollow-VLA) a changé la donne. Dans les tests à une seule personne, il a réussi 35 % du temps, et dans les tests beaucoup plus difficiles (où de fausses personnes se cachent pour tromper le robot), il a tout de même atteint un taux de réussite de 20 %, surpassant largement les autres.

Le papier suggère que la clé du succès n'est pas seulement d'avoir une meilleure caméra ou un cerveau plus rapide, mais d'avoir un signal interne clair qui sait quand la tâche est passée de la « chasse » au « troupeau ». Les chercheurs ont montré que leur routeur intelligent apprend à agir d'abord comme un détective, en scannant la pièce avec une intensité élevée, puis bascule instantanément en mode garde du corps fidèle dès qu'il repère la bonne personne. Ils ont également noté que, bien que cette nouvelle méthode soit bien meilleure pour trouver et suivre, elle provoque légèrement plus de collisions dans les pièces bondées, suggérant qu'être un excellent chasseur peut parfois rendre un peu maladroit. En fin de compte, l'article soutient que pour construire des robots qui peuvent réellement nous aider dans le monde réel, nous devons cesser de les tester sur des tâches statiques et faciles, et commencer à les mettre au défi de la réalité désordonnée et confuse de trouver quelqu'un qui se cache, puis de rester à ses côtés à travers le chaos.

Résumé technique : UESF-Bench et SeekFollow-VLA

Définition du problème

Les benchmarks actuels de l'IA incarnée pour le suivi humain, tels qu'EVT-Bench, supposent généralement que la cible est visible dès le début de l'épisode. Cette simplification néglige une exigence cruciale du monde réel : un agent doit souvent d'abord localiser une cible décrite par le langage, initialement hors de vue, puis effectuer une transition fluide vers un suivi persistant dans des environnements dynamiques.

La recherche existante traite la recherche humaine et le suivi humain comme des tâches distinctes, s'appuyant souvent sur de fortes priors environnementaux ou des indices explicites. De plus, elles ne traitent pas la continuité de l'interaction, spécifiquement le défi des transitions de phase implicites. Un agent doit déterminer de manière autonome quand passer de la recherche au suivi, et inversement, s'il doit reprendre la recherche ou tenter une récupération locale lorsqu'une cible est temporairement perdue. Cet article formule la Recherche et Suivi Visuel Incarné (Embodied Visual Seek-and-Follow) comme une tâche unifiée où un agent doit gérer l'exploration guidée par la sémantique, le changement de comportement fiable et l'ancrage d'identité différé sous l'influence de distracteurs, le tout basé sur une instruction de langage naturel fusionnée unique.

Méthodologie : SeekFollow-VLA

Pour relever ces défis, les auteurs proposent SeekFollow-VLA, un cadre de Vision-Langage-Action (VLA) conçu pour la recherche et le suivi unifiés.

Architecture

Backbone : Le modèle utilise un modèle de Vision-Langage pré-entraîné, Qwen3-4B, comme backbone.
Encodage visuel : Il emploie un encodeur visuel à double tour (DINO-V3 et SigLIP) pour traiter les observations RGB égocentrées. Les caractéristiques sont extraites à une résolution unifiée (384×384) et fusionnées. Pour équilibrer détail et efficacité, le système utilise un mécanisme de fenêtre glissante : des tokens fins pour l'image actuelle et des tokens grossiers pour les images historiques ( $k=31$ ).
Fusion multimodale : Les tokens visuels sont projetés dans l'espace latent du langage via un projecteur cross-modalité et concaténés avec les tokens d'instruction fusionnés.

Conception de la tête d'action

L'innovation centrale réside dans l'étude de trois architectures alternatives de têtes d'action pour gérer la transition implicite entre la recherche et le suivi :

Tête unique (Single Head) : Un MLP partagé mappe la représentation multimodale directement vers les points de passage (waypoints). Cela sert de référence (baseline) mais risque une « confusion de mode » entre les objectifs distincts de recherche et de suivi.
Doubles têtes avec routeur sensible à la phase (Dual Heads with Phase-Aware Router) : Deux têtes distinctes (Recherche et Suivi) sont combinées à l'aide de poids de routage appris uniquement à partir de l'objectif de prédiction du point de passage.
Doubles têtes avec routeur piloté par la tâche (Dual Heads with Task-Driven Router - Proposé) : Cette variante introduit une supervision explicite pour le processus de routage. En plus des poids de routage, le routeur prédit les logits de type de tâche ( $g_T$ $g_{T}$ ) supervisés par un label d'étape de vérité terrain ( $z_T$ $z_{T}$ ).
- $z_T = 0$ (Recherche) jusqu'à ce que la cible soit trouvée avec succès pour la première fois (définie comme étant à moins de 1,7 m et faisant face à l'agent).
- $z_T = 1$ (Suivi) par la suite.
- Fonction de perte : L'objectif d'entraînement combine la perte de prédiction du point de passage ( $L_{wp}$ ) avec une perte d'entropie croisée auxiliaire sensible à l'étape ( $L_{stage}$ ), pondérée par $\beta_{nav} = 10$ . Cela encourage explicitement le modèle à apprendre un routage correct entre les modes de tâche.

Contributions clés

Formulation de la tâche : Le papier définit la recherche et le suivi visuel incarné comme une tâche unifiée exigeant qu'un agent localise une cible décrite par le langage, initialement hors de vue, puis passe à un suivi persistant sans signaux de phase explicites.
UESF-Bench : Les auteurs construisent le Benchmark de Recherche et de Suivi Incarné Unifié (Unified Embodied Seeking and Following Benchmark), un ensemble de données à grande échelle contenant 1,43 million d'échantillons répartis sur plus de 770 environnements et plus de 4 800 avatars diversifiés. Il couvre à la fois les scénarios à personne unique et multi-personnes (bondés), répondant au manque de standard d'évaluation unifié pour cette tâche spécifique.
Cadre SeekFollow-VLA : Un cadre VLA doté d'un mécanisme de routage piloté par la tâche qui permet l'inférence de phase latente et la modélisation de transition, réduisant efficacement la confusion de mode entre les comportements de recherche et de suivi.
Validation empirique : Des expériences approfondies démontrent que la conception à double tête pilotée par la tâche surpasse significativement les baselines à tête unique et à double tête sensible à la phase, particulièrement dans les environnements multi-personnes complexes.

Résultats expérimentaux

Les expériences ont été menées sur l'ensemble de test UESF-Bench en utilisant des métriques incluant le Taux de Succès de la Tâche (TSR), le Taux de Collision (CR), le Ratio de Suivi (FR) et le Search SPL.

Configuration à personne unique :
- Le DualHead-TD a atteint un TSR de 0,35, surpassant nettement le SingleHead (0,04) et le DualHead-PA (0,05).
- Il a également obtenu le FR le plus élevé (0,92) et le Search SPL le plus élevé (0,53).
- Les résultats indiquent qu'une supervision explicite pilotée par la tâche est nécessaire pour résoudre l'ambiguïté comportementale et améliorer l'efficacité de la recherche.
Configuration multi-personnes :
- La performance a généralement décliné en raison de l'interférence des distracteurs, mais le DualHead-TD a maintenu le TSR le plus élevé (0,20) contre 0,04 pour les autres baselines.
- Le DualHead-TD a atteint un Search SPL de 0,55, démontrant une identification de cible et une efficacité de recherche supérieures, même dans des scènes bondées.
- Bien que le DualHead-PA ait montré un FR légèrement plus élevé (0,85 contre 0,82), le TSR et le Search SPL supérieurs du DualHead-TD soulignent son efficacité dans la tâche unifiée, où la transition réussie et la récupération de la cible sont critiques.
Dynamique de routage : La visualisation des poids du routeur a confirmé que le Routeur Piloté par la Tâche apprend une séparation fonctionnelle claire : assignant un poids proche de 100 % à la tête de recherche pendant l'exploration et effectuant une transition nette vers la tête de suivi lors de la découverte de la cible, maintenant la stabilité par la suite.

Signification et affirmations

Le papier affirme que l'UESF-Bench est le premier benchmark à grande échelle pour la recherche et le suivi humain unifiés guidés par le langage dans des contextes incarnés. En allant au-delà de l'hypothèse de la visibilité initiale de la cible, ce travail aborde une forme plus réaliste d'interaction incarnée.

Les auteurs soutiennent que traiter la recherche et le suivi comme des tâches indépendantes ne parvient pas à capturer la continuité de l'interaction réelle. Le SeekFollow-VLA proposé démontre qu'un cadre unifié avec un routage explicite piloté par la tâche peut gérer efficacement les transitions de phase implicites et l'ancrage d'identité différé requis pour une interaction humain-robot robuste. Les résultats suggèrent que pour les tâches incarnées complexes, les biais inductifs architecturaux qui modélisent explicitement les transitions d'étape sont cruciaux pour la performance, particulièrement dans les environnements avec des distracteurs.