Breaking the 15% Barrier: A Real-World Data-Driven System for Proactive Social Robot Triggered by User Nonverbal Cues

Résumé Technique : Briser la barrière des 15 %

Énoncé du Problème
Les robots de service dans les environnements de vente au détail utilisent de plus en plus des pipelines de parole en cascade (Speech-to-Text, Modèles de Langage de Grande Taille, Text-to-Speech) pour faciliter les interactions avec les clients. Cependant, ces systèmes uniquement audio ne parviennent pas à prendre en compte la part significative d'interactions initiées ou guidées par des comportements non verbaux, tels que s'approcher, faire signe de la main, pointer du doigt ou montrer des articles. Dans les déploiements réels, cette limitation entraîne des opportunités d'engagement manquées, car le robot ne peut pas répondre à l'intention de l'utilisateur transmise uniquement par des indices visuels. Bien que les modèles de langage-vision (VLM) offrent une compréhension comportementale détaillée, leur latence de calcul élevée les rend inadaptés pour une interaction multi-personnes en temps réel, où les délais de réponse doivent rester inférieurs à une seconde.

Méthodologie
Les auteurs proposent un cadre fondé sur les données qui intègre la reconnaissance de indices non verbaux en temps réel avec la génération d'énoncés basée sur les LLM. La méthodologie se déroule en trois étapes :

1. Collecte et Analyse de Données :

   • Un robot humanoïde téléopéré (Sota) a été déployé dans une pharmacie japonaise pendant six jours (32 heures opérationnelles).
   • Des opérateurs contrôlaient la parole, les gestes et le regard du robot via une interface à distance, avec une conversion de voix pour correspondre à l'apparence du robot.
   • À partir de 2 178 énoncés enregistrés du robot, les auteurs ont identifié que 15,3 % (334 énoncés) étaient déclenchés par des comportements non verbaux de l'utilisateur plutôt que par une entrée vocale.
   • Un processus d'annotation a catégorisé ces déclencheurs en 21 types de comportements et les a cartographiés sur cinq catégories d'intentions de dialogue (ex: Social et Salutation, Informations liées aux tâches, Invitation à l'engagement).
   • Sur la base de la fréquence et de la pertinence du service, neuf comportements clés ont été sélectionnés pour la reconnaissance : Approché, S'est éloigné, Interaction utilisateur-utilisateur, A acquiescé, Montré des articles, Regardé de près le robot, Touché des objets personnels, Pointé du doigt, et Fait signe de la main.

2. Reconnaissance de Indices Non Verbaux en Temps Réel :

   • Une architecture de reconnaissance légère, multi-personnes et multi-labels a été développée pour traiter les clips vidéo en temps réel.
   • Architecture : Le système utilise un Vision Transformer pré-entraîné (V-JEPA2) comme extracteur de caractéristiques pour la scène vidéo. Pour chaque personne suivie, une séquence de boîtes englobantes est traitée par un MLP pour extraire les caractéristiques positionnelles.
   • Fusion : Les caractéristiques de la scène et les caractéristiques positionnelles sont fusionnées via un produit élément par élément (Hadamard). Un pooler attentionnel (Cross-Attention) agrège ces caractéristiques fusionnées en une représentation spécifique à la personne.
   • Classification : Un classificateur MLP final produit des logits pour les neuf comportements cibles. Le modèle est entraîné avec une perte de cross-entropie binaire et une pondération des classes pour gérer le déséquilibre des données.
   • Performance : Le reconnaisseur atteint un score F1 moyen micro de 0,80 et fonctionne à environ 8 FPS, satisfaisant la contrainte de temps réel (> 1 FPS) requise pour une interaction naturelle.

3. Cadre de Dialogue Proactif :

   • Le système utilise un pipeline en cascade où le reconnaisseur non verbal fonctionne en parallèle avec le système de dialogue.
   • Les comportements reconnus sont encodés sous forme de jetons de prompt (ex: [waved], [showed items]) et sont ajoutés à l'historique du dialogue transmis au LLM (Gemini 2.5 Flash).
   • Pour le cas spécifique de "Montré des articles", un VLM est optionnellement déclenché pour identifier l'objet et générer des commentaires contextuels.
   • Cela permet au LLM de générer des réponses proactives conditionnées par des indices visuels sans dépendre de règles préétablies pour chaque scénario.

Résultats Clés

• Aperçu des Données : L'étude quantifie que les déclencheurs non verbaux représentent 15,3 % des énoncés du robot dans un contexte de vente au détail, validant ainsi le besoin d'une entrée multimodale.
• Précision de la Reconnaissance : Le modèle proposé atteint une grande précision pour les comportements dotés de mouvements distincts (ex: Approché : 0,90 F1, Montré des articles : 0,88 F1). Bien que les comportements plus rares comme Interaction utilisateur-utilisateur (0,47 F1) et Pointé du doigt (0,62 F1) présentent des défis, le système maintient un F1 moyen micro robuste de 0,80.
• Évaluation Hors-ligne : Dans des expériences hors-ligne utilisant des pistes de vérité terrain, le système a atteint un accord de 49,1 % avec les intentions du téléopérateur sur toutes les catégories. La performance a été la plus élevée pour Social et Salutation (69 % de précision), portée par des indices fréquents comme l'approche et le signe de la main. La précision était plus faible pour les Informations et directives liées aux tâches en raison de la rareté du comportement déclencheur (Touché des objets personnels) et du manque de contexte environnemental spécifique dans le prompt minimal.
• Prototype en Ligne : Un prototype en temps réel a été implémenté avec succès sur du matériel standard (RTX 3080), démontrant la faisabilité de l'ensemble du pipeline (détection, suivi, reconnaissance et génération) dans un environnement réel.

Signification et Revendications
L'article affirme fournir un cadre pratique et déployable pour combler le fossé entre les systèmes de dialogue uniquement audio et la réalité multimodale de l'interaction humain-robot. Ses principales contributions sont :

1. Validation Empirique : Il fournit une preuve réelle que une partie importante des interactions de service est pilotée par des indices non verbaux, remettant en question la suffisance des pipelines actuels centrés sur la parole.
2. Conception de Système : Il démontre qu'un modèle de reconnaissance léger et en temps réel peut être efficacement intégré à des LLM pour générer des réponses proactives et contextuelles sans la latence des modèles de fondation lourds.
3. Directives de Conception : L'analyse de la corrélation entre les comportements non verbaux spécifiques et les intentions de dialogue offre des orientations concrètes pour prioriser les indices à détecter lors de futurs déploiements de robots de vente au détail.

Les auteurs reconnaissent modestement les limites, notant que l'évaluation actuelle est principalement hors-ligne et basée sur l'intention, et que la généralisation à travers différents agencements de magasins et niveaux de foule nécessite des investigations supplémentaires. Ils soulignent que le système gère actuellement bien les indices sociaux fréquents mais peine avec les directives spécifiques aux tâches qui sont plus rares et nécessitent une connaissance détaillée de l'environnement.