Résumé Technique : Navigation d'Objets Centrée sur l'Utilisateur (UcON)

Énoncé du Problème

Les benchmarks de navigation d'objets (ON) existants reposent principalement sur des priors de scènes générales, supposant que le placement des objets respecte des normes de bon sens (par exemple, les lits sont dans les chambres, les canapés près des téléviseurs). Cependant, dans les environnements domestiques réels, le placement des objets est souvent dicté par les habitudes individuelles des utilisateurs plutôt que par des règles universelles. Par exemple, un utilisateur peut avoir l'habitude de laisser un livre sur un canapé plutôt que dans un bureau. Cette divergence limite l'adaptabilité des agents de navigation dans des contextes personnalisés. Les méthodes de pointe (SOTA) actuelles, qui exploitent souvent les grands modèles de langage (LLM) pour le raisonnement basé sur des priors de scènes, ne parviennent pas à prendre en compte ces placements spécifiques dictés par les habitudes, ce qui entraîne une dégradation significative des performances lorsque les objets ne sont pas situés là où le bon sens le dicte.

Méthodologie

1. Le Benchmark UcON

Les auteurs introduisent la Navigation d'Objets Centrée sur l'Utilisateur (UcON), un nouveau benchmark conçu pour évaluer et améliorer la recherche d'objets dans des environnements personnalisés.

• Échelle et Portée : UcON couvre 489 catégories d'objets distinctes et incorpore environ 22 600 habitudes d'utilisateurs. C'est le premier benchmark qui formalise et évalue explicitement la navigation d'objets conditionnée par les habitudes à cette échelle.
• Génération de Tâches : Le benchmark utilise un pipeline en trois étapes utilisant GPT-4 pour générer des habitudes d'utilisateurs en langage naturel et les placements d'objets correspondants. Ces placements sont validés pour leur plausibilité physique et leur cohérence sémantique au sein du simulateur Omnigibson.
• Environnement : Chaque épisode commence par une « scène façonnée par l'habitude » où des objets spécifiques sont repositionnés selon une Base de Connaissances sur les Habitudes de l'Utilisateur (UHKB) échantillonnée. L'agent doit naviguer vers un objet cible en utilisant un ensemble d'actions (Déplacement, Rotation, Regard, Ouverture, Terminé) dans une limite de 300 étapes.
• Défi : La difficulté principale réside dans la résolution des conflits spatiaux où plusieurs habitudes peuvent coexister, et l'agent doit utiliser les preuves d'exploration pour donner la priorité à la localisation correcte dictée par l'habitude sur les priors de scène généraux.

2. Module de Récupération d'Habitudes (HRM)

Pour remédier aux limites des LLM face au traitement de longs prompts contenant des centaines d'habitudes, les auteurs proposent un Module de Récupération d'Habitudes (HRM).

• Mécanisme : Inspiré de la génération augmentée par récupération (RAG), le HRM utilise le modèle BGE-M3 pour calculer la similitude entre un modèle de requête (ex: « Récupérer les habitudes concernant {ObjetCible} ») et les habitudes stockées dans l'UHKB.
• Fonction : Il sélectionne les $p$ habitudes les plus pertinentes pour les inclure dans le prompt destiné au modèle de fondation. Cela simplifie le processus de raisonnement en filtrant les informations non pertinentes et en concentrant le LLM sur les comportements de l'utilisateur pertinents pour la tâche.

3. Configuration Expérimentale

• Simulations : Menées sur 22 scènes dans Omnigibson.
• Validation en Monde Réel : Les expériences ont été réalisées sur un robot Unitree GO2 Edu équipé d'une caméra RGB-D Astra Pro Plus, tournant sur du matériel de type station de travail (RTX 3090).
• Baselines : L'étude évalue les méthodes SOTA incluant PixelNav, LGX, L3MVN, VTN et ZSON. Ces méthodes ont été modifiées pour accepter les habitudes de l'utilisateur en entrée, certains composants (comme les détecteurs d'objets) ayant été remplacés par la vérité terrain pour établir des limites supérieures.

Résultats Clés

• Dégradation des Performances des SOTA : Les méthodes SOTA actuelles présentent des chutes de performance substantielles dans le benchmark UcON par rapport aux benchmarks de navigation traditionnels. Les méthodes de bout en bout (VTN, ZSON) et les approches basées sur des modèles de fondation (PixelNav, LGX) peinent car leur raisonnement est ancré dans le bon sens, lequel est violé par le placement d'objets dicté par les habitudes.
• Bénéfice des Habitudes de l'Utilisateur : L'intégration des habitudes de l'utilisateur améliore significativement le taux de succès (SR) et le succès pondéré par la longueur du chemin (SPL) pour la plupart des méthodes. Par exemple, la méthode LGX avec GPT-4 a vu son SR passer de 25,1 % (Sans Habitudes) à 27,8 % (Habitudes Complètes) et 30,6 % (Habitudes Récupérées).
• Efficacité du HRM : Le module de récupération d'habitudes proposé surpasse même le paramètre de l'habitude de « Vérité Terrain » (où seule l'habitude directe pour l'objet cible est fournie). Les auteurs émettent l'hypothèse que cela est dû au fait que le mécanisme de récupération fait remonter des habitudes indirectement liées (ex: des habitudes concernant une « table de petit-déjeuner » lors de la recherche d'un « sachet de thé ») qui fournissent des points de repère contextuels cruciaux, permettant des stratégies d'exploration plus efficaces.
• Viabilité en Monde Réel : Des études de cas dans des environnements réels petits et grands démontrent que les agents utilisant les habitudes récupérées peuvent localiser avec succès des objets masqués de la vue immédiate en raisonnant sur le comportement de l'utilisateur (ex: chercher près d'un canapé parce que l'utilisateur y lit), tandis que les agents sans habitudes échouent ou cherchent sans but.

Signification et Revendications

L'article affirme que UcON est le premier cadre d'évaluation complet pour la navigation intégrée aux habitudes, combinant de manière unique une large gamme de catégories d'objets avec des modèles de comportement personnalisés.

Les auteurs soulignent que :

1. Les habitudes de l'utilisateur sont un signal critique : Les agents de service domestique efficaces doivent non seulement reconnaître mais aussi exploiter les habitudes de l'utilisateur pour faciliter une recherche d'objets efficace, surtout lorsque les objets défient le placement du bon sens.
2. Limites du raisonnement : Se fier uniquement aux LLM pour le raisonnement sur de longues listes d'habitudes est insuffisant ; les mécanismes de récupération sont nécessaires pour améliorer la précision de l'inférence, particulièrement pour les modèles plus petits.
3. Directions Futures : Bien que ce travail se concentre sur l'utilisation des habitudes (raisonner sur un ensemble d'habitudes connu), il identifie l'acquisition d'habitudes (apprendre les habitudes par l'observation à long terme) et la récupération sensible au contexte comme des directions importantes pour la recherche future.

L'article conclut que l'intégration des habitudes de l'utilisateur et l'utilisation de modules de récupération sont des étapes essentielles vers la création d'agents incarnés robustes et personnalisés, capables de servir les humains dans des environnements domestiques dynamiques et réels.