🤖 AI

ProCompNav: Proactive Instance Navigation with Comparative Judgment for Ambiguous User Queries

ProCompNav est un cadre en deux étapes qui résout les requêtes de navigation d'instance ambiguës en construisant itérativement un pool de candidats et en employant des questions comparatives binaires pour distinguer efficacement la cible des leurres, surpassant ainsi les méthodes existantes en taux de réussite tout en réduisant considérablement la longueur des réponses des utilisateurs.

Auteurs originaux : Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un robot chargé de trouver un objet spécifique dans un immense entrepôt en désordre, rempli d'objets d'apparence identique. Le patron (l'utilisateur) vous donne un ordre vague : « Trouvez l'armoire. »

Le problème ? Il y a 50 armoires dans l'entrepôt. Elles se ressemblent toutes plus ou moins. Certaines sont dans des salles de bains, d'autres dans des chambres, certaines sont en bois, d'autres en métal. Si vous devinez simplement la première que vous voyez, vous risquez de saisir la mauvaise. Si vous demandez au patron : « À quoi ressemble l'armoire ? » et qu'il vous donne une longue description décousue, cela prend une éternité, et vous risquez quand même de vous perdre car cette description correspond à plusieurs armoires.

Ce papier présente une nouvelle méthode pour que les robots résolvent ce problème, appelée ProCompNav. Imaginez cela comme un jeu de « 20 Questions » joué avec une touche particulière.

Voici comment cela fonctionne, décomposé en étapes simples :

1. L'Ancienne Méthode : « Deviner et Vérifier » (Appariement Indépendant)

Imaginez un robot utilisant l'ancienne méthode. Il voit une armoire et demande : « Est-elle bleue ? » Le patron répond : « Oui. » Le robot voit une autre armoire, demande : « Est-elle bleue ? » Le patron répond : « Oui. »

Le Défaut : Le robot continue d'accumuler des faits (bleue, près d'un miroir, en bois) et essaie de les faire correspondre à une seule armoire à la fois.
Le Résultat : Il choisit souvent trop tôt un « leurre » (une mauvaise armoire) parce que cette mauvaise armoire se trouve aussi être bleue et près d'un miroir. Le robot reste coincé dans une boucle de questions longues et confuses, ou il abandonne et choisit la mauvaise chose.

2. La Nouvelle Méthode : « Le Chapeau Trier » (ProCompNav)

ProCompNav change entièrement la stratégie. Au lieu d'essayer de décrire la seule bonne armoire, il se concentre sur le tri du groupe entier d'armoires.

Étape 1 : Rassembler la Foule (Construction du Pool)
D'abord, le robot ne décide de rien pour l'instant. Il parcourt l'entrepôt et trouve toutes les armoires qu'il peut. Il les place toutes dans un « pool de candidats » mental. Maintenant, au lieu de chercher une seule aiguille dans une botte de foin, il a un tas de 10 aiguilles et doit trouver la bonne.

Étape 2 : La Division Magique (Jugement Comparatif)
Au lieu de demander : « De quelle couleur est la cible ? », le robot regarde le tas et pose une question comparative conçue pour diviser le groupe en deux.

Mauvaise Question : « L'objet cible est-il en bois ? » (Peut-être que les 10 sont en bois. Cela n'aide pas.)
Question ProCompNav : « Y a-t-il une boîte rouge à côté de l'armoire ? »
- Groupe A (Le groupe « Oui ») : 3 armoires ont une boîte rouge à côté.
- Groupe B (Le groupe « Non ») : 7 armoires n'ont pas de boîte rouge.

Étape 3 : La Coupe Binaire
Le robot pose à l'utilisateur une simple question Oui/Non : « L'armoire que vous voulez a-t-elle une boîte rouge à côté ? »

Si l'utilisateur répond « Oui » : Le robot jette instantanément les 7 armoires du Groupe B. Il ne garde que les 3 du Groupe A.
Si l'utilisateur répond « Non » : Le robot jette les 3 armoires du Groupe A. Il garde les 7 du Groupe B.

Étape 4 : Répéter jusqu'à ce qu'il en reste un
Le robot répète ce processus. Il regarde le groupe restant, trouve une nouvelle caractéristique qui les divise (par exemple : « Y a-t-il une télévision dessus ? »), pose une question Oui/Non, et divise à nouveau le groupe en deux.

Tour 1 : 10 armoires $\rightarrow$ 3 restantes.
Tour 2 : 3 armoires $\rightarrow$ 1 restante.
Fait ! Le robot a trouvé la cible.

Pourquoi est-ce mieux ?

Le papier affirme que cette méthode est une énorme amélioration pour trois raisons principales :

Elle évite les « Décisions Prématurées » : En attendant de rassembler un groupe avant de faire un choix, le robot ne choisit pas accidentellement une mauvaise armoire simplement parce qu'elle était la première qu'il a vue.
C'est plus facile pour l'utilisateur : Au lieu d'écrire un long paragraphe décrivant l'armoire (« C'est une armoire en chêne foncé avec des poignées argentées, située dans une pièce aux murs bleus... »), l'utilisateur doit simplement répondre « Oui » ou « Non ». C'est beaucoup plus rapide et moins fatigant.
C'est plus intelligent pour les questions : Le robot ne pose pas de questions au hasard. Il cherche spécifiquement une question qui divisera le nombre de suspects par deux, comme un détective qui réduit une liste de suspects en vérifiant qui était sur les lieux.

Les Résultats

Les chercheurs ont testé cela sur des simulations informatiques (comme un monde de jeu vidéo).

Taux de Succès : ProCompNav a trouvé le bon objet plus souvent que les méthodes précédentes, même lorsque l'utilisateur donnait des instructions très vagues.
Efficacité : Il a nécessité beaucoup moins de questions et des réponses beaucoup plus courtes de la part de l'utilisateur par rapport aux anciennes méthodes.
Polyvalence : Cela a même bien fonctionné dans un contexte « non interactif » (où le robot lit une description détaillée mais doit toujours trouver le bon objet parmi beaucoup), prouvant que cette logique de « comparer et diviser » est un outil puissant pour trouver des choses.

En bref : ProCompNav empêche le robot de deviner et le fait commencer par trier. Il transforme une recherche confuse en un simple jeu d'élimination, rendant le processus plus rapide pour le robot et plus facile pour l'humain.

Résumé Technique : ProCompNav

Définition du Problème

L'article aborde la Navigation Collaborative par Instance (CoIN), une tâche où un agent incarné doit naviguer dans un environnement 3D inconnu pour localiser une instance cible spécifique (par exemple, « le placard ») sur la base d'une requête en langage naturel ambiguë (par exemple, « Trouvez le placard »). Contrairement à la navigation par instance standard qui suppose qu'une description détaillée et unique est fournie dès le départ, la CoIN traite des scénarios où la cible ne peut pas être distinguée des leurres de même catégorie à l'aide d'informations initiales minimales.

Les approches existantes emploient généralement une stratégie de correspondance indépendante, où l'agent demande à l'utilisateur des attributs de la cible (par exemple, la couleur, les objets à proximité) et évalue les candidats rencontrés en fonction des informations accumulées. Les auteurs soutiennent que cette approche souffre de deux défauts majeurs :

Décisions prématurées : Les agents s'engagent souvent sur un leurre partageant des attributs avec la véritable cible avant que des preuves suffisantes ne soient réunies.
Désambiguïsation inefficace : Même lorsque plusieurs candidats sont collectés, les questions sont souvent dérivées de candidats individuels plutôt que conçues pour distinguer l'ensemble du groupe. Cela conduit à des réponses utilisateur longues et ouvertes, et à l'incapacité de séparer des leurres visuellement similaires.

Méthodologie : ProCompNav

Les auteurs proposent la Navigation par Instance Proactive avec Jugement Comparatif (ProCompNav), un cadre en deux étapes qui déplace le paradigme de « décrire la cible » vers « élaguer le groupe de candidats ».

1. Étape de Construction du Groupe

L'agent explore l'environnement pour construire un groupe de candidats $C$ de $N$ instances distinctes de la catégorie demandée.

Représentation : Chaque candidat est représenté par une image collage multi-vues et une description multi-vues générée par un Grand Modèle de Langage Multimodal (MLLM).
Agrégation : L'agent agrège des nuages de points 3D et des vues RVB depuis différents points de vue pour créer une description complète de chaque candidat, capturant des attributs qui pourraient être manqués depuis une seule vue.
Déclencheur : Une fois que la taille du groupe atteint un seuil minimum ( $N_{min}$ ), l'agent passe à l'étape de comparaison.

2. Étape de Comparaison Récursive (RCJ)

Au lieu de poser des questions ouvertes, la RCJ élague itérativement le groupe de candidats en utilisant des questions binaires oui/non basées sur le Jugement Comparatif.

Sélection de l'Ensemble Central : À chaque tour $t$ , le groupe actif actuel $U_t$ est divisé en un Ensemble Central ( $G_c$ ) et un Ensemble Résiduel ( $G_r$ ). L'ensemble central est sélectionné pour maximiser la similarité intra-ensemble (en utilisant un algorithme de dépeuplement glouton sur les embeddings textuels et visuels), garantissant que $G_c$ contient des instances sémantiquement similaires.
Découverte d'Attribut Discriminant (DA) : Le système identifie un attribut $a^*_t$ $a_{t}^{*}$ présent dans $G_c$ $G_{c}$ mais absent dans $G_r$ $G_{r}$ .
- Les attributs sont extraits de $G_c$ à l'aide d'un LLM.
- Un modèle d'Inférence en Langage Naturel (NLI) agit comme vérificateur pour évaluer l'implication de chaque attribut pour chaque instance, quantifiant le contraste entre $G_c$ et $G_r$ .
- L'attribut maximisant la différence attendue dans les scores d'implication entre les deux ensembles est sélectionné.
Raffinement : L'ensemble résiduel est affiné en réévaluant les candidats par rapport au DA sélectionné pour garantir que la séparation est nette.
Élagage Interactif : L'agent demande à l'utilisateur : « La cible a-t-elle [attribut] ? »
- Si Oui : Le groupe est mis à jour en $G_c$ .
- Si Non : Le groupe est mis à jour en $G_r$ .
- Si la taille du groupe devient 1, la cible est identifiée. Si le groupe devient vide (indiquant que la cible n'était pas dans le groupe initial), l'agent reprend l'exploration pour ajouter plus de candidats.

Contributions Clés

Stratégie de Jugement Comparatif : L'article introduit un passage de la correspondance indépendante à un pipeline « collecter puis comparer ». Cela reformule la désambiguïsation comme un processus de sélection de questions qui divisent le groupe de candidats, plutôt que de rassembler des faits sur une seule cible hypothétique.
Jugement Comparatif Récursif (RCJ) : Un algorithme spécifique qui extrait itérativement des paires attribut-valeur discriminantes pour élaguer le groupe de candidats à l'aide de questions binaires. Il requiert uniquement qu'un attribut divise le groupe actuel en deux groupes non vides, et non qu'il identifie la cible de manière unique immédiatement.
Réduction de la Charge Utilisateur : En posant des questions binaires qui éliminent plusieurs candidats simultanément, la méthode réduit considérablement la longueur des réponses utilisateur par rapport aux descriptions ouvertes.

Résultats Expérimentaux

La méthode a été évaluée sur CoIN-Bench (requêtes interactives et ambiguës) et TextNav (requêtes non interactives et détaillées).

CoIN-Bench (Interactif) : ProCompNav a obtenu le taux de réussite (SR) le plus élevé sur tous les splits (Vu, Synonymes Vus, Non Vu) par rapport aux bases interactives comme AIUTA et aux bases non interactives comme 3D-Mem.
- Amélioration du SR : A atteint un SR de 23,7 % sur Val Vu, surpassant la meilleure base interactive (AIUTA*) à 10,5 %.
- Efficacité : A considérablement réduit la Longueur Moyenne de Réponse (RL) d'environ 109,5 tokens (AIUTA) à 4,2 tokens, et réduit le Nombre de Questions (NQ) à 2,2.
TextNav (Non Interactif) : Lorsqu'adaptée à un environnement non interactif (extraction d'attributs directement à partir de descriptions détaillées), ProCompNav a atteint un SR de pointe de 28,5 %, surpassant d'autres méthodes sans entraînement.
Études d'Ablation : Les résultats ont confirmé la nécessité de l'agrégation multi-vues, du vérificateur basé sur le NLI (par rapport au seul scoring LLM), et de la sélection d'ensemble central basée sur la similarité (surpassant KMeans).

Importance et Revendications

L'article revendique que ProCompNav démontre que le jugement comparatif est un mécanisme largement utile pour la navigation au niveau des instances, particulièrement lorsque les leurres sont visuellement similaires.

Robustesse : La méthode est plus robuste contre les décisions prématurées car elle reporte la décision finale jusqu'à ce qu'un groupe de candidats soit construit et comparé.
Généralisation : Le mécanisme central de report des décisions et d'élagage via des attributs discriminants est efficace même dans des environnements non interactifs où des descriptions détaillées sont disponibles, suggérant que les candidats devraient toujours être comparés les uns aux autres plutôt que notés indépendamment.
Expérience Utilisateur : L'approche réduit considérablement la charge cognitive et verbale des utilisateurs en remplaçant les longues descriptions par de courtes confirmations binaires.

Les auteurs notent des limitations, notamment la dépendance actuelle à la simulation et aux simulateurs d'utilisateurs MLLM, et l'inefficacité potentielle de l'étape de construction du groupe dans des environnements avec très peu d'instances de même catégorie. Ils suggèrent un travail futur sur le déploiement robotique dans le monde réel et l'adaptation dynamique de la taille du groupe.