Résumé Technique : PInVerify : Un Benchmark d'Embodiment Hors Ligne pour la Vérification Active d'Instances

1. Définition du Problème

Les benchmarks actuels de l'IA incarnée (embodied AI) (ex. : ObjectNav, OVON, PIN) évaluent principalement la capacité d'un agent à naviguer vers le voisinage d'une catégorie d'objet cible ou d'une instance spécifiée par le langage. Cependant, atteindre le voisinage de l'objectif ne garantit pas que l'agent a identifié la bonne instance. Des différences d'attributs subtiles (ex. : un mug « blanc à fleurs » vs un mug « blanc à rayures ») nécessitent souvent une inspection rapprochée et multi-vues pour être résolues. Les métriques de navigation existantes considèrent l'arrivée au voisinage de l'objectif comme un succès, masquant un mode de défaillance critique où l'agent livre le mauvais objet malgré l'atteinte du lieu correct.

Le papier identifie un écart entre le succès géométrique (arriver près de la cible) et le succès sémantique (vérifier l'identité de l'instance par rapport à une description fine). Bien que certains travaux récents insèrent des étapes de « vérification de la cible » dans les chaînes de navigation, la vérification reste intégrée plutôt qu'isolée en tant que problème de décision autonome. Les auteurs plaident pour la Vérification Active d'Instance (AIV - Active Instance Verification) : une tâche où un agent, étant donné un objet candidat et une description textuelle fine, sélectionne activement une séquence de points de vue pour décider si l'objet correspond à la description.

2. Méthodologie et Conception du Benchmark

2.1. La Formulation de la Tâche AIV

L'AIV est formalisée comme un processus de décision à horizon fini. Un épisode est défini par un tuple $(Q, o_{query}, o_{target}, G)$ :

• $Q$ : Un ensemble de descriptions en langage naturel caractérisant l'instance de la requête.
• $o_{target}$ : L'objet candidat physiquement placé dans la scène.
• $G$ : Un graphe de navigation autour de $o_{target}$ composé de points de vue pré-capturés (nœuds) et de transitions navigables (arêtes).

État et Action :

• État ($S_t$) : Comprend le point de vue actuel ($p_t$), l'observation (image RGB + avertissements de visibilité) et une croyance interne ($B_t$) concernant la décision de vérification.
• Espace d'Action ($A$) : Comprend des actions de navigation ($NAV_{d_k}$) pour se déplacer vers l'un des $K=6$ secteurs azimutaux, et des décisions de vérification terminales ($OUI, NON$).
• Horizon : $T=6$ étapes (chaque secteur visité au plus une fois).

Types de Paires :
Pour distinguer le biais de calibration de la capacité de reconnaissance, l'ensemble d'évaluation est équilibré entre trois types de paires :

1. Positive : $o_{query} = o_{target}$ (Même instance).
2. Négative Identique (Neg Same) : Même catégorie, attributs fins différents (ex. : deux sacs à dos avec des couleurs différentes).
3. Négative Différente (Neg Diff) : Catégories différentes (ex. : requête de sac à dos vs cible chapeau).

2.2. Le Benchmark PInVerify

PInVerify est un benchmark d'embodiment hors ligne construit sur le jeu de données PInNED (scènes HM3D avec des objets Objaverse-XL). Les innovations clés incluent :

• Échelle des Données : 3 000 épisodes d'évaluation à travers 18 catégories d'objets (ex. : sac à dos, mug, clés).
• Topologie Multi-vues : Un graphe de navigation à 6 secteurs avec deux anneaux d'observation (Loin : 1,4–1,7 m ; Proche : 0,9–1,2 m).
• Annotations au Niveau du Protocole :
  • Vues Pièges (Trap Views) : Secteurs géométriquement navigables où le masque projeté de la cible tombe sous un seuil de visibilité (non informatif en raison de l'occlusion ou de l'angle).
  • Secteurs Inaccessibles : Secteurs bloqués par des murs ou du mobilier où la navigation échoue.
  • Paires Stratifiées : Séparation explicite des paires positives, négatives identiques et négatives différentes pour analyser les modes de défaillance.
• Nature Hors Ligne : Les observations pré-capturées éliminent la stochasticité du rendu et isolent la décision de vérification du contrôle de la locomotion, permettant des ablations contrôlées sur la détection et le raisonnement.

2.3. Agents de Référence

Les auteurs fournissent deux agents de base pour cartographier la difficulté de PInVerify :

1. Pipeline Modulaire Sans Entraînement (Training-Free) :
   • Décomposition d'Attributs : Utilise un MLLM pour décomposer les descriptions en attributs structurés.
   • Vérification par Vue : Localise l'objet (via Grounding DINO ou des boîtes GT) et vérifie les attributs un par un.
   • Tracker Pondéré par la Confiance : Accumule les preuves à travers les vues, en décrédibilisant les observations à faible visibilité (pièges) pour éviter les rejets fallacieux.
   • Meilleure Vue Suivante (NBV - Next-Best-View) : Compare les stratégies Aléatoire, Échantillonnage de Points les Plus Proches Angulaires (FPS) et guidée par LLM.
2. Agent End-to-End Fine-tuné par LoRA :
   • Basé sur Qwen3-VL-4B, fine-tuné via LoRA.
   • Entraîné via l'Apprentissage Supervisé (SFT) sur des traces de chaîne de pensée (chain-of-thought), suivi de stratégies d'alignement (DPO, GRPO, GSPO).
   • Effectue la vérification et la navigation en un seul passage direct (forward pass).

3. Résultats Clés

3.1. Performance des Baselines

• MLLM vs Embeddings : La meilleure baseline basée sur MLLM (Qwen3-VL-4B avec décomposition d'attributs et tracking multi-vues) atteint 85,0 % de précision globale, dépassant la meilleure baseline d'embeddings (SigLIP2, 80,1 %) de 4,9 points de pourcentage (pp). L'écart est nettement plus important sur les paires positives (59,6 % contre 42,9 %).
• Goulot d'étranglement de la Détection : Les ablations utilisant les boîtes englobantes de la Vérité Terrain (GT) au lieu de Grounding DINO montrent un gain de +3,1 pp de précision globale (et +10,6 pp sur les paires positives), identifiant la qualité de la détection comme un goulot d'étranglement majeur, particerlement pour les petits objets (ex. : clés, montres).
• Stratégies NBV : Dans l'échelle testée, les différentes stratégies NBV (Aléatoire, FPS, guidée par LLM) produisent des résultats dans l'intervalle de confiance de 95 % ($\pm 1,3$ pp). Aucune stratégie ne montre de gains fiables par rapport à l'échantillonnage aléatoire dans le cadre sans entraînement.

3.2. Performance de l'Agent Entraîné

• Impact du SFT : Un agent fine-tuné par LoRA (SFT) améliore la précision globale de 70,6 % (base) à 84,8 %, avec un bond massif dans la précision des paires positives (0,146 $\to$ 0,759).
• Alignement : L'alignement post-SFT avec GSPO (Group Sequence Policy Optimization) améliore davantage la performance à 85,6 % (88,9 % avec les boîtes GT).
• Compromis : Les agents entraînés présentent un changement de calibration : ils améliorent significativement la confirmation positive mais montrent une précision réduite sur le rejet des "neg same" par rapport au pipeline sans entraînement. Ils démontrent également une plus grande efficacité, réduisant le Nombre Moyen d'Étapes vers la Décision (ASD) de 2,34 à 1,62 et les taux d'échec de navigation de 28 % à 9 %.

4. Signification et Revendications

Le papier positionne PInVerify comme un banc d'essai contrôlé qui complète, plutôt qu'il ne remplace, les benchmarks de navigation existants. Sa signification réside dans :

1. Isolation de la Vérification Sémantique : En faisant abstraction de la locomotion, il permet aux chercheurs d'étudier le défi spécifique de la vérification de l'identité fine d'une instance sous occlusion et incertitude de point de vue.
2. Révélation des Problèmes de Calibration : Les résultats soulignent que pour les MLLM sur appareil ( $\le$ 8B paramètres), la calibration (l'équilibre entre la confirmation des correspondances et le rejet des non-correspondances) est aussi cruciale que la capacité brute. La meilleure stratégie de requête dépend du profil de calibration spécifique du modèle.
3. Identification des Goulots d'Étranglement : Le benchmark fait explicitement émerger la qualité de la détection et la gestion des « vues pièges » comme des modes de défaillance primaires, suggérant que les travaux futurs doivent traiter la détection robuste en vocabulaire ouvert et la sélection de vue consciente de l'incertitude.
4. Reproductibilité Hors Ligne : L'utilisation de données pré-capturées garantit que les résultats d'évaluation ne sont pas confondus par les variations de rendu ou la stochasticité du contrôle, facilitant une comparaison équitable des algorithmes de vérification.

Les auteurs concluent que bien que les MLLM actuels puissent effectuer une vérification active, ils ne sont pas encore assez robustes pour sélectionner de manière fiable la « meilleure » vue dans tous les scénarios, et que la qualité de la détection reste un facteur limitant pour la vérification sémantique fine dans l'IA incarnée.