Résumé Technique : SceneDiver

1. Énoncé du Problème

Dans les tâches de prise de décision visuelles et linguistiques incarnées, telles que la manipulation robotique et la navigation, les modèles de vision-langage (VLM) et les modèles vision-langage-action (VLA) sont confrontés à un goulot d'étranglement perceptuel critique : l'hallucination visuelle. Celles-ci se manifestent par la prédiction spécieuse d'objets inexistants, l'omission d'objets, une liaison erronée des attributs ou un comptage incorrect des instances.

Bien que les VLM excellent dans la planification à long terme et les VLA dans le contrôle réactif, les deux peinent à distinguer les objets pertinents pour la tâche des distracteurs dans des environnements encombrés. Une solution directe — une « focalisation en une étape » sur les objets essentiels — s'avère inefficace car une focalisation précise nécessite intrinsèquement une compréhension de la scène profonde et progressive. Sans une compréhension complète, les modèles présentent des erreurs systématiques de mise à la terre (grounding) et des dérives d'attention, menant à des échecs de décision.

2. Méthodologie : SceneDiver

Pour remédier à cela, les auteurs proposent SceneDiver, une méthode de génération de plans de focalisation du grossier au fin conçue pour briser le goulot d'étranglement perceptuel. L'approche se compose de deux composantes principales : un pipeline de planification délibératif pour les VLM et un adaptateur léger pour les VLA.

A. Génération de Plan de Focalisation du Grossier au Fin (pour les VLM)

La méthode exploite les capacités de planification autonome des VLM via un processus itératif en deux étapes :

1. Étape Grossière : Raisonnement par Graphe

   • Le système construit d'abord un graphe de scène structuré à partir de l'image brute en utilisant un backend OvSGTR. Les nœuds représentent les objets et les arêtes encodent les relations spatiales.
   • Ce graphe est converti en un format textuel (utilisant des balises <ref>, <pred> et <box>) et transmis au VLM.
   • Le VLM effectue un raisonnement de haut niveau sur le graphe pour identifier les régions d'intérêt critiques (sous-scènes) correspondant aux nœuds du graphe. Il agit comme la « source de vérité », utilisant le graphe comme guide de parcours pour sélectionner les sous-scènes pertinentes tout en écartant les éléments non pertinents ou en conservant les candidats ambigus pour une inspection ultérieure.

2. Étape Fine : Vérification et Exploration

   • Le VLM explore de manière autonome chaque sous-scène identifiée de façon « agentique ».
   • Vérification : Le modèle zoome sur les sous-scènes locales pour vérifier si les preuves visuelles s'alignent avec le plan de la tâche.
   • Primitives d'Exploration :
     • Zoom Sémantique : Si les détails sont ambigus, le modèle réduit son champ de vision pour résoudre des attributs plus fins.
     • Recherche Spatiale Locale : Si une cible est absente en raison d'un désalignement entre le graphe et l'image, le modèle scanne le voisinage immédiat pour réacquérir la cible.
   • Ce processus produit un ensemble vérifié d'objets pertinents pour la tâche, filtrant ainsi les distracteurs.

3. Modulation de la Focalisation

   • Une fois l'ensemble de candidats établi, le système génère une Carte de Score de Focalisation au niveau du pixel.
   • Une stratégie de modulation douce est appliquée à l'image d'entrée : les objets cibles sont maintenus nets et brillants, tandis que l'encombrement de l'arrière-plan est doucement atténué (diminution de la luminance et des détails de haute fréquence) sur la base de la carte de score. Cela crée un prompt d'image modulé qui supprime l'interférence visuelle sans rejeter le contexte environnemental.

B. Adaptateur SceneDiver (pour les VLA)

Pour permettre un contrôle réactif en temps réel sans le coût computationnel du parcours de graphe itératif, les auteurs ont conçu un adaptateur léger qui distille la capacité de focalisation délibérée vers les VLA (par exemple, OpenVLA).

• Architecture : Positionné après le projecteur visuel, l'adaptateur utilise l'Attention par Slots (Slot Attention) pour extraire des représentations structurelles conditionnées par la tâche et un Module de Prédiction de Masque pour génire des masques d'attention raffinés.
• Distillation : L'adaptateur est entraîné via deux objectifs :
  • Perte de Structure : Supervise l'Attention par Slots pour apprendre des représentations de raisonnement structuré (alignant les slots avec les objets du graphe de scène).
  • Perte de Masque : Supervise le module de prédiction de masque pour améliorer la précision de la localisation spatiale.
• Mécanisme de Sécurité : Un système de porte dynamique basé sur l'entropie permet à l'adaptateur de contourner le masquage et de transmettre les observations brutes au VLA si l'incertitude dépasse un seuil, assurant une dégradation progressive dans les scénarios ambigus.

3. Principales Contributions

• Identification du Goulot d'Étranglement Perceptuel : L'article souligne que les stratégies de focalisation en une seule étape sont insuffisantes pour les environnements visuels complexes, nécessitant une exploration de scène progressive.
• Cadre SceneDiver : Introduction d'un pipeline du grossier au fin qui combine le raisonnement par graphe de scène structuré et l'exploration visuelle agentique pour générer de manière autonome des plans de focalisation.
• Distillation Efficace : Développement d'un adaptateur léger qui transfère la capacité de focalisation délibérée des VLM vers les VLA, maintenant l'efficacité de l'inférence adaptée au déploiement en ligne.
• Robustesse : Démonstration que la planification de la focalisation explicite réduit considérablement les hallucinations visuelles et améliore la robustesse de la prise de décision face aux interférences environnementales.

4. Résultats Expérimentaux

La méthode a été évaluée à travers des benchmarks de manipulation robotique, de navigation dans une pièce et de robustesse :

• Manipulation Robotique (MuJoCo) : SceneDiver a atteint un gain de performance de 10 % à 15 % dans les taux de réussite à travers divers backends VLM (incluant Qwen2.5-VL et GPT-4o-mini) dans des tâches d'assemblage encombrées.
• Navigation dans une Pièce : La méthode a surpassé les approches de focalisation visuelle existantes (ex: SoM, Multi-Res, VCD) et même les modèles améliorés par la « pensée ». Les améliorations atteignent jusqu'à 16 % dans les taux de réussite de navigation, particulièrement dans les tâches exigeant du bon sens, des instructions complexes et la reconnaissance de l'apparence visuelle.
• LIBERO-plus (Robustesse VLA) : En distillant SceneDiver dans un VLA (OpenVLA-OFT), la méthode a amélioré les taux de réussite jusqu'à 9,6 % en présence d'interférences environnementales (ex: changements de disposition des objets, points de vue de la caméra, variations de luminosité). Notamment, elle a montré une résilience exceptionnelle dans les tâches à long horizon, réduisant l'accumulation d'erreurs causée par l'ambiguïté visuelle.
• Efficacité : L'adaptateur SceneDiver n'induit qu'un surcoût computationnel marginal de seulement 2,64 % (environ 3 ms sur une RTX 4090), préservant les capacités en temps réel du VLA.
• Ablation et Tests de Stress :
  • Supprimer la planification en deux étapes (Focalisation Directe) ou la vérification fine dégrade considérablement les performances, confirmant la nécessité de l'approche itérative.
  • Les tests de stress sur les graphes de scène (simulant une perte de 10 à 50 % des nœuds) ont montré un taux de récupération supérieur à 96 % et des taux d'hallucination inférieurs à 2 %, démontant la capacité du système à récupérer d'échecs partiels du graphe via l'exploration de l'étape fine.

5. Signification et Revendications

L'article affirme que SceneDiver brise efficacement le goulot d'étranglement perceptuel dans l'IA incarnée en permettant aux modèles de générer de manière autonome des plans de focalisation. En passant d'une perception passive à une exploration active et structurée, la méthode garantit que les décisions sont ancrées dans des preuves visuelles à haute résolution plutôt que dans des priors statistiques ou des raccourcis heuristiques.

Les auteurs soulignent que, bien que la méthode réduise considérablement les hallucinations visuelles et améliore la robustesse, elle le fait tout en maintenant l'efficacité computationnelle. Le travail suggère que les priors structurés (graphes de scène) combinés à la vérification agentique sont les clés pour démêler les informations sémantiques des objets des variations de pixels non pertinentes, une étape cruciale pour un déploiement fiable dans des environnements dynamiques et réels. Les auteurs reconnaissent des limites dans la gestion de scènes extrêmement dynamiques avec des mouvements d'objets rapides et suggèrent une intégration future avec des cadres de planification hiérarchique pour des scénarios plus complexes à plusieurs étapes.