Résumé technique : Percevoir puis Planifier : Disposition comme Politique pour l'Estimation de la Disposition 3D de Scènes Monoculaires

Énoncé du Problème

La récupération de dispositions structurées de scènes intérieures 3D à partir d'une seule image monoculaire est un défi fondamental en vision par ordinateur, avec des applications en robotique, en simulation et en création de contenu. Les approches existantes formulent généralement cela comme un problème de prédiction directe, où les modèles régressent les emplacements, les tailles et les orientations des objets en un seul passage avant. Cependant, ces méthodes peinent souvent à imposer des contraintes globales et des relations inter-objets. Étant donné que les scènes intérieures 3D sont intrinsèquement structurées et interdépendantes, de petites erreurs locales dans les prédictions en un seul passage peuvent se propager en grandes incohérences globales, conduisant à des dispositions physiquement implausibles (par exemple, des objets flottants, des collisions ou des relations de support invalides). La difficulté centrale réside dans la réconciliation d'observations visuelles ambiguës avec des contraintes physiques et spatiales sans ingénierie explicite de récompense ni fonctions objectif manuelles.

Méthodologie

Les auteurs proposent un cadre Percevoir puis Planifier qui reformule l'estimation de la disposition 3D monoculaire comme un problème de prise de décision séquentielle utilisant des Modèles Vision-Langage (VLM). Le pipeline se compose de deux étapes distinctes :

1. Le Perceveur (Initialisation)

La première étape se concentre sur l'ancrage des objets 3D à partir de l'image d'entrée et des détections 2D.

• Architecture : Un VLM enrichi de géométrie (basé sur Qwen3-VL) sert de Perceveur.
• Modulation Sensible à la Géométrie : Pour combler le fossé entre les caractéristiques visuelles et la géométrie 3D, le modèle injecte des priors géométriques issus d'un encodeur de géométrie préentraîné (VGGT) dans les caractéristiques visuelles du VLM via un module de modulation léger. Cela permet au modèle de tirer parti de la compréhension visuelle tout en étant guidé par des indices géométriques.
• Représentation : Au lieu de régresser des sommets 3D bruts, le Perceveur produit une représentation paramétrée de boîtes 3D (centre, échelle et axes locaux) dans un système de coordonnées de la caméra.
• Canonisation : Les boîtes 3D ancrées sont transformées en une représentation canonique basée sur une grille, alignée sur la gravité. Cette discrétisation (arrondi des positions et orientations vers des indices de grille) prépare l'état de la scène pour le raffinement ultérieur basé sur les actions.

2. Le Planificateur LaP (Raffinement)

La deuxième étape, nommée Disposition comme Politique (LaP), traite la disposition 3D comme un état structuré et le raffinement comme un problème d'apprentissage de politique.

• Espace d'Actions : Le planificateur opère sur un ensemble discret d'actions : SELECT (choisir un objet), MOVE (translater), ROTATE_Y (lacet), RESIZE (mettre à l'échelle) et STOP. Ces actions sont conçues pour corriger des modes d'échec spécifiques tels que le mauvais alignement, un support incorrect et les collisions.
• Stratégie d'Entraînement :
  • Synthèse de Données Perturbées : Les données d'entraînement sont construites en prenant des dispositions de vérité terrain, en appliquant des perturbations aléatoires (simulant des erreurs d'initialisation) et en générant les séquences d'actions inverses nécessaires pour restaurer la vérité terrain.
  • Affinement Supervisé (SFT) : Le planificateur est d'abord amorcé par SFT sur ces paires de données perturbées pour apprendre le format de suivi d'instructions et les comportements correctifs de base.
  • Optimisation Directe des Préférences (DPO) : Pour apprendre des notions implicites de validité géométrique sans modélisation explicite de récompense, les auteurs emploient la DPO. Le modèle est entraîné à préférer les séquences d'actions menant à des dispositions physiquement cohérentes par rapport aux séquences « dégradées » (par exemple, celles avec des types d'actions incorrects, des étapes manquantes ou des magnitudes incorrectes).
• Processus Itératif : Le raffinement est effectué de manière itérative. Le planificateur prend l'état actuel de la scène et l'image d'entrée, prédit une séquence d'actions, les applique pour mettre à jour l'état, et répète le processus jusqu'à convergence (signalée par un jeton STOP ou une limite de tours).

3. Assemblage de la Scène

Après le raffinement, un graphe de scènes de contact est généré pour regrouper les objets en ensembles relationnels (par exemple, une lampe sur une table sur le sol). Une simulation de gravité en un seul passage est appliquée à ces ensembles pour résoudre les artefacts mineurs de flottaison ou de pénétration causés par la discordance entre les boîtes 3D abstraites et les actifs 3D réels.

Contributions Clés

1. Pipeline Percevoir puis Planifier : Les auteurs introduisent une formulation novatrice pour l'estimation de la disposition 3D monoculaire qui décompose la tâche en une étape de perception (ancrage) et une étape de planification (raffinement itératif), s'éloignant de la prédiction en un seul passage.
2. Disposition comme Politique (LaP) : Ils proposent de considérer l'étape de raffinement de la disposition comme un problème d'apprentissage de politique où les dispositions 3D sont des états structurés et les opérations de raffinement sont des actions discrètes. Cela permet un raisonnement explicite sur la satisfaction des contraintes.
3. Perceveur Enrichi de Géométrie : Un module d'ancrage basé sur les VLM qui intègre des caractéristiques visuelles et géométriques pour produire des dispositions initiales fiables et alignées sur les observations, fournissant un point de départ solide pour le raffinement.
4. Optimisation Basée sur les Préférences : L'utilisation de la DPO permet au planificateur d'apprendre des comportements correctifs et de comprendre la cohérence spatiale grâce à des comparaisons relatives de séquences d'actions, évitant ainsi le besoin d'une ingénierie de récompense complexe.

Résultats Expérimentaux

La méthode a été évaluée sur les ensembles de données Hypersim et SUN RGB-D.

• Performance du Perceveur : Le Perceveur proposé surpasse significativement les VLM open-source et closed-source les plus avancés (y compris GPT-4o et Gemini) en matière de métriques d'ancrage 3D. Plus précisément, il atteint un IoU de reprojection de 0,58 (contre 0,33 pour le prochain meilleur modèle open-source) et une erreur de profondeur moyenne de 0,08 m.
• Performance de Raffinement : Le raffinement itératif avec le Planificateur LaP produit des améliorations substantielles par rapport à la sortie initiale du Perceveur.
  • Plausibilité Physique : La méthode réduit le taux de violation de support (SVR) de 11,63 % à 4,85 % et le nombre de collisions de 3,62 à 1,46.
  • Alignement Visuel : L'IoU de reprojection passe de 0,54 à 0,65, démontrant que le raffinement améliore la cohérence physique sans s'écarter des preuves visuelles.
• Comparaisons : L'approche surpasse le raffinement direct par VLM en un seul passage et les bases de raffinement basées sur des règles. Les méthodes basées sur des règles échouent à maintenir l'alignement visuel, tandis que les VLM en un seul passage peinent à corriger efficacement les erreurs intermédiaires.

Importance et Revendications

L'article revendique que la transformation de l'estimation de la disposition d'une tâche de prédiction en un seul passage en un processus itératif de perception puis de planification permet une meilleure gestion des contraintes globales et des interactions complexes entre objets. En traitant le raffinement de la disposition comme un problème d'apprentissage de politique, le cadre prend en charge naturellement les tâches en aval telles que l'édition de scènes guidée par le langage et la manipulation incarnée, car l'interface basée sur les actions permet une modification directe de l'état de la scène.

Les auteurs soulignent que leur approche produit des dispositions plus cohérentes physiquement et mieux alignées avec les observations visuelles. Ils positionnent ce travail comme une étape vers la capacité des Modèles Vision-Langage à effectuer un raisonnement 3D robuste dans des scénarios réels, en particulier dans des domaines nécessitant une compréhension de scène physiquement valide comme la robotique et la simulation. L'article reconnaît des limites, notant sa dépendance aux détecteurs 2D du commerce et son focus actuel sur les environnements intérieurs structurés, suggérant un travail futur sur les entrées multi-vues et l'optimisation conjointe des étapes de perception et de planification.