Point-based Instance Completion with Scene Constraints

Cet article présente un nouveau modèle de complétion d'instances par nuage de points qui intègre des contraintes de scène via un mécanisme d'attention croisée pour améliorer la qualité et la plausibilité des reconstructions, et introduit le jeu de données ScanWCF pour évaluer cette tâche dans des scènes intérieures.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

Le Problème : Le Puzzle 3D Manquant

Imaginez que vous entrez dans une pièce avec un robot. Ce robot a des yeux (des caméras), mais il ne voit pas tout. Il voit la partie avant d'une chaise, mais pas l'arrière, ni les pieds cachés sous le tapis. C'est comme si on lui montrait un puzzle à moitié assemblé.

Pour que le robot puisse interagir avec la pièce (par exemple, saisir la chaise sans la renverser), il doit savoir à quoi ressemble toute la chaise, pas seulement la partie visible.

Le problème, c'est que les méthodes actuelles pour "deviner" la partie manquante sont un peu rigides :

1. Elles supposent que l'objet est toujours droit, au centre de la table, et de la même taille (comme un mannequin de magasin). Mais dans la vraie vie, les objets sont penchés, gros, petits, et collés les uns aux autres.
2. Elles ne regardent pas autour. Si le robot voit un mur, la méthode actuelle pourrait quand même dessiner une chaise qui traverse ce mur, comme si le mur n'existait pas.

La Solution : L'Architecte "Intelligent" (Point-Based Instance Completion)

Les auteurs de ce papier (Wesley Khademi et Li Fuxin) ont créé un nouveau système, un peu comme un architecte 3D très observateur. Voici comment il fonctionne, étape par étape :

1. Il ne force pas l'objet à se mettre au centre

Les anciennes méthodes prenaient l'objet, le redressaient et le mettaient au centre avant de le compléter. C'est comme si vous deviez redresser un livre penché sur une étagère avant de pouvoir deviner la couverture manquante.
Notre nouvelle méthode, elle, accepte l'objet tel quel, penché ou de travers. Elle est capable de dire : "Ah, c'est une chaise penchée vers la gauche, je vais compléter la partie manquante en tenant compte de cette inclinaison."

2. Il respecte les règles de la pièce (Les Contraintes)

C'est la partie la plus géniale. Imaginez que vous dessinez une chaise dans une pièce.

• L'ancienne méthode : Elle dessine une chaise parfaite, mais elle traverse le mur ou s'écrase contre une table voisine.
• Notre méthode : Elle a une "vue d'ensemble". Elle sait qu'il y a un mur ici (espace libre) et une table là-bas (espace occupé). Elle utilise ces informations pour dire : "Je ne vais pas dessiner de chaise dans le mur, et je vais m'assurer que mes pieds de chaise ne traversent pas la table voisine."
  C'est comme si l'architecte regardait la maquette de la maison entière avant de placer un meuble, pour éviter les collisions.

3. Il dessine les détails fins

Les anciennes méthodes avaient tendance à faire des objets un peu "boudinés" ou plats (comme des blocs de Lego grossiers). Notre méthode est capable de reconstruire des détails fins, comme les pieds fins d'une chaise ou les accoudoirs, même s'ils sont cachés. Elle devine la forme cachée avec beaucoup de précision.

Le Nouveau Terrain de Jeu : ScanWCF

Pour tester leur invention, les chercheurs ont réalisé qu'ils ne pouvaient pas utiliser les vieux jeux de données existants. Pourquoi ? Parce que ces vieux jeux contenaient des erreurs (des chaises qui traversaient les murs dans la "réalité" de l'entraînement).

Alors, ils ont construit leur propre terrain de jeu parfait appelé ScanWCF.

• WCF signifie "Watertight and Collision Free" (Étanche et sans collision).
• Imaginez qu'ils ont pris des photos de pièces réelles, puis ils ont reconstruit numériquement chaque objet pour qu'il soit parfaitement aligné avec la photo, sans qu'aucun objet ne traverse un autre. C'est le "Saint Graal" pour entraîner un robot à être réaliste.

Le Résultat : Un Robot Plus Sûr et Plus Intelligent

Grâce à cette nouvelle méthode et ce nouveau terrain de jeu, les résultats sont impressionnants :

• Moins d'accidents : Le robot ne dessine plus de meubles qui traversent les murs.
• Plus de détails : Il reconstruit des objets complexes (comme des chaises à roulettes) avec une grande fidélité.
• Plus rapide et adaptable : Il fonctionne même si l'objet est bizarrement posé.

En résumé :
Avant, c'était comme essayer de compléter un puzzle en fermant les yeux et en espérant que les pièces tombent juste. Avec cette nouvelle méthode, c'est comme avoir un expert qui ouvre les yeux, regarde la pièce entière, respecte les murs et les autres meubles, et complète le puzzle avec une précision chirurgicale, peu importe comment les pièces sont posées. C'est un grand pas en avant pour rendre les robots plus sûrs et plus intelligents dans nos maisons et bureaux.

Résumé technique

Voici un résumé technique détaillé de l'article "Point-Based Instance Completion with Scene Constraints", publié à la conférence ICLR 2025.

1. Problématique

La modélisation d'objets à partir d'observations de capteurs (LiDAR, caméras de profondeur) est cruciale pour l'interaction des robots avec leur environnement. Cependant, les capteurs ne fournissent que des observations partielles en raison des occlusions.

• Limites des méthodes existantes :
  • Les méthodes de complétion d'objets basées sur les points (Point-based Object Completion) excellent à reconstruire la géométrie manquante, mais elles supposent que l'objet est dans un système de coordonnées canonique (centré, à l'échelle 1, orienté selon un axe fixe). Cette hypothèse est irréaliste pour les objets situés dans une scène complexe où la pose et l'échelle sont arbitraires.
  • Les méthodes de complétion de scène par instance (Instance Scene Completion) tentent de traiter les objets dans leur contexte, mais elles souffrent souvent d'une qualité de complétion inférieure et ne prennent pas en compte les contraintes de la scène (par exemple, éviter de générer des points qui traversent d'autres objets ou qui pénètrent dans l'espace libre observé).
• Défis : Il est nécessaire de développer un modèle capable de compléter des objets à n'importe quelle pose et échelle tout en respectant les contraintes géométriques de la scène environnante (collisions, espaces libres, occlusions).

2. Méthodologie

Les auteurs proposent un modèle de complétion d'instances basé sur les nuages de points, structuré en trois étapes principales (voir Figure 2 du papier) :

A. Segmentation d'Instance

Le nuage de points partiel de la scène est d'abord décomposé en objets individuels en utilisant une méthode de segmentation d'instance 3D de pointe (Mask3D).

B. Générateur de "Patch Seeds" (Graines) Amélioré

C'est le cœur de l'architecture. Contrairement aux méthodes précédentes qui régressent directement les coordonnées des graines, les auteurs introduisent une approche plus robuste :

1. Prédiction du centre et des décalages : Le modèle prédit d'abord le centre de l'objet, puis génère les coordonnées des "Patch Seeds" (représentation grossière de la forme complète) sous forme de décalages (offsets) par rapport à ce centre. Cela rend le modèle invariant à la pose et à l'échelle.
2. Intégration des contraintes de scène (Scene Constraints) :
   • Au lieu d'utiliser des TSDFs denses (coûteux en calcul), les contraintes sont représentées par des nuages de points clairsemés : des coquilles délimitant l'espace libre observé et l'espace occlus.
   • Ces contraintes sont intégrées au générateur de graines via un mécanisme d'attention croisée (cross-attention). Cela permet au modèle de "raisonner" sur le contexte de la scène et d'éviter de générer des géométries qui entreraient en collision avec d'autres objets ou qui violeraient l'espace libre connu.
3. Architecture : L'encodeur partiel utilise des couches VI-PointConv (Viewpoint-Invariant) pour gérer les rotations et les échelles. Le générateur de graines utilise une attention globale pour déterminer le centre avant de prédire les décalages.

C. Décodeur de Grossier à Fin (Coarse-to-Fine)

Les graines grossières sont upsampled de manière hiérarchique (de 256 à 2048 points) en utilisant des couches d'attention locale et globale pour assurer une cohérence globale et des détails fins.

D. Reconstruction de Maillage et Estimation de Normales

Pour reconstruire des maillages (meshes) de haute qualité, un module d'estimation de normales est entraîné conjointement avec le réseau de complétion. Ces normales sont ensuite utilisées par NKSR (Neural Kernel Surface Reconstruction) pour générer des surfaces lisses et précises.

3. Contributions Clés

1. Modèle de complétion robuste : Un nouveau modèle capable de compléter des objets à des poses et échelles arbitraires dans une scène, sans nécessiter d'alignement canonique préalable.
2. Intégration de contraintes de scène : Une méthode innovante pour intégrer des contraintes d'espace libre et d'occlusion (sous forme de nuages de points clairsemés) via l'attention croisée, réduisant ainsi les collisions entre les objets complétés.
3. Nouveau Dataset : ScanWCF : Les auteurs identifient les problèmes de collision et de désalignement dans les datasets existants (Scan2CAD, ScanARCW). Ils introduisent ScanWCF (Watertight and Collision Free), un dataset contenant 1202 scènes intérieures avec des scans partiels alignés et des maillages de vérité terrain étanches et sans collisions.
4. Performance supérieure : Démonstration que l'approche surpasse les méthodes de l'état de l'art (RfD-Net, DIMR) en termes de fidélité aux scans partiels, de qualité de complétion géométrique et de plausibilité physique (moins de collisions).

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ScanWCF en comparant avec RfD-Net et DIMR.

• Complétion d'Instance (Instance Scene Completion) :

  • Le modèle proposé obtient un mAP (Mean Average Precision) supérieur sur presque toutes les métriques (IoU, Chamfer Distance, Light Field Distance), même sans pré-entraînement.
  • Avec pré-entraînement, les performances augmentent encore, notamment sur les seuils de difficulté élevés.
  • Le modèle préserve mieux les structures géométriques fines (ex: pieds de chaise, roues) que les méthodes concurrentes qui ont tendance à les fusionner ou à les simplifier excessivement.

• Complétion de Scène (Scene Completion) :

  • En utilisant les masques d'instance de vérité terrain, le modèle montre une bien meilleure fidélité aux scans partiels (faible distance Chamfer unilatérale et Hausdorff).
  • Réduction des collisions : Le modèle génère significativement moins de collisions. Les métriques de collision (COL) montrent que les méthodes concurrentes pénètrent dans les autres objets 3 à 4 fois plus que la méthode proposée.

• Études d'ablation :

  • L'utilisation de l'attention globale et la prédiction des décalages par rapport au centre améliorent considérablement la qualité.
  • L'intégration des contraintes de scène améliore la qualité de complétion de 7 % et réduit la profondeur des collisions de 29 %.
  • Le module d'estimation de normales est crucial pour obtenir des reconstructions de maillages de haute qualité, surpassant les méthodes classiques d'estimation de normales par PCA.

5. Signification et Impact

Ce travail représente une avancée significative pour la robotique et la compréhension de scènes 3D :

• Passage du canonique au réel : Il résout le problème de l'application des modèles de complétion d'objets (souvent entraînés sur des données canoniques) à des scènes réelles où la pose est inconnue.
• Sécurité et Plausibilité : En intégrant les contraintes de la scène, le modèle produit des géométries "plausibles" physiquement, ce qui est essentiel pour des tâches en aval comme la planification de saisie (grasping) ou la navigation, où les collisions virtuelles peuvent fausser les calculs de physique.
• Ressource de données : La création de ScanWCF comble un vide important dans la communauté, offrant une base d'évaluation fiable et réaliste pour les tâches de complétion de scènes, libérée des artefacts de collision présents dans les datasets précédents.

En résumé, cette approche combine la puissance des architectures basées sur les points avec une compréhension contextuelle de la scène, permettant une reconstruction 3D plus précise, robuste et physiquement cohérente.