MAGE: View-guided Point Cloud Completion with Efficient Modality Alignment and Adaptive Geometry Enhancement

Résumé technique de MAGE : Complétion de nuages de points guidée par la vue avec alignement de modalités efficace et amélioration géométrique adaptative

Énoncé du problème
La complétion de nuages de points vise à reconstruire des formes 3D complètes à partir d'observations partielles et incomplètes. Bien que l'apprentissage profond ait fait progresser la complétion mono-modalité, les capteurs du monde réel produisent souvent des données présentant une densité significative et des régions manquantes dues aux occlusions et aux angles de vue limités. Se fier uniquement à des nuages de points partiels peut entraîner une incertitude et des reconstructions structurellement incohérentes. Pour y remédier, la complétion de nuages de points guidée par la vue (ViPC) utilise une image RGB à vue unique pour fournir des indices visuels et structurels complémentaires. Cependant, les approches ViPC existantes souffrent de deux limitations principales :

1. Alignement de modalités insuffisant : Les méthodes actuelles alignent souvent implicitement les caractéristiques de l'image et du nuage de points via l'attention ou le transfert de caractéristiques sans contraintes géométriques explicites. Ce manque de cohérence géométrique sensible à la géométrie entraîne des incohérences géométriques inter-modalités, telles que des parties structurelles manquantes (ex. : ailes arrière) ou des composants brisés.
2. Amélioration de l'auto-géométrie limitée : Les méthodes existantes peinent à équilibrer la préservation des détails géométriques locaux avec la cohérence structurelle globale. Les méthodes locales basées sur les graphes ont des champs récepteurs limités et accumulent du bruit, tandis que l'attention globale conventionnelle tend à lisser excessivement les caractéristiques, perdant ainsi les détails à haute fréquence critiques pour les structures fines et les motifs complexes.

Méthodologie
Les auteurs proposent MAGE (Modality Alignment and adaptive Geometry Enhancement), un cadre unifié sensible à la géométrie conçu pour traiter l'incohérence géométrique inter-modale et améliorer la récupération des formes globales et locales. L'architecture se compose de cinq composants clés :

1. Tokenisation et alignement initial :

   • L'image d'entrée est divisée en patchs non chevauchants, et le nuage de points partiel est sous-échantillonné par échantillonnage de points les plus éloignés (Farthest Point Sampling - FPS) pour extraire des points ancres représentatifs.
   • Les deux modalités sont injectées dans un Vision Transformer (ViT) partagé pour aligner initialement leurs caractéristiques dans un espace latent commun.

2. Alignement de modalités efficace :

   • Pour imposer une cohérence géométrique explicite, le cadre utilise une supervision de reconstruction inter-modalité. Les caractéristiques de l'image alignées sont décodées en un nuage de points reconstruit à l'aide d'un décodeur identique au décodeur principal du nuage de points.
   • Cette reconstruction est supervisée par le nuage de points de vérité terrain (ground-truth) à l'aide d'une perte de distance de Chamfer L2. Ce processus force explicitement les caractéristiques de l'image et du nuage de points à converger dans l'espace latent, garantissant qu'elles décrivent la même structure 3D.

3. Raffinement des ancres :

   • Les ancres initiales dérivées du nuage de points partiel n'existent que dans les régions connues. MAGE introduit un module de raffinement d'ancres sensible à la géométrie qui met à jour l'emplacement des ancres.
   • Ce module concatène les représentations de forme globale, les caractéristiques des tokens de points et les coordonnées originales des ancres. Un perceptron multicouche (MLP) prédit les positions raffinées des ancres, supervisé par la vérité terrain, permettant au modèle d'inférer les régions manquantes plus précisément que les méthodes reposant uniquement sur des priors de forme globale.

4. Amélioration géométrique adaptative :

   • Après l'attention croisée avec les caractéristiques de l'image, un module d'attention auto-adaptative sensible à la géométrie (AGSA) affine davantage les caractéristiques du nuage de points.
   • L'AGSA combine une attention locale basée sur kNN (pour capturer les relations géométriques locales) avec une attention auto-globale (pour capturer les dépendances à longue portée).
   • Crucialement, il utilise un mécanisme de fusion de caractéristiques spatialement variable. Un masque est généré pour distinguer les régions valides (observées) des régions manquantes. Ce masque guide l'interpolation entre les caractéristiques originales et les caractéristiques attentionnelles, atténuant l'effet de lissage excessif de l'attention standard et préservant les détails à haute fréquence dans les zones manquantes.

5. Décodeur :

   • Un réseau de suréchantillonnage à plusieurs branches projette les caractéristiques améliorées vers le nuage de points complété final, prédisant les sous-régions des parties manquantes et les combinant avec les entrées sous-échantillonnées.

Contributions clés

• Alignement de modalités efficace : Une stratégie combinant un Transformer à auto-attention partagé et une supervision de reconstruction inter-modalité pour aligner explicitement les caractéristiques de l'image et du nuage de points avec une cohérence géométrique.
• Amélioration géométrique adaptative : Un mécanisme novateur intégrant l'attention locale basée sur kNN, l'attention auto-globale et la fusion de caractéristiques spatialement variable pour affiner simultanément les structures globales et les détails géométriques locaux.
• Raffinement d'ancres sensible à la géométrie : Un module supervisé qui met à jour l'emplacement des points d'ancrage en se basant à la fois sur la forme globale et les informations locales d'entrée, améliorant l'inférence des régions manquantes.

Résultats expérimentaux
Les auteurs ont évalué MAGE sur le jeu de données ShapeNet-ViPC (catégories connues et inconnues) et sur des scans de voitures KITTI du monde réel.

• Performance quantitative : MAGE a atteint des résultats de pointe (state-of-the-art) sur toutes les métriques (Distance de Chamfer et F-Score) à travers huit catégories connues (ex. : Avion, Chaise, Bateau) et quatre catégories inconnues (ex. : Banc, Moniteur). Sur les catégories connues, il a réduit la distance de Chamfer moyenne de 0,117 par rapport au précédent meilleur modèle (EGIInet) et a amélioré le F-Score moyen de 0,020.
• Performance qualitative : Les comparaisons visuelles ont démontré que MAGE réussit à récupérer les structures globales complètes et des détails locaux raisonnables (ex. : pieds de chaise fins, ailes d'avion et voiles de bateaux) là où des concurrents comme XMFnet, CSDN et EGIInet ont échoué à remplir les régions ou ont produit des résultats trop lissés ou structurellement incohérents.
• Études d'ablation : Le retrait de l'un des trois composants principaux (Raffinement d'ancre, Auto-attention géométrique adaptative ou Reconstruction inter-modalité) a entraîné une dégradation significative des performances, validant la nécessité de chaque module.

Signification et affirmations
L'article affirme que MAGE répond au problème de longue date de l'incohérence géométrique inter-modale dans la complétion de nuages de points guidée par la vue. En intégrant un alignement de modalités efficace et une amélioration géométrique adaptative, la méthode comble plus efficacement l'écart entre les caractéristiques d'images 2D et les représentations de nuages de points 3D par rapport aux travaux antérieurs. Les auteurs affirment que leur approche fournit une solution plus robuste pour reconstruire des formes 3D complètes et plausibles à partir d'observations partielles, particulièrement dans les scénarios nécessitant la récupération de détails géométriques fins et de structures minces.

Limitations
Les auteurs reconnaissent que la méthode peut avoir des difficultés à restaurer les détails très fins lorsque les images de référence sont floues ou de basse résolution en raison de limitations de point de vue. Dans ces cas, le modèle peut récupérer les contours généraux mais peut échouer à reconstruire des composants internes complexes. L'article suggère que les travaux futurs pourraient incorporer des images multi-vues, des priors génératifs (ex. : modèles de diffusion) ou des architectures pré-entraînées à grande échelle pour améliorer davantage la récupération des détails.