RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion

Cet article présente RDFC-GAN, un réseau de fusion end-to-end combinant une architecture encodeur-décodeur guidée par les normales et un CycleGAN pour compléter efficacement les cartes de profondeur incomplètes dans les environnements intérieurs en exploitant les images RGB.

L'essentiel

Imaginez que vous essayez de dessiner une carte en relief d'une pièce de votre maison, mais que votre pinceau magique (le capteur de profondeur) a des problèmes : il laisse des trous blancs sur les vitres, les miroirs ou les murs très brillants. C'est le problème que ce papier cherche à résoudre.

1. Le Problème : La Carte "Trouée"

Les capteurs de profondeur (comme ceux des Kinect ou des caméras de réalité augmentée) sont comme des photographes un peu myopes.

• Les vitres et les miroirs : La lumière traverse le verre ou rebondit bizarrement, donc le capteur ne "voit" rien. Résultat : un trou noir dans l'image.
• Les murs blancs ou très loin : La lumière s'absorbe ou est trop faible. Encore un trou.

Pour les robots ou les applications de réalité augmentée, ces trous sont catastrophiques. Ils ne savent pas où s'arrêter ou comment éviter un obstacle invisible.

2. La Solution : RDFC-GAN (Le Chef d'Orchestre à Deux Mains)

Les auteurs proposent une nouvelle intelligence artificielle nommée RDFC-GAN. Pour faire simple, imaginez que c'est un chef d'orchestre qui dirige deux musiciens très différents pour créer une symphonie parfaite (une carte de profondeur complète et précise).

Le Premier Musicien : L'Architecte (Le réseau "Manhattan")

Ce musicien connaît les règles de la construction.

• Son super-pouvoir : Il sait que dans une maison humaine, les murs sont droits, les plafonds sont plats et les angles sont souvent à 90 degrés (c'est ce qu'on appelle l'hypothèse du "Monde Manhattan").
• Son rôle : Il regarde l'image de la pièce et dit : "Si c'est un mur, il doit être vertical. Si c'est un sol, il doit être plat." Il comble les gros trous en respectant la géométrie logique de la maison.
• Le défaut : Son dessin est très propre et logique, mais un peu "lisse" et sans détails fins (comme la texture d'un tissu ou les contours précis d'une chaise).

Le Deuxième Musicien : L'Artiste (Le CycleGAN)

Ce musicien est un génie de l'art et de la texture.

• Son super-pouvoir : Il regarde la photo couleur (RGB) de la pièce. Il sait que là où il y a une porte en bois, il y a du grain. Là où il y a un coussin, il y a du relief.
• Son rôle : Il utilise l'image couleur pour "peindre" les détails manquants dans la carte de profondeur. Il transforme une image floue en une carte très détaillée et réaliste.
• Le défaut : Parfois, il a trop d'imagination et invente des détails qui n'existent pas (du "bruit").

3. La Magie : La Fusion (Le Chef d'Orchestre)

C'est ici que la vraie innovation intervient. Au lieu de choisir entre l'Architecte (logique) et l'Artiste (détails), le système RDFC-GAN les combine intelligemment :

• Il utilise un outil spécial appelé W-AdaIN (une sorte de mélangeur intelligent) qui décide, pixel par pixel, qui doit avoir le dernier mot.
• Sur un mur blanc ? Il écoute l'Architecte pour garder la surface plane.
• Sur un fauteuil en cuir ? Il écoute l'Artiste pour capturer les plis et les formes.
• À la fin, il produit une carte de profondeur complète, précise et détaillée, sans les trous gênants.

4. L'Entraînement : Apprendre avec des "Faux" Manquants

Pour entraîner cette IA, les chercheurs ont eu une idée brillante. Habituellement, on enlève des points au hasard pour simuler des trous, mais ce n'est pas réaliste pour une maison (les vitres ne sont pas des points aléatoires, ce sont de grandes zones).

Ils ont créé des "Cartes de Profondeur Pseudo".

• Imaginez que vous prenez une photo parfaite, puis vous simulez artificiellement les erreurs réelles : vous effacez les zones brillantes (comme des vitres), les zones sombres (comme des meubles noirs) et les zones complexes.
• L'IA apprend ainsi à réparer exactement les types de dégâts qu'elle rencontrera dans la vraie vie.

En Résumé

RDFC-GAN est comme un duo d'experts :

1. Un géomètre qui connaît la structure d'une maison.
2. Un peintre qui connaît les textures et les détails.
3. Un mélangeur qui les combine pour créer une carte 3D parfaite, même si le capteur original était aveugle sur certaines parties.

Pourquoi c'est important ?
Cela permet aux robots de mieux naviguer dans nos maisons, aux lunettes de réalité augmentée de mieux placer des objets virtuels, et aux voitures autonomes de mieux comprendre les intérieurs complexes. C'est passer d'une carte "trouée" et floue à une carte 3D nette et fiable.

Résumé technique

1. Problématique

La complétion de profondeur (Depth Completion) vise à reconstruire une carte de profondeur dense et précise à partir de cartes de profondeur brutes, souvent incomplètes et bruitées. Bien que de nombreuses méthodes existent, elles rencontrent des difficultés spécifiques dans les environnements intérieurs :

• Limites des capteurs : Les capteurs commerciaux (Kinect, RealSense, etc.) échouent souvent sur des surfaces transparentes (vitres), réfléchissantes (miroirs, sols polis) ou à des angles d'incidence extrêmes, créant de vastes régions manquantes contiguës.
• Inadéquation des méthodes actuelles : La plupart des approches existantes sont conçues pour des données de profondeur éparses (échantillonnage aléatoire, typique du LiDAR extérieur). Elles échouent souvent face aux motifs de manquements complexes et structurés des scènes intérieures.
• Manque de régularité structurelle : Les méthodes actuelles négligent souvent la "hypothèse du monde de Manhattan" (les murs, sols et plafonds sont orthogonaux), une propriété géométrique clé des environnements intérieurs.

2. Méthodologie : RDFC-GAN

Les auteurs proposent RDFC-GAN, un réseau de bout en bout à deux branches conçu pour fusionner une image RVB (RGB) et une carte de profondeur incomplète afin de prédire une carte de profondeur dense.

A. Architecture à deux branches

Le modèle combine deux voies de traitement complémentaires :

1. Branche MCN (Manhattan-Constraint Network) :

   • Objectif : Prédire une carte de profondeur locale dense en respectant la géométrie structurelle de la pièce.
   • Fonctionnement : Elle utilise un module de normales de Manhattan. Ce module exploite l'hypothèse du monde de Manhattan en identifiant les régions de sol, plafond et murs (via une segmentation pré-entraînée) pour contraindre les normales de surface à être orthogonales ou alignées avec les axes principaux.
   • Structure : Un encodeur-décodeur (basé sur ResNet-18) qui prend en entrée la carte de profondeur brute et la carte de normales générée.

2. Branche RDFC-GAN (RGB-Depth Fusion CycleGAN) :

   • Objectif : Générer une carte de profondeur riche en détails texturés en fusionnant les informations sémantiques de l'image RVB avec la structure de profondeur.
   • Fonctionnement : C'est une architecture basée sur CycleGAN.
     • Un générateur transforme l'image RVB (conditionnée par la carte de profondeur latente) en une carte de profondeur dense.
     • Un discriminateur distingue les cartes de profondeur réelles des générées.
     • Un cycle de rétroaction (CycleGAN) permet de reconstruire l'image RVB à partir de la profondeur générée, assurant la cohérence des textures et des structures.

B. Modules de Fusion et d'Intégration

• W-AdaIN (Weighted Adaptive Instance Normalization) : Pour connecter les deux branches, le modèle utilise des modules W-AdaIN à plusieurs étapes. Ces modules fusionnent les caractéristiques de profondeur (style) et les caractéristiques RVB (contenu) de manière adaptative, en utilisant une attention pour contrôler la force de la fusion.
• Confidence Fusion Head : Une tête de fusion pondère les sorties des deux branches ($d_l$ de la branche MCN et $d_f$ de la branche RDFC-GAN) en fonction de leurs cartes de confiance respectives pour produire la prédiction finale.

C. Stratégie d'Entraînement : Cartes de Profondeur Pseudo

Pour éviter le biais des méthodes d'échantillonnage aléatoire (qui fuient la vérité terrain dans les zones manquantes), les auteurs proposent de générer des cartes de profondeur pseudo pour l'entraînement. Celles-ci imitent les motifs de manquements réels des capteurs intérieurs via cinq techniques de masquage :

1. Masquage des reflets (surfaces brillantes).
2. Masquage des zones sombres (surfaces mates absorbantes).
3. Masquage par segmentation graphique (bruit complexe).
4. Masquage sémantique (objets problématiques comme les miroirs/vitres).
5. Masquage XOR sémantique (zones où la segmentation échoue).

3. Contributions Clés

1. Architecture RDFC-GAN : Un réseau end-to-end innovant fusionnant une contrainte géométrique (Manhattan) et une fusion générative (CycleGAN) pour la complétion de profondeur intérieure.
2. Contrainte de Manhattan : Intégration explicite de l'hypothèse du monde de Manhattan via un module de normales, améliorant la cohérence structurelle des prédictions.
3. Méthode d'échantillonnage réaliste : Définition et utilisation de cartes de profondeur pseudo pour l'entraînement, reflétant fidèlement les défauts des capteurs intérieurs plutôt qu'un échantillonnage aléatoire artificiel.
4. Fusion adaptative : Utilisation de modules W-AdaIN pour une fusion dynamique des caractéristiques RVB et de profondeur.

4. Résultats Expérimentaux

Le modèle a été évalué sur les benchmarks NYU-Depth V2 et SUN RGB-D avec des métriques rigoureuses (RMSE, Rel, $\delta_{th}$, distance de Chamfer, F1-score sur nuages de points).

• Performance sur NYU-Depth V2 (Setting R $\to$ T - Réaliste) :
  • RDFC-GAN atteint un RMSE de 0.120 et un Rel de 0.012, surpassant l'état de l'art (SOTA) et la version préliminaire (RDF-GAN).
  • Il obtient les meilleurs scores sur la plupart des métriques, y compris la précision locale (F1-score) sur les nuages de points.
• Performance sur SUN RGB-D :
  • Le modèle démontre une grande généralisation, obtenant le meilleur résultat sur tous les métriques (RMSE: 0.214 vs 0.232 pour le second meilleur).
  • Il est particulièrement robuste aux valeurs aberrantes locales.
• Impact sur les tâches en aval :
  • L'utilisation des cartes de profondeur complétées par RDFC-GAN comme entrée pour la détection d'objets 3D (VoteNet, H3DNet) améliore significativement les performances de détection par rapport à l'utilisation de cartes brutes ou d'autres méthodes de complétion.

5. Signification et Impact

Ce travail est significatif car il adresse spécifiquement les lacunes des méthodes de complétion de profondeur dans les environnements intérieurs, là où les hypothèses de données extérieures (LiDAR épars) échouent.

• Innovation Géométrique : L'intégration de l'hypothèse du monde de Manhattan dans un cadre d'apprentissage profond génératif est une avancée majeure pour la régularisation des structures intérieures.
• Réalisme de l'Évaluation : En proposant des stratégies d'entraînement basées sur des motifs de manquements réalistes, les auteurs fournissent un cadre d'évaluation plus juste et plus pertinent pour les applications réelles (navigation robotique, AR/VR, reconstruction 3D).
• Qualité Texturée : L'approche CycleGAN permet de restaurer des détails fins et des textures souvent perdus par les méthodes de régression pure, rendant les cartes de profondeur plus utiles pour la compréhension de scène.

En résumé, RDFC-GAN établit un nouvel état de l'art pour la complétion de profondeur intérieure en combinant rigueur géométrique et puissance générative.