$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement

Le papier propose $R^2$-Mesh, un cadre d'apprentissage par renforcement qui améliore la reconstruction de maillages à partir de NeRF en combinant des images de synthèse de haute qualité et une sélection dynamique de points de vue optimisée par une stratégie UCB pour affiner à la fois la géométrie et l'apparence.

L'essentiel

🎨 R2-Mesh : L'Artiste qui apprend à sculpter en 3D

Imaginez que vous essayez de sculpter une statue parfaite (un modèle 3D) en vous basant uniquement sur quelques photos prises sous des angles très spécifiques. C'est le défi de la reconstruction 3D.

Le problème, c'est que si vous ne regardez la statue que de face, vous ne verrez jamais le dos. Si vous ne la regardez que de haut, vous ne verrez pas les pieds. Les méthodes actuelles sont comme des sculpteurs bloqués dans une pièce avec des photos fixes : ils essaient de deviner le reste, mais ils finissent souvent par faire des erreurs ou des sculptures "floues".

R2-Mesh est une nouvelle méthode qui change la donne. Elle utilise deux astuces magiques :

1. L'imagination (NeRF) : Elle crée de nouvelles photos de la statue là où il n'y en avait pas.
2. Le choix stratégique (Apprentissage par Renforcement) : Elle apprend à choisir les meilleures nouvelles photos pour s'améliorer, au lieu d'en prendre au hasard.

---

🚀 Comment ça marche ? (L'analogie du Chef Cuisinier)

Pour comprendre R2-Mesh, imaginons un chef cuisinier (le modèle) qui veut préparer un plat parfait (la reconstruction 3D) pour un jury.

Étape 1 : La base (Le "Brouillon")

D'abord, le chef regarde les photos fournies par le jury (les images d'entraînement). Il crée une première ébauche de son plat. C'est un peu grossier, comme une statue de boue. Il sait à peu près la forme, mais les détails sont flous.

• Dans la vraie vie : C'est l'étape où le système utilise un modèle appelé NeRF pour créer une première version "floue" de l'objet.

Étape 2 : Le problème du "Menu Fixe"

Le problème, c'est que le jury ne donne que 50 photos. Si le chef essaie de perfectionner son plat en regardant toujours les mêmes 50 photos, il va stagner. Il ne saura pas comment la lumière frappe le plat sous un angle qu'il n'a jamais vu.

• Le défi : Comment savoir quelles nouvelles photos regarderaient le mieux pour corriger les erreurs ?

Étape 3 : La Magie de R2-Mesh (Le "Chef qui imagine")

C'est ici que R2-Mesh devient génial. Au lieu de se contenter des 50 photos, le chef utilise son cerveau (le modèle NeRF) pour inventer des photos de son plat sous des angles qu'il n'a jamais vus.

• L'analogie : C'est comme si le chef pouvait fermer les yeux et visualiser parfaitement à quoi ressemble son plat vu de derrière, de côté, ou en contre-plongée. Il génère ces "fausses" images pour s'entraîner.

Étape 4 : Le Choix Intelligent (L'IA qui apprend)

Mais attention ! Le chef ne peut pas regarder toutes les images imaginées (il y en a des milliers). Il doit choisir les plus utiles.

• L'erreur classique : Regarder au hasard (comme un éléphant dans un magasin de porcelaine) ou toujours regarder le même angle qui pose problème (ce qui ne résout pas les autres problèmes).
• La solution R2-Mesh (UCB) : Le chef utilise une stratégie intelligente, un peu comme un joueur d'échecs ou un explorateur.
  • Il dit : "Je vais essayer cet angle que je n'ai jamais regardé (Exploration) pour voir si ça m'apprend quelque chose de nouveau."
  • Ou bien : "Je vais regarder cet angle qui m'a déjà permis de corriger une grosse erreur (Exploitation)."
  • Cette stratégie s'appelle UCB (Upper Confidence Bound). C'est un équilibre parfait entre "essayer de nouvelles choses" et "profiter de ce qui marche déjà".

Étape 5 : La Sculpture Finale

À chaque fois que le chef choisit une nouvelle image (réelle ou imaginaire), il ajuste sa statue. Il affine les détails, lisse les surfaces et corrige les formes.

• Le résultat : À la fin, il a une statue en pierre parfaite, avec des détails précis, même sur les parties qu'il n'avait jamais vues sur les photos originales.

---

💡 Pourquoi c'est important ?

1. Plus de détails : Les méthodes précédentes avaient des trous ou des formes bizarres parce qu'elles manquaient d'informations. R2-Mesh comble ces trous en "inventant" les angles manquants intelligemment.
2. Moins d'erreurs : En choisissant les bonnes images à regarder (grâce à l'IA), le système ne perd pas de temps sur des angles inutiles.
3. Versatilité : Que ce soit pour créer des jeux vidéo, pour la réalité virtuelle, ou même pour aider les robots à voir leur environnement, cette méthode permet d'obtenir des modèles 3D beaucoup plus réalistes et précis.

🏆 En résumé

R2-Mesh, c'est comme donner à un sculpteur non seulement les photos de son modèle, mais aussi un assistant magique qui :

1. Imagine des milliers de nouvelles vues de l'objet.
2. Lui dit exactement quelle nouvelle vue regarder pour corriger l'erreur la plus importante du moment.

Le résultat ? Une reconstruction 3D d'une qualité époustouflante, bien supérieure à ce que l'on pouvait faire avant. C'est passer de la "brique brute" à "l'œuvre d'art".

Résumé technique

1. Problématique

La reconstruction de maillages 3D à partir d'images RGB est une tâche fondamentale pour la réalité virtuelle, l'imagerie médicale et la robotique. Bien que les Champs de Radiance Neuronaux (NeRF) aient révolutionné la synthèse de nouvelles vues photoréalistes, l'extraction de maillages géométriques de haute qualité à partir de ces modèles reste difficile.

Les méthodes existantes souffrent de deux limitations majeures :

• Supervision limitée : Elles dépendent uniquement des images du jeu de données d'entraînement. Cela restreint la supervision à un nombre limité d'observations, ce qui est souvent insuffisant pour contraindre complètement la géométrie et l'apparence, surtout dans les scènes avec occlusions ou éclairages complexes.
• Choix de vues statique : L'apport informatif de chaque vue d'entraînement n'est pas uniforme et évolue dynamiquement au cours de l'optimisation. Les méthodes traditionnelles utilisent un ensemble de vues fixe, ce qui peut conduire à une guidance sous-optimale pour le raffinement géométrique et la qualité de rendu.

2. Méthodologie : R2-Mesh

Les auteurs proposent R2-Mesh, un cadre d'apprentissage par renforcement (RL) qui combine la supervision pseudo-générée par NeRF avec une sélection de vues en ligne. L'approche se déroule en deux étapes principales :

Étape 1 : Initialisation Efficace de la Scène 3D

• Utilisation de l'architecture Instant-NGP pour entraîner un modèle NeRF initial.
• Le modèle apprend une géométrie via une grille de densité multi-résolution et une MLP peu profonde, ainsi qu'une apparence dépendante de la vue (décomposée en composantes diffuse et spéculaire).
• Une fois l'entraînement terminé, la grille de densité est convertie en une grille de Champs de Distance Signée (SDF) grossière. Cette étape fournit une représentation initiale de la géométrie et de l'apparence, ainsi qu'un ensemble de vues candidates générées par NeRF.

Étape 2 : Raffinement Géométrique et Sélection Adaptative de Vues

Cette étape vise à affiner le maillage en exploitant des vues supplémentaires au-delà du jeu de données initial.

• Sélection de vues basée sur UCB (Upper Confidence Bound) :
  • Au lieu d'utiliser des réseaux de neurones lourds pour la décision (comme DQN ou PPO), l'auteurs utilisent l'algorithme UCB, qui est plus léger et rapide.
  • Un ensemble de vues candidates ($V_{NeRF}$) est généré autour de la scène.
  • À chaque itération, l'algorithme sélectionne les vues les plus informatives en maximisant la valeur UCB, qui équilibre l'exploration (essayer de nouvelles vues) et l'exploitation (utiliser les vues performantes).
  • La récompense ($r_a$) pour chaque vue est une combinaison pondérée d'une récompense de couleur ($r_{color}$) et d'une récompense géométrique ($r_{geo}$) :
    • $r_{color}$ : Mesure l'alignement des pixels (MSE) et la similarité perceptuelle (LPIPS) entre le rendu du maillage et le rendu NeRF.
    • $r_{geo}$ : Encourage l'alignement des régions visibles (foreground) en comparant les cartes de profondeur binaires du maillage et du NeRF.
• Raffinement Géométrique et d'Apparence :
  • Le cadre optimise conjointement la géométrie SDF et l'apparence sous supervision de rendu différentiable.
  • L'utilisation de FlexiCubes permet d'extraire un maillage dont les sommets et la connectivité peuvent se déformer continuellement. Cela évite les artefacts liés à une topologie fixe et permet d'adapter le maillage aux surfaces complexes.
  • La fonction de perte combine une perte de couleur (Charbonnier), une régularisation de variation totale (TV) pour lisser la géométrie, et un régularisateur FlexiCubes pour supprimer les artefacts.

3. Contributions Clés

1. Supervision Pseudo-NeRF : Utilisation des images synthétisées par NeRF comme supervision supplémentaire, enrichissant le signal d'entraînement avec des vues diversifiées et de haute qualité qui ne sont pas présentes dans le jeu de données original.
2. Stratégie de Sélection de Vues UCB : Proposition d'une stratégie de sélection de vues en ligne basée sur l'algorithme UCB, dotée d'une récompense consciente de la géométrie. Cette méthode identifie dynamiquement les vues les plus informatives au fur et à mesure de l'entraînement.
3. Cadre R2-Mesh : Un cadre d'optimisation conjointe SDF et apparence permettant un raffinement progressif et conscient de la topologie du maillage, aboutissant à une reconstruction haute fidélité.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données NeRF-synthetic et DTU (scènes réelles).

• Qualité Géométrique : R2-Mesh surpasse les méthodes de référence (MobileNeRF, NVdiffrec, NeuS2, NeRF2Mesh, etc.) en termes de Chamfer Distance (CD). Sur le jeu de données NeRF-synthetic, la méthode atteint une CD moyenne de 2.71, se classant première ou deuxième sur la plupart des scènes. Sur DTU, elle obtient également les meilleurs résultats (moyenne de 0.67).
• Qualité de Rendu : La méthode obtient des scores supérieurs en PSNR, SSIM et LPIPS par rapport aux approches concurrentes. Par exemple, sur NeRF-synthetic, le PSNR atteint 29.55, surpassant NeRF2Mesh (29.11) et NVdiffrec (28.76).
• Études Ablatives :
  • L'élimination de l'amélioration des vues (VE) entraîne une baisse significative de la qualité de rendu.
  • L'élimination du raffinement de maillage (RF) dégrade fortement la géométrie.
  • La stratégie UCB surpasse les stratégies aléatoires et gourmandes (greedy), confirmant que l'équilibre exploration/exploitation est crucial pour éviter le sur-ajustement aux vues actuelles et découvrir des perspectives plus informatives.

5. Signification et Impact

R2-Mesh représente une avancée significative dans la reconstruction de maillages 3D en brisant la dépendance aux seules images d'entraînement statiques. En exploitant la capacité générative de NeRF pour créer une supervision "pseudo-vraie" et en utilisant l'apprentissage par renforcement pour sélectionner intelligemment ces vues, la méthode résout le problème de la supervision insuffisante.

L'approche permet d'obtenir des maillages avec des détails géométriques fins et une topologie adaptative, essentiels pour des applications nécessitant une précision élevée (robotique, impression 3D, réalité virtuelle). De plus, l'utilisation de l'algorithme UCB, sans réseau de neurones supplémentaire pour l'inférence, rend le processus de sélection de vues efficace et peu coûteux en calcul, rendant le cadre pratique pour des applications réelles.