$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement

Dit paper introduceert $R^2$-Mesh, een reinforcement learning-framework dat NeRF-gegenereerde pseudo-supervisie combineert met een UCB-strategie voor online viewpoint-selectie om de geometrie en uiterlijk van 3D-meshes te verfijnen en zo de beperkingen van traditionele methoden op te lossen.

De kern

Stel je voor dat je een 3D-standbeeld van een persoon wilt maken, maar je hebt alleen maar een paar foto's van die persoon vanuit verschillende hoeken. Dat is wat computers doen bij het reconstrueren van 3D-objecten: ze proberen een volledig driedimensionaal model te bouwen op basis van een beperkt aantal 2D-foto's.

Het probleem met de oude methoden is dat ze vaak vastlopen. Ze kijken alleen naar de foto's die ze al hebben, en als die foto's bepaalde hoeken missen (bijvoorbeeld de achterkant van een neus of een schaduwrijke hoek), wordt het model onnauwkeurig of lelijk. Het is alsof je een standbeeld probeert te maken terwijl je alleen maar naar de voorkant kijkt; je weet niet hoe de rug eruitziet.

R2-Mesh is een nieuwe, slimme manier om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Magische Kunstenaar" (NeRF)

Stel je voor dat je eerst een "magische kunstenaar" (een AI genaamd NeRF) hebt die de foto's bekijkt. Deze kunstenaar is heel goed in het raden hoe de wereld eruitziet, zelfs op plekken waar geen foto's van zijn. Hij kan een heel ruw, schetsmatig model maken van het object. Maar dit model is nog niet perfect; het is een beetje vaag en mist details.

2. Het Probleem: "Vaste Camera's"

Normaal gesproken zou de computer proberen dit ruwe model te verbeteren door alleen te kijken naar de originele foto's. Maar dat is als proberen een schilderij te perfectioneren door alleen naar dezelfde drie hoeken van het doek te staren. Je mist nieuwe inzichten.

3. De Oplossing: Een Slimme "Camera-Manager" (Reinforcement Learning)

Hier komt R2-Mesh om de hoek kijken. In plaats van alleen naar de originele foto's te kijken, laat het de "magische kunstenaar" (NeRF) nieuwe, hoogwaardige foto's maken vanuit hoeken die nog niet bestaan in de originele set.

Maar wacht even, je kunt niet zomaar willekeurig nieuwe foto's kiezen. Als je kiest voor een saaie hoek (bijvoorbeeld recht voor een witte muur), levert dat niets op. Je wilt de belangrijkste hoeken kiezen.

Daarom gebruiken de auteurs een slimme manager (een Reinforcement Learning-agent) die werkt met een strategie genaamd UCB (Upper Confidence Bound).

• De Analogie: Stel je voor dat je een restaurantbezoeker bent die elke dag een nieuw gerecht moet kiezen.
  • Exploitatie: Je kiest het gerecht dat je al kent en dat lekker smaakt (de bekende hoek).
  • Exploratie: Je probeert een nieuw gerecht dat je nog niet kent, omdat het misschien nog lekkerder is (een nieuwe, interessante hoek).
• De manager van R2-Mesh doet precies dit. Hij probeert continu een balans te vinden tussen het kijken naar bekende hoeken (om zekerheid te krijgen) en het kiezen van nieuwe, onbekende hoeken (om iets nieuws te leren).

4. De Beloning (De "Score")

Hoe weet de manager welke hoek het beste is? Hij krijgt een score (beloning) op basis van twee dingen:

1. Kleur: Ziet de nieuwe foto eruit zoals het object eruit zou moeten zien?
2. Vorm: Is de vorm van het object in die nieuwe foto duidelijk en scherp?

Als een nieuwe hoek helpt om de vorm of de kleur van het object scherper te maken, krijgt de manager een hoge score en kiest hij die hoek vaker. Als een hoek niets toevoegt, wordt hij genegeerd.

5. Het Resultaat: Een Perfect Standbeeld

Door deze slimme selectie van nieuwe hoeken, kan het systeem het ruwe model stap voor stap verfijnen. Het voegt details toe waar ze nodig zijn en maakt de randen strakker. Uiteindelijk krijg je een 3D-netwerk (een "mesh") dat er niet alleen scherp uitziet, maar ook een perfecte vorm heeft, zelfs op plekken waar de originele foto's niets van lieten zien.

Kort samengevat:
R2-Mesh is als een slimme architect die niet alleen kijkt naar de blauwdrukken die hij heeft, maar die zelf ook nieuwe schetsen maakt vanuit de beste mogelijke hoekjes. Hij laat een slimme assistent beslissen welke nieuwe schetsen het meest waardevol zijn, zodat het eindresultaat een perfect, gedetailleerd 3D-gebouw is, in plaats van een wazig bouwsel.

Technische samenvatting

Probleemstelling

De reconstructie van 3D-meshes uit Neural Radiance Fields (NeRF) is een veelbelovende techniek voor toepassingen zoals virtual reality, medische beeldvorming en robotica. Echter, bestaande methoden hebben twee fundamentele beperkingen:

1. Beperkte Supervisie: Ze vertrouwen uitsluitend op de gegeven trainingsafbeeldingen. Dit beperkt de supervisie tot een klein aantal waarnemingen, wat vaak onvoldoende is om de geometrie en het uiterlijk volledig te construeren, vooral bij complexe scènes met occlusies.
2. Suboptimale Viewpoint-Selectie: De bijdrage van elk gezichtspunt (viewpoint) aan het trainingsproces is niet uniform en verandert dynamisch tijdens de optimalisatie. Vaste gezichtspunten kunnen daarom geen optimale begeleiding bieden voor zowel geometrische verfijning als renderkwaliteit.

Methodologie: R2-Mesh

De auteurs stellen R2-Mesh voor, een framework dat Reinforcement Learning (RL) combineert met NeRF voor hoogwaardige mesh-reconstructie. Het proces verloopt in twee fasen:

Fase 1: Efficiënte Initialisatie

• Er wordt gebruikgemaakt van Instant-NGP om een NeRF-model te trainen op de originele dataset.
• Dit resulteert in een ruwe Signed Distance Field (SDF) grid en een view-dependent appearance field.
• De dichtheidswaarden van het NeRF worden omgezet naar een SDF-grids via een drempelwaarde, wat dient als startpunt voor de mesh.

Fase 2: Adaptieve Verfijning met RL
In deze fase wordt de mesh geoptimaliseerd door gebruik te maken van extra "pseudo-supervisie" gegenereerd door het NeRF-model zelf.

• UCB-gebaseerde Viewpoint Selectie: In plaats van willekeurige of vaste camera-posities te gebruiken, selecteert het systeem dynamisch de meest informatieve gezichtspunten. Hiervoor wordt een Upper Confidence Bound (UCB) strategie gebruikt (een RL-algoritme).
  • Het algoritme balanceert exploratie (het testen van nieuwe, onbekende hoeken) en exploitatie (het focussen op hoeken die al bewezen hebben nuttig te zijn).
  • Dit gebeurt zonder extra inferentie-netwerken, wat de rekentijd beperkt.
• Beloningssysteem (Reward): De UCB-strategie wordt geleid door een geometrie-bewuste beloning ($r_{geo}$) en een kleur-beloning ($r_{color}$).
  • $r_{color}$ meet de overeenkomst in kleur (MSE en LPIPS) tussen de mesh-rendering en de NeRF-rendering.
  • $r_{geo}$ meet de overeenkomst in zichtbaarheid (binary foreground masks) om de geometrische structuur te verbeteren.
• Geometrie en Uiterlijk Optimalisatie:
  • Het framework gebruikt FlexiCubes om de SDF te vertalen naar een mesh. Dit stelt het systeem in staat om niet alleen de vertex-posities, maar ook de connectiviteit (topologie) van de mesh continu aan te passen.
  • Differentieerbaar Rendering: De mesh wordt gerenderd met nvdiffrast, waardoor gradiënten direct kunnen worden teruggepropageerd naar zowel de geometrie als het uiterlijk.
  • De totale loss functie omvat kleurverlies (Charbonnier loss), Total Variation (TV) regularisatie voor gladheid, en een FlexiCubes regularizer om artefacten te onderdrukken.

Belangrijkste Bijdragen

1. NeRF als Pseudo-Supervisie: Het benutten van de generatieve capaciteit van NeRF om extra hoogwaardige afbeeldingen te synthetiseren vanuit willekeurige camera-posities, waardoor het trainingssein wordt verrijkt met diverse perspectieven die niet in de originele dataset staan.
2. UCB Viewpoint Selectie: Een online strategie die dynamisch de meest waardevolle gezichtspunten identificeert tijdens het trainingsproces, gebaseerd op een geometrie-bewuste beloning.
3. Gecombineerd Optimalisatie Framework: R2-Mesh optimaliseert SDF-geometrie en view-dependent uiterlijk gelijktijdig, met periodieke mesh-extractie en -verfijning voor topologie-bewuste aanpassingen.

Resultaten

De methode is getest op de NeRF-synthetic en DTU datasets en vergeleken met state-of-the-art methoden zoals NeuS2, NVdiffrec, NeRF2Mesh en Neuralangelo.

• Geometrische Nauwkeurigheid: Op de NeRF-synthetic dataset behaalde R2-Mesh een Chamfer Distance (CD) van 2.71 (gemiddeld), wat beter is dan NeRF2Mesh (6.00) en NeuS2 (4.22). Op de DTU dataset scoorde het eveneens het beste met een gemiddelde CD van 0.67.
• Renderkwaliteit: De methode behaalde de hoogste scores voor PSNR (29.55 op SYN, 23.20 op DTU) en SSIM, en de laagste LPIPS-waarden (0.046 op SYN), wat aangeeft dat de gegenereerde afbeeldingen visueel dichter bij de ground truth liggen.
• Ablatiestudies: Experimenten bevestigden dat zowel de viewpoint enhancement (VE) als de geometrische beloning ($r_{geo}$) cruciaal zijn. Zonder VE daalt de PSNR aanzienlijk, en zonder geometrische beloning ontstaan er meer artefacten aan de randen van objecten. De UCB-strategie presteerde beter dan zowel willekeurige als "greedy" selectiemethoden.

Betekenis en Impact

R2-Mesh vertegenwoordigt een significante stap voorwaarts in 3D-reconstructie door het probleem van beperkte trainingsdata aan te pakken via intelligente, adaptieve data-augmentatie. Door Reinforcement Learning te koppelen aan NeRF-rendering, lost de methode het dilemma op van welke gezichtspunten het meest waardevol zijn tijdens het trainen. Dit resulteert in meshes met fijnere details, betere topologie en minder artefacten dan bestaande technieken, wat de toepasbaarheid van mesh-reconstructie in complexe, real-world scenario's vergroot.