Technische Samenvatting: NoDrift3R

Probleemstelling

Feed-forward 3D Gaussian Splatting (3DGS) is een paradigma geworden voor snelle 3D-reconstructie, maar pose-vrije varianten kampen met een kritieke flessenhals bij het verwerken van lange beeldsequenties. Het primaire probleem is de cumulatieve camera-pose schatting drift. In bestaande pose-vrije frameworks propageren fouten in de pose-schatting naar de geometrische modellering, wat de 3D-representatie vervormt, terwijl onnauwkeurigheden in de scène-structuur de pose-voorspellingen verder verslechteren. Deze feedbackloop leidt tot geaccumuleerde drift, wat de rendering-getrouwheid en geometrische consistentie over tijd ernstig beperkt.

Verder identificeert het artikel een trainingsinstabiliteit die inherent is aan pose-vrije paradigma's. Hoewel Structure-from-Motion (SfM)-gebaseerde pseudo-ground-truth poses sensorruis introduceren, resulteert puur op rendering gebaseerde supervisie vaak in optimalisatie-instabiliteit en lokale minima door de verstrengelde optimalisatie van geometrie en pose. Bestaande methoden die dit proberen te stabiliseren (bijv. via teacher-forcing of curriculum learning) worstelen met het balanceren van stabiliteit met fijnmazige precisie, vooral bij het uitbreiden naar brede temporele bereiken of gezichtspunten met een lage overlap.

Methodologie

De auteurs stellen NoDrift3R voor, een synergetisch pose-vrij framework dat ontworpen is om geometrie en verschijning expliciet te koppelen om drift te onderdrukken. De methodologie bestaat uit drie kerncomponenten:

1. Raymap-Guided Coupling (RGC) Module

In tegenstelling tot eerdere benaderingen die ofwel Gaussian-representaties direct uit afbeeldingen voorspellen (waarbij de pose wordt genegeerd) of deze conditioneren op laagdimensionale pose-parameters (wat een informatiebottleneck creëert), introduceert NoDrift3R een Raymap-Guided Coupling Module.

• Mechanisme: Het model voorspelt een dichte raymap ($R \in \mathbb{R}^{H \times W \times 6}$) voor elk aanzicht, die per-pixel straalrichtingen ($r$) en oorsprong ($o$) codeert.
• Geometrische Verankering: Gaussian-centra ($p_j$) worden expliciet vanuit 2D-pixels naar de 3D-ruimte getild met behulp van de voorspelde raymap en een depth map ($D$): $p_j = o_j + D_j \cdot r_j$.
• Synergetische Optimalisatie: Dit ontwerp creëert een bidirectionele feedbackloop:
  • Verschijning $\to$ Geometrie: RGB-reconstructieverlies backpropagates door het renderingproces om de raymaps en depth te verfijnen, waardoor de geometrie scherper wordt.
  • Geometrie $\to$ Verschijning: De raymap-loss beperkt de straalrichtingen, wat ervoor zorgt dat de ruimtelijke distributie van Gaussians geometrisch consistent is, wat op zijn beurt de renderingkwaliteit verbetert.
• Doelstelling: De totale loss combineert RGB-reconstructie (MSE + LPIPS), camera-regularisatie (Huber loss) en raymap-consistentie (L1 loss), wat een verenigd doel vormt waarbij geometrie en verschijning elkaar wederzijds versterken.

2. Dual-Frequency Viewpoint Scheduling

Om de trainingsinstabiliteit over brede temporele bereiken aan te pakken, introduceren de auteurs een curriculum-gebaseerde samplingstrategie die "gemakkelijke" (hoge overlap) en "moeilijke" (lage overlap) view-paren balanceert.

• Bounded Overlap-Aware Curriculum: Het model wordt geleidelijk blootgesteld aan grotere view-intervallen (van hoge naar lage overlap) door een target overlap-drempel te verzwakken (annealing). Een sparsity upper-bound ($g_{max}=15$) wordt toegepast om overmatig ijle supervisie te voorkomen.
• Stochastische Replay Regularisatie: Om prestatievermindering op kleine-interval (hoge overlap) samples te voorkomen — een veelvoorkomend falenpunt in lineaire extensiestrategieën — bevat de scheduler een replay-mechanisme. Tijdens de tweede helft van de training is er een kans van 50% op het samplen van kleine-interval paren ($g \in [6, 10]$). Dit zorgt ervoor dat het model lokale geometrische consistentie behoudt terwijl het langetermijn-afhankelijkheden leert.

3. Architectuur

Het framework maakt gebruik van een enkele multi-view transformer backbone (gebaseerd op DINOv2) om view-tokens te verwerken. Het gebruikt een Dual-DPT head om gezamenlijk de raymap, depth map en cameraparameters te voorspellen, gevolgd door een Gaussian head om attributen (opacity, kleur, schaal, rotatie) te voorspellen die verankerd zijn aan de getilde 3D-posities.

Belangrijkste Bijdragen

1. Identificatie van de Long-Sequence Bottleneck: Het artikel stelt vast dat cumulatieve pose-drift de primaire factor is die de reconstructiekwaliteit in lange sequenties beperkt en demonstreert dat puur op rendering gebaseerde supervisie tot instabiliteit leidt.
2. Dual-Frequency Viewpoint Scheduling: Een nieuwe trainingsplanning die een easy-to-hard interval expansie combineert met een replay-mechanisme voor kleine-interval samples, wat de optimalisatie stabiliseert over willekeurige frame-intervallen.
3. Synergetische "Rendering-to-Geometry Gain": Een framework dat 3DGS rendering-supervisie nauw koppelt aan expliciete raymap-constraints. Deze bidirectionele koppeling lost parameteraambiguïteit op en onderdrukt drift zonder complexe hulp-losses, wat resulteert in state-of-the-art (SOTA) prestaties in zowel rendering-getrouwheid als camera-pose nauwkeurigheid.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op de DL3DV, RealEstate10K (RE10K) en ScanNet++ datasets.

• Novel View Synthesis (NVS): Op DL3DV presteerde NoDrift3R consequent beter dan SOTA pose-afhankelijke (MVSplat, DepthSplat) en pose-vrije (NoPoSplat, AnySplat, YoNoSplat) methoden. In de 24-view setting verbeterde het de PSNR met 1.6 dB ten opzichte van de vorige beste pose-vrije methode (YoNoSplat).
• Pose Schatting: De methode bereikte een superieure camera-pose schatting nauwkeurigheid (gemeten door AUC@5°, 10°, 20°) over alle view-instellingen. De verbetering was het meest uitgesproken in lange sequenties (12v/24v), wat de effectieve drift-onderdrukking verifieert.
• Generalisatie:
  • Cross-Dataset: Getraind op DL3DV, bereikte het model SOTA-prestaties op ScanNet++ zonder fine-tuning.
  • Zero-Shot: Wanneer getraind op DL3DV en getest op RE10K, behaalde het model de beste resultaten voor 5° en 10° pose-fout drempels, wat een sterke transfereerbaarheid aantoont.
• Ablatie Studies:
  • Het verwijderen van de raymap-gestuurde geometrie of de raymap-loss degradeerde de pose-nauwkeurigheid en renderingkwaliteit aanzienlijk, wat de noodzaak van de bidirectionele koppeling bevestigt.
  • Het verwijderen van het replay-mechanisme in de scheduler veroorzaakte een trade-off waarbij de prestaties op lange afstand verbeterden ten koste van de korte-afstand consistentie; het replay-mechanisme balanceerde beide succesvol.

Betekenis en Claims

Het artikel claimt dat een expliciet ontworpen geometrie-verschijnings synergie de sleutel is tot schaalbare en drift-robuuste pose-vrije feed-forward 3D-reconstructie. Door Gaussian-centra te verankeren aan raymap-geïnduceerde geometrie, creëert het framework een zelfversterkende trainingsdynamiek die de optimalisatie stabiliseert over lange sequenties en brede view-intervallen. De auteurs stellen dat deze aanpak de fundamentele trade-off tussen stabiliteit en precisie in pose-vrije 3DGS oplost, wat hoogwaardige reconstructie mogelijk maakt in scenario's waar camera-poses niet beschikbaar zijn.

Dit werk wordt gepresenteerd als een belangrijke stap vooruit om feed-forward 3D-reconstructie praktisch te maken voor lange, ongeposeerde sequenties, voorbij de beperkingen van huidige methoden die lijden onder geaccumuleerde drift en optimalisatie-instabiliteit.