Technische Samenvatting: Stabilisatie van Streamende Videogeometrie via Dynamische Feature-normalisatie

1. Probleemstelling

Hoewel moderne modellen voor Monoculaire Geometrie-schatting (MGE) en Monoculaire Diepteschatting (MDE) (bijv. MoGe, Depth Anything) hoge nauwkeurigheid behalen op afzonderlijke afbeeldingen, vertonen ze ernstige temporale inconsistentie wanneer ze worden toegepast op continue videostreams. De primaire manifestatie van deze instabiliteit is drijven van schaal-verschuiving, waarbij de voorspelde globale diepteschaal en -verschuiving van frame tot frame fluctueren.

Deze drift veroorzaakt significante artefacten in 3D-reconstructie, waaronder:

• Niet-rigide vervorming: De gereconstrueerde scène vervormt in de loop van de tijd.
• Onderbrekingen in lagen: Gescheiden puntenwolken waarbij oppervlakken lijken te scheiden.
• Positie-jitter: Instabiele objectposities in het globale coördinatenstelsel.

Bestaande oplossingen proberen dit te verhelpen via temporale aandacht of recurrente geheugenmodules, maar vereisen vaak volledige netwerk-finetuning op grote geannoteerde videodatasets. Deze aanpak is rekenkundig duur, data-intensief en degradeert frequent de zero-shot generalisatie en per-frame nauwkeurigheid van het vooraf getrainde backbone.

2. Empirisch Onderzoek

De auteurs voerden een empirische studie uit om de oorzaak van deze instabiliteit te identificeren met behulp van het state-of-the-art MoGe-model.

• Observatie: Wanneer afzonderlijke frames worden uitgelijnd met de ground truth via onafhankelijke affiene transformaties (schaal en verschuiving), is de geometrische nauwkeurigheid extreem hoog ($\delta < 1,25$ bereikt 99,8%). Echter, wanneer één consistente schaal/verschuiving wordt toegepast op de volledige sequentie, daalt de nauwkeurigheid aanzienlijk (tot 62,5%), wat resulteert in ernstige vervorming.
• Conclusie: Het onderliggende geometrische begrip van het backbone is robuust; de instabiliteit is niet het gevolg van slechte per-frame geometrie, maar eerder van frame-tot-frame fluctuaties in de voorspelde globale schaal en verschuiving.
• Oorzaakanalyse: De studie onthulde een strakke koppeling tussen het gemiddelde en de variantie van latente features die door de encoder worden geëxtraheerd, en de voorspelde schaal/verschuiving. Fluctuaties in deze statistieken van latente features over een videostream drijven direct de waargenomen drift van schaal-verschuiving aan.

3. Methodologie: Dynamische Feature-normalisatie (DyFN)

Om dit aan te pakken, stelt het artikel Dynamische Feature-normalisatie (DyFN) voor, een lichtgewicht, causaal, recurrente module die is ontworpen om feature-statistieken in de tijd te stabiliseren zonder het volledige netwerk opnieuw te trainen.

Architectuur

• Bevroren Backbone: De vooraf getrainde MGE-encoder en decoder blijven bevroren om de nauwkeurigheid op afzonderlijke afbeeldingen en zero-shot generalisatie te behouden.
• Recurrente Module: DyFN wordt ingevoegd tussen de encoder en decoder. Het maakt gebruik van een Convolutional GRU (ConvGRU) om een verborgen staat ($h_t$) te behouden die historische context van vorige frames aggregeert.
• Normalisatieproces:
  1. Standaardisatie: De inkomende latente feature $F_t$ wordt genormaliseerd met behulp van het kanaal-gewijze gemiddelde ($\mu_t$) en de standaardafwijking ($\sigma_t$).
  2. Voorspelling: De ConvGRU-verborgen staat $h_t$ wordt geprojecteerd via twee lichtgewicht $1\times1$ convolutiekoppen om nieuwe, temporale consistente statistieken te voorspellen: een gemiddelde $\hat{\mu}_t$ en een standaardafwijking $\hat{\sigma}_t$.
  3. Modulatie: De genormaliseerde features worden opnieuw geschaald en verschoven met behulp van de voorspelde statistieken: $F^{consistent}_t = \hat{\sigma}_t \cdot F^{norm}_t + \hat{\mu}_t$.
  4. Decoding: De gestabiliseerde features worden doorgegeven aan de bevroren decoder om de uiteindelijke dieptekaart te genereren.

Trainingsstrategie

• Parameter-efficiëntie: Alleen de DyFN-module wordt gefinetuned, wat slechts 2% van de totale parameters uitmaakt (ongeveer 5 miljoen parameters versus miljarden in het backbone).
• Verliesfuncties:
  • Basisverlies ($L_{MoGe}$): Behoudt de oorspronkelijke geometrische fideliteit op afzonderlijke frames.
  • Globale Uitlijnverlies ($L_{align}$): Dwingt één consistente schaal en verschuiving af over de volledige sequentie door afwijkingen van een globale optimale affiene transformatie te bestraffen.
  • Temporeel Verlies ($L_{temp}$): Minimaliseert het verschil tussen voorspelde en ground-truth inter-frame delta's over meerdere venstergroottes om drift op lange termijn te voorkomen.

4. Belangrijkste Bijdragen

1. Identificatie van de Oorzaak: Het artikel stelt vast dat temporale instabiliteit in fundamentele MGE-modellen voortkomt uit fluctuaties in statistieken van latente features (gemiddelde en variantie), die direct de voorspellingen van schaal en verschuiving bepalen.
2. DyFN-module: Een nieuwe, lichtgewicht stabilisatiemodule die deze statistieken dynamisch moduleert met behulp van een recurrent mechanisme, waardoor consistente geometrie wordt gewaarborgd zonder de generalisatie van het backbone te compromitteren.
3. Efficiënte Adaptatie: De methode toont aan dat het bevriezen van het backbone en het finetunen van alleen de DyFN-module state-of-the-art temporale stabiliteit bereikt terwijl de per-frame nauwkeurigheid behouden blijft, en presteert beter dan methoden die volledige netwerk-hertraining vereisen.

5. Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks: Sintel, ScanNet, KITTI en Bonn.

• Temporale Stabiliteit (Video-diepte-evaluatie):

  • DyFN behaalt state-of-the-art prestaties over alle datasets.
  • Op ScanNet verbetert het $\delta < 1,25$ van 84,7% (MoGe v1) naar 96,6%, een absolute verbetering van 11,9%.
  • Het presteert beter dan sterke videobaselines zoals DepthCrafter en Video Depth Anything (VDA), evenals streamende methoden zoals FlashDepth.
  • Het reduceert aanzienlijk niet-rigide vervorming en positie-jitter in kwalitatieve 3D-reconstructies.

• Nauwkeurigheid op Afzonderlijke Frames:

  • In tegenstelling tot andere finetuning-benaderingen die vaak de per-frame prestaties degraderen, erft DyFN perfect de nauwkeurigheid op afzonderlijke frames van het bevroren backbone (MoGe v1).
  • Resultaten op metrics voor afzonderlijke frames (Tabel 2) zijn identiek aan het basis MoGe v1-model, waardoor de nauwkeurigheidsafweging die wordt gezien bij methoden zoals FlashDepth wordt vermeden.

• Robuustheid op Lange Sequenties:

  • In experimenten met sequenties tot 500 frames toont DyFN minimale foutaccumulatie in vergelijking met baselines, en behoudt het superieure schaalconsistentie in de tijd.

• Generalisatie:

  • De aanpak werd succesvol toegepast op het DepthAnythingV2 (DAv2)-backbone, wat significante verbeteringen in temporale stabiliteit toont, wat de architectuur-agnostische aard van de methode bevestigt.

6. Betekenis en Claims

Het artikel beweert dat Dynamische Feature-normalisatie een eenvoudige, efficiënte en zeer effectieve weg biedt voor het aanpassen van statische fundamentele modellen aan continue videostreams. Door direct de statistieken van latente features die schaal-verschuiving-drift veroorzaken te reguleren, bereikt de methode:

• State-of-the-art temporale stabiliteit zonder de rekenkundige kosten van het trainen van grote videomodellen.
• Behoud van zero-shot generalisatie en nauwkeurigheid op afzonderlijke afbeeldingen door het backbone bevroren te houden.
• Superieure prestaties ten opzichte van zowel offline videomethoden (die lijden onder hoge latentie en geheugenredundantie) als andere streamende methoden (die vaak falen om langetermijnconsistentie te behouden).

De auteurs concluderen dat hun werk de kloof overbrugt tussen nauwkeurige geometrie-schatting op afzonderlijke afbeeldingen en de eisen van real-world streamende toepassingen (bijv. autonoom rijden, embodied AI) door het specifieke probleem van schaal-verschuiving-inconsistentie op te lossen via normalisatie op feature-niveau.