Technische Samenvatting: Het Leren van Beeldadaptieve Schaalvelden voor Metrische Diepteterugwinning

Probleemstelling

Monoculaire Diept Schatting (MDE) heeft aanzienlijke vooruitgang geboekt met transformer-gebaseerde architecturen en pretraining op grote schaal. De meeste veelgebruikte methoden produceren echter dieptekaarten die slechts gedefinieerd zijn tot een onbekende schaal en verschuiving. Hoewel sommige benaderingen direct metrische diepte schatten, vereisen veel praktische toepassingen (robotica, autonoom rijden, 3D-reconstructie) expliciete metrische uitlijning. Deze uitlijning is doorgaans afhankelijk van schaarse metrische ankers (bijvoorbeeld LiDAR-punten of constraints uit structure-from-motion).

Bestaande methoden voor het terugwinnen van metrische diepte uit schaarse ankers vallen over het algemeen in twee categorieën:

1. Globale Affiene Uitlijning: Gaat uit van een uniforme schaal en verschuiving over het gehele beeld. Hoewel dit stabiel is, faalt het in scènes met diverse objecten of complexe lay-outs waar biases niet-uniform zijn.
2. Lokale/Regionale Benaderingen: Methoden zoals stuksgewijze affiene uitlijning, lokaal gewogen regressie (LWLR), roostergebaseerde optimalisatie en regio-bewuste aanpassing proberen ruimtelijk variërende biases te modelleren. Deze methoden vertrouwen echter vaak op structurele aannames die in echte scènes niet opgaan, of ze fragmenteren de set van schaarse ankers, wat leidt tot onstabiele schattingen wanneer ankers ontoereikend zijn.

De kernuitdaging is dat het terugwinnen van dichte per-pixel schaal- en verschuivingsvelden uit schaarse ankers een van nature slecht gesteld probleem is. Bestaande oplossingen leggen vooraf gedefinieerde structurele priors op die onbetrouwbaar kunnen zijn onder extreme schaarste.

Methodologie

De auteurs stellen voor om metrische diepteterugwinning te formuleren als beeldadaptieve schaalveldmodellering. In plaats van de dieptekaart direct te corrigeren, reformuleert de methode de correctie als een lineaire combinatie met lage dimensie van geleerde basiskaarten.

1. Parametrisatie in Log-Ruimte

De metrische diepte $D_{gt}(x)$ is gerelateerd aan de geschatte diepte $D_{MDE}(x)$ via een affiene transformatie:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
Om problemen met diepte-afhankelijke gradiëntschaling te vermijden waarbij diepe pixels de optimalisatie domineren, werken de auteurs in log-ruimte. Zij definiëren het log-schaalveld $\ell(x) = \log s(x)$ en absorberen de verschuivingsterm $t(x)$ als een diepte-afhankelijke correctie binnen het schaalveld.

2. Basiskaartgenerator

Het log-schaalveld wordt gemodelleerd als een lineaire combinatie van $K$ beeldadaptieve basiskaarten:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
waarbij $w \in \mathbb{R}^K$ beeldspecifieke gewichten zijn en $E_m(x)$ de basiskaarten.

De Basiskaartgenerator is een neurale netwerk dat deze kaarten produceert op basis van drie invoeren:

• Intermediaire Representaties ($F(x)$): Kenmerken die uit het MDE-ruggengraatnetwerk worden gehaald voordat de dieptekop, en die semantische en structurele context vastleggen.
• Geschatte Log-Diepte: $\log D_{MDE}(x)$ en zijn ruimtelijke gradiënt, die diepte-afhankelijke geometrie coderen.
• Beeldcoördinaten ($x$): Om ruimtelijke trends te modelleren.

De architectuur van de generator bestaat uit:

• Een gedeelde convolutiestam die kenmerken $H(x)$ produceert.
• Een Basishead die primitieve basiskaarten $B(x)$ voorspelt.
• Een Gatinghead die genormaliseerde gewichten $G(x)$ voorspelt (via softmax).
• De uiteindelijke basiskaarten worden berekend als $E(x) = G(x) \odot B(x)$. Deze factorisatie maakt het mogelijk dat ruimtelijke patronen worden hergebruikt over verschillende beeldregio's, met variërende magnitudes die worden gecontroleerd door de gating-kaarten.

3. Gewichtschatting via Kleinste Kwadraten

De gewichten $w$ worden bepaald door het model te laten passen op de schaarse metrische ankers $A = \{a_i\}$. Voor elke anker $a_i$ is het doel $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. De gewichten worden gevonden door een geregulariseerd kleinste-kwadratenprobleem op te lossen:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
waarbij $M$ de matrix is van basiskaartwaarden op ankerlocaties. Dit levert een gesloten-formule oplossing op, wat stabiliteit garandeert zelfs onder extreme ankerschaarste.

4. Trainingsdoel

De basiskaartgenerator wordt getraind met behulp van:

• Dichte Loss: SmoothL1-loss tussen de teruggewonnen en de grond-waarheid metrische diepte.
• Anker-Loss: MSE tussen de voorspelde en de doel-log-schaal op ankerlocaties.
• Decorrelatie-Loss: Moedigt orthogonaliteit aan tussen basiskaarten om redundantie te voorkomen.
• Gating-Regularisatie: Negatieve entropieloss om te voorkomen dat gating-toewijzingen te scherp worden.

Belangrijkste Bijdragen

1. Reformulering met Lage Dimensie: Het artikel introduceert een formulering waarbij metrische diepteterugwinning wordt gereduceerd tot het schatten van een kleine set gewichten voor beeldadaptieve basiskaarten, in plaats van direct een complex ruimtelijk veld te leren.
2. Robuustheid tegen Schaarste: Door gebruik te maken van een globaal geaggregeerde kleinste-kwadratenoplosser, bereikt de methode stabiele oplossingen zelfs met zeer weinig ankers (bijvoorbeeld 1–9 ankers per beeld), en presteert deze beter dan methoden die ankers fragmenteren of vertrouwen op lokale regressie.
3. Interpreteerbaarheid: De aanpak biedt een interpreteerbare decompositie van ruimtelijke schaalvariaties. De geleerde basiskaarten en hun gewichten onthullen hoe globale en lokale biases zijn gestructureerd.
4. Algemene Toepasbaarheid: De methode is architectuur-agnostisch en vereist alleen intermediaire representaties en diepteschattingen van een voorgeöorde MDE-model. Het vereist geen externe segmentatiemodellen of specifieke ruggengraatarchitecturen.

Experimentele Resultaten

De methode werd geëvalueerd op de KITTI-, UrbanSyn- en SUN RGB-D-datasets met behulp van Depth Anything 3 (DA3) en MiDaS als representatieve MDE-modellen.

• Prestaties: De voorgestelde methode ("Basis") presteerde consistent beter dan globale, stuksgewijze, LWLR-, roostergebaseerde en regio-bewuste basismethoden over alle datasets en ankerdichtheden.
  • Op KITTI met 10–15 ankers (laag regime) bereikte de methode een AbsRel van 0,15 (DA3) en 0,13 (MiDaS), aanzienlijk beter dan de globale baseline (0,31/0,17).
  • Op UrbanSyn/SUN RGB-D bereikte het een AbsRel van 0,08 (DA3) en 0,14 (MiDaS) in het laag-ankerregime.
• Extreme Schaarste: In een "drop-anchor"-test waarbij ankers werden gereduceerd tot slechts 1, bleef de methode stabiel. Spectrale analyse onthulde dat de dominante eigenmode van de anker-inbeddingsmatrix bijna volledig overeenkomt met het globale schalkanaal, wat de robuustheid verklaart.
• Ablatie: De studie bevestigde dat intermediaire representaties ($F(x)$) cruciaal zijn; het uitschakelen ervan verhinderde dat het model profiteerde van een verhoogde basiscapaciteit (hogere $K$).

Betekenis en Claims

De auteurs stellen dat hun aanpak een praktisch kader biedt voor het integreren van schaarse metrische informatie in moderne MDE-systemen. Belangrijkste leerpunten zijn:

• Verbeterde Nauwkeurigheid: De methode bereikt state-of-the-art nauwkeurigheid voor metrische diepte-uitlijning over diverse scènes en ankerdichtheden.
• Robuustheid: De formulering met lage dimensie en globale kleinste-kwadraten-schatting bieden sterke robuustheid waar lokale methoden falen door ontoereikende ankers.
• Interpreteerbaarheid: De decompositie in basiskaarten biedt een nieuwe manier om schaal-verschuiving biases in MDE-modellen te analyseren en te begrijpen.

Het artikel merkt bescheiden op dat de prestaties nog steeds afhankelijk zijn van de informativiteit van de ankers (ruimtelijke dekking en diversiteit) en dat validatie op op CNN gebaseerde MDE-modellen toekomstig werk blijft. De voorgestelde formulering wordt echter gepresenteerd als een generaliseerbare oplossing die meerdere bestaande uitlijnstrategieën als speciale gevallen omvat.