Technische Samenvatting: FlexDepth – Een Flexibele Schaalgestuurde Familie voor Zelfgesuperviseerde Monoculaire Dieptechatting

1. Probleemstelling

Zelfgesuperviseerde Monoculaire Dieptechatting (MDE) is cruciaal voor autonoom rijden en robotica vanwege de onafhankelijkheid van dichte grondwaarheid-dieptelabels. De huidige benaderingen kampen echter met aanzienlijke beperkingen in complexe rijomgevingen:

• Trade-off tussen Schaal en Robuustheid: De meeste lichtgewicht modellen vertrouwen op single-scale ontwerpen of vereenvoudigde decoders, wat leidt tot prestatieverlies in dynamische scènes (bijv. bewegende voertuigen, voetgangers) en een slechte structurele getrouwheid bij objectgrenzen.
• Complexiteit van Dynamische Verwerking: Methoden die zijn ontworig om dynamische objecten te verwerken, introduceren vaak overmatige complexiteit, hulptaken (bijv. optische flow, semantische segmentatie) of zware backbones (bijv. Vision Transformers), waardoor ze ongeschikt zijn voor edge-apparaten met beperkte middelen.
• Beperkingen van Foundation Modellen: Hoewel gesuperviseerde foundation modellen (bijv. Depth Anything V2) sterke zero-shot generalisatie bieden, belemmert hun afhankelijkheid van massieve datasets en zware computationele vereisten de inzetbaarheid in real-time, edge-gebaseerde automotive scenario's.

De kernuitdaging die wordt aangepakt, is hoe de robuustheidskloof tussen lichtgewicht zelfgesuperviseerde modellen en grote gesuperviseerde modellen kan worden verkleind, terwijl de efficiëntie van data en inzetbaarheid op edge-hardware behouden blijft.

2. Methodologie

De auteurs stellen FlexDepth voor, een familie van schaalgestuurde zelfgesuperviseerde MDE-modellen die zijn afgestemd op dynamische rijscenario's. De architectuur bestaat uit drie primaire innovaties:

A. Schaalgestuurde Decoder (SDD)

In tegenstelling tot traditionele decoders die vaste pipelines gebruiken (pre-convolutie $\to$ upsampling $\to$ concatenatie), introduceert FlexDepth een decoder die adaptief componenten selecteert op basis van de schaal van het model (Nano, Small, Medium, Large, X-Large).

• Post-Convolution Design: De auteurs verwijderen de pre-convolutie fase om onomkeerbaar verlies van globale semantische informatie te voorkomen. In plaats daarvan richten zij zich op post-convolutie ($C$), upsampling ($U$) en predictiekoppen ($P$).
  • Kleine Schalen (Nano/Small): Gebruiken High-Efficiency Bottlenecks (HEB) om de stabiliteit van de gradiëntstroom te waarborgen en een traditionele predictiekop-volgorde te hanteren.
  • Grote Schalen (Medium/X-Large): Gebruiken High-Performance Bottlenecks (HPB) met Cross Stage Partial (CSP) structuren voor fijnere lokale feature-extractie en een geïnverteerde predictiekop (upsampling vóór de predictie) om gebruik te maken van de consistentie van high-channel features.
• Dynamische Upsampling ($U$): Vervangt standaard bilineaire interpolatie door een tweestaps proces: offset-generatie en dynamische resampling. Een convolutionele laag voorspelt offsets ($\Delta P$) op basis van semantische inhoud, waardoor het model adaptief optimale locaties kan samplen uit feature maps, wat resulteert in scherpere objectgrenzen.

B. Tweestaps Statisch-Dynamisch Ontkoppelde Training

Om de instabiliteit veroorzaakt door bewegende objecten aan te pakken zonder te vertrouwen op externe priors, gebruikt FlexDepth een tweestaps trainingsstrategie:

1. Fase 1 (Gezamenlijke Optimalisatie): Traint simultaan het Dieptevoorspellingsnetwerk en de PoseNet (gebaseerd op ResNet-18) met behulp van standaard fotometrische reprojectiefout, minimum reprojectiefout en edge-aware smoothness loss.
2. Fase 2 (Dynamische Verfijning): Maakt gebruik van het feit dat dynamische regio's een hoge voorspellingsinstabiliteit vertonen (variantie tussen vroege en late trainingsepochs) vergeleken met statische achtergronden.
   • Een Statisch-Dynamisch Ontkoppelde Masker ($M$) wordt gegenereerd door de disparity maps van de initiële en finale epochs van Fase 1 te vergelijken.
   • Een adaptieve drempelwaarde functie $g(\phi(f_{si}, f_{sl}))$ bepaalt het masker, waarbij dynamische objecten worden onderscheiden van statische achtergronden op basis van feature-evolutie in plaats van vaste drempelwaarden.
   • Het dieptenetwerk wordt opnieuw getraind met dit masker met behulp van een gemaskeerde normale distributie loss en geometrische diepte-smoothing, waardoor dynamische ruis effectief wordt ontkoppeld van het leren van de statische scène.

C. Zelfgesuperviseerde Trainingspipeline

Het model wordt volledig getraind op ongelabelde videosequenties met behulp van fotometrische consistentie.

• Loss Functies: Combineert fotometrische fout ($L_p$), minimum reprojectiefout ($L_r$), edge-aware smoothness ($L_{smooth}$) en in Fase 2, een gemaskeerde normale distributie loss ($L_m$) en geometrische diepte-smoothing ($L_{GDS}$).
• Geen Hulp-data: De methode werkt zonder semantische labels, optische flow of pseudo-dieptekaarten.

3. Belangrijkste Bijdragen

1. FlexDepth Familie: Een schaalbare familie van modellen (Nano tot X-Large) die systematisch de nauwkeurigheid-efficiëntie trade-off bestudeert en SOTA-prestaties bereikt over willekeurige schalen met minimale computationele overhead.
2. Scale-Driven Decoder (SDD): Een nieuwe decoderarchitectuur die dynamisch bottleneck-typen (HEB vs. HPB) en upsampling-strategieën selecteert op basis van de modelgrootte, waarbij een balans wordt gevonden tussen real-time inferentie en hoogwaardige diepte-mapping.
3. Statisch-Dynamisch Ontkoppelde Training: Een tweestaps strategie die dynamische objecten isoleert van statische achtergronden met behulp van een adaptief masker afgeleid van trainingsinstabiliteit, wat de robuustheid in dynamische omgevingen verhoogt zonder extra kosten tijdens inferentie of hulp-inputs.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op KITTI, Cityscapes en Make3D (voor zero-shot generalisatie).

• Prestaties versus Efficiëntie:
  • Flex-Nano: Vereist slechts 0.7 GFLOPs en bereikt 37.6 FPS op mobiele platforms (Snapdragon 8 Elite), waarbij het de Tiny en Small varianten van Lite-Mono overtreft in nauwkeurigheid terwijl het aanzienlijk lichter is.
  • Flex-X-Large: Zet nieuwe SOTA op KITTI en Cityscapes met 24.6 GFLOPs, waarmee het zwaardere modellen zoals MonoVit (59.7 GFLOPs) en DSI-MonoViT verslaat.
• Robuustheid in Dynamische Scènes: Op Cityscapes bereikt Flex-X-Large een superieure nauwkeurigheid in dynamische regio's (Abs Rel 0.091) vergeleken met methoden die vertrouwen op hulp-indicatoren (bijv. ProDepth, DSI-MonoViT), ondanks het gebruik van geen extra informatie.
• Zero-Shot Generalisatie: Het op KITKI getrainde model vertoont een sterke overdraagbaarheid naar de Make3D dataset, waarbij het andere zelfgesuperviseerde methoden overtreft en de prestaties van grotere foundation modellen nadert in specifieke metrieken.
• Ablatie-studies: Bevestigen dat de SDD-componenten (HPB, dynamische upsampling, geïnverteerde kop) en de tweestaps trainingsstrategie cruciaal zijn voor de prestatiewinsten. Het verwijderen van de tweede fase leidt tot ernstige prestatiedalingen in dynamische scènes.

5. Betekenis en Claims

Het artikel claimt dat FlexDepth erin slaagt de kloof tussen lichtgewicht efficiëntie en robuuste perceptie in dynamische rijomgevingen te overbruggen.

• Inzetbaarheid: Door SOTA-prestaties te leveren met minimale computationele kosten (bijv. 0.7 GFLOPs voor Nano), maakt FlexDepth betrouwbare real-time perceptie mogelijk op edge-apparaten voor automotive met beperkte middelen.
• Intrinsieke Robuustheid: De methode toont aan dat robuuste verwerking van dynamische scènes kan worden bereikt door architecturale vormgeving en trainingsstrategie (statisch-dynamisch ontkoppelen), in plaats door te vertrouwen op complexe hulp-pipelines of zware backbones.
• Complement aan Foundation Modellen: Hoewel de superieure zero-shot capaciteiten van grote foundation modellen (zoals Depth Anything V2) worden erkend, beargumenteren de auteurs dat in-domain zelfgesuperviseerde training (zoals FlexDepth) praktische voordelen biedt voor edge-deployment vanwege de lagere resource footprint en vergelijkbare of superieure nauwkeurigheid in specifieke rijcontexten.

Beperkingen: De auteurs merken op dat FlexDepth specifief is ontworpen voor rijperceptie en dat de toepasbaarheid op indoor-omgevingen met onregelmatige texturen en nabije occlusies beperkt is.