LiftFormer: Lifting and Frame Theory Based Monocular Depth Estimation Using Depth and Edge Oriented Subspace Representation

Probleemstelling

Monoculaire diepteschattting (MDE) is de taak om een 3D-structuur van een scène te reconstrueren op basis van één enkele afbeelding. Dit is een fundamenteel maar "ill-posed" probleem in de computervisie, met name voor toepassingen zoals autonoom rijden en robotica.
De huidige uitdagingen zijn:

1. Ill-posed aard: Het direct regreëren van dieptewaarden vanuit kleurgegevens (RGB) is moeilijk omdat de relatie tussen kleur en geometrie complex is.
2. Binning-mismatch: Moderne methoden gebruiken vaak een classificatie-regressie-aanpak met "depth bins" (dieptecategorieën). Er is echter vaak een mismatch tussen de geleerde dieptefeatures en de bin-embeddings, wat leidt tot suboptimale voorspellingen.
3. Randproblemen: Bestaande methoden, vooral die op Transformers gebaseerd zijn, presteren vaak slecht rond objectranden. Transformers zijn goed in het extraheren van globale informatie, maar minder gevoelig voor lokale inductieve bias, wat resulteert in onscherpe randen en fouten bij snelle dieptewisselingen.

Methodologie: LiftFormer

De auteurs stellen LiftFormer voor, een architectuur die lifting-theorie (uit de topologie) en frame-theorie (uit de signaalverwerking) combineert om het probleem van diepteschattting te herformuleren. In plaats van diepte direct te voorspellen, wordt het probleem getransformeerd naar het construeren van een tussenliggende subruimte.

De architectuur bestaat uit twee kernmodules die "lifting" (het optillen van features naar een hogere dimensie) toepassen:

1. SF-DGR Subspace Transformatie (Image Spatial Feature to Depth-Oriented Geometric Representation)

• Doel: Het overbruggen van de kloof tussen beeldkleurfeatures en geometrische dieptewaarden.
• Theorie: De auteurs definiëren een DGR-subruimte (Depth-Oriented Geometric Representation) als een "dekruimte" (covering space) van de 1D-diepteruimte. Deze subruimte wordt opgebouwd met behulp van frame-theorie, waarbij lineair afhankelijke vectoren (een "frame") worden gebruikt in plaats van orthogonale basisvectoren.
• Implementatie:
  • Een set basisvectoren wordt globaal geleerd tijdens het trainen (onafhankelijk van kleurinformatie) om de dieptebins te vertegenwoordigen.
  • Beeldspatiale features worden geprojecteerd naar deze DGR-subruimte. Hierdoor worden discrete dieptewaarden omgezet in continue dieptefeatures die direct corresponderen met de bin-centra.
  • Door redundantie in het frame (meer vectoren dan dimensies) wordt een robuuste en scherpere representatie verkregen.
  • Dit proces transformeert de input van "kleur naar diepte" naar "kleur naar diepte-features", wat het regressieprobleem aanzienlijk vereenvoudigt.

2. DF-ER Subspace Transformatie (Depth Feature to Edge-Aware Representation)

• Doel: Het verbeteren van de nauwkeurigheid rond objectranden, waar dieptewisselingen scherp zijn.
• Theorie: Een ER-subruimte (Edge-Aware Representation) wordt geconstrueerd om lokale randinformatie te modelleren.
• Implementatie:
  • De subruimte bestaat uit twee basisvectoren: één voor "rand" en één voor "geen rand".
  • Een CNN-gebaseerde module (ER-CP) voorspelt de projectie-coëfficiënten voor deze vectoren op basis van de decoder-features.
  • Dit verrijkt de dieptefeatures met lokale, hoogfrequente informatie, waardoor de randen van objecten scherper worden voorspeld.

Algemene Architectuur:
Het model gebruikt een U-Net-achtige structuur met een Swin Transformer als encoder. De features worden via de SF-DGR-module naar de decoder getransformeerd. De decoder verrijkt deze features vervolgens met de DF-ER-module. De uiteindelijke dieptekaart wordt gegenereerd via een AdaBin-stijl voorspelling (combinatie van voorspelde bin-centra en kansen), maar dan gebaseerd op de geoptimaliseerde DGR-features.

Belangrijkste Bijdragen

1. Theoretische Validatie: Het paper biedt een theoretisch fundament (via lifting- en frame-theorie) voor het gebruik van bin-embedding-achtige representaties in MDE, wat de kloof tussen discrete bins en continue diepte overbrugt.
2. SF-DGR Lifting: Een nieuwe methode om beeldfeatures om te zetten in continue dieptefeatures in een gedeelde subruimte, wat de regressie van diepte verbetert en de mismatch met bin-centra oplost.
3. DF-ER Lifting: Een randbewuste representatielaag die specifiek is ontworpen om de prestaties rond objectgrenzen te verbeteren door lokale hoogfrequente informatie toe te voegen.
4. State-of-the-Art Prestaties: Het model presteert beter dan bestaande SOTA-methoden op veelgebruikte datasets, zonder afhankelijk te zijn van complexe post-processing.

Resultaten

LiftFormer is getest op twee belangrijke datasets: KITTI (buiten) en NYU Depth V2 (binnen).

• KITTI Dataset: LiftFormer behaalde een RMSE van 2.038, wat een verbetering is ten opzichte van de huidige SOTA-methoden zoals PixelFormer (2.081), BinsFormer (2.098) en iDisc (2.067).
• NYU Depth V2 Dataset: Het model behaalde een RMSE van 0.313, wat weer beter is dan PixelFormer (0.322) en LocalBins (0.351).
• Kwalitatieve Analyse: Visuele resultaten tonen aan dat de dieptekaarten van LiftFormer gladder zijn en minder discontinuïteiten vertonen. Vooral de randen van objecten zijn scherper en er zijn minder artefacten in textuurrijke gebieden met kleine dieptewisselingen.
• Ablatie-studies:
  • Zowel de SF-DGR als de DF-ER modules dragen significant bij aan de prestaties.
  • De studie toonde aan dat een bepaalde mate van redundantie in het frame (128 basisvectoren) optimaal is; te veel redundantie (256) leidt tot een marginale prestatiedaling door complexiteit.
  • Het model werkt goed met zowel CNN- als Transformer-decoders, wat de generalisatiekracht aantoont.

Betekenis en Impact

Deze paper is significant omdat het een nieuwe theoretische invalshoek biedt voor monocular depth estimation. Door het probleem te "liften" naar een subruimte die beter is afgestemd op de geometrie van de scène, lost het fundamentele problemen op met bestaande classificatie-regressie methoden.

• Het lost het probleem op van de "mismatch" tussen features en bins.
• Het adresseert specifiek de zwakke prestaties van Transformers bij randen, een bekend probleem in de diepe leer.
• De methode is plug-and-play en kan worden geïntegreerd in bestaande encoder-decoder architecturen, wat het een waardevolle bijdrage maakt aan de toekomstige ontwikkeling van 3D-vision systemen voor autonoom rijden en robotica.