From Editor to Dense Geometry Estimator

Probleemstelling

Dichtbijgeometrie-schatting (zoals dieptebepaling en oppervlaktenormaal-estimation) vanuit één afbeelding is een slecht gesteld probleem (ill-posed) dat prior-kennis vereist. Recente werken hebben succesvol gebruikgemaakt van vooraf getrainde Text-to-Image (T2I) generatieve modellen (zoals Stable Diffusion) voor zero-shot dieptebepaling.

Het paper stelt echter dat generatieve modellen, die zijn ontworpen voor het creëren van nieuwe beelden, niet optimaal zijn voor de taak van Image-to-Image (I2I) transformatie, zoals het schatten van geometrie. Generatieve modellen moeten hun interne features fundamenteel herschikken om geometrische structuren te leren, wat leidt tot instabiele training en suboptimale convergentie. Er is een behoefte aan een fundament dat van nature al een diep begrip heeft van de inputafbeelding en structurele priors bezit.

Methodologie: FE2E

De auteurs introduceren FE2E (From Editor to Estimator), een raamwerk dat een geavanceerd Diffusion Transformer (DiT)-gebaseerd image editing model (Step1X-Edit) aanpast voor dichte geometrische schatting. In plaats van te genereren, "redigeert" het model de inputafbeelding naar een geometrische representatie.

De aanpassing omvat drie kerninnovaties:

1. Van Editor naar Estimator (Flow Matching aanpassing):

   • Het oorspronkelijke flow-matching verlies in editors is ontworpen voor stochastische paden. Voor de deterministische aard van geometrische schatting (waar slechts één waarheid bestaat), herschrijven de auteurs het trainingsdoel.
   • Ze introduceren "Consistent Velocity": De snelheid van het flow-pad wordt constant gemaakt en onafhankelijk van de tijd $t$.
   • Ze gebruiken een Fixed Origin ($z_0 = 0$) in plaats van een stochastisch ruisvector. Dit elimineert discretisatiefouten en verkort de inferentietijd aanzienlijk, terwijl de training stabieler wordt.

2. Logaritmische Quantisatie (Logarithmic Quantization):

   • Editors worden doorgaans getraind met BFloat16 (BF16) precisie, wat voldoende is voor RGB-afbeeldingen maar onvoldoende voor dieptewaarden (die een groot dynamisch bereik hebben).
   • Eenheden quantisatie (uniform) of inverse quantisatie (disparity) leiden tot grote fouten bij respectievelijk verre of nabije objecten.
   • FE2E introduceert logaritmische quantisatie van de dieptewaarden ($D_{log} = \ln(D + \epsilon)$). Dit zorgt voor een constante relatieve fout over zowel nabije als verre afstanden, waardoor de precisie van BF16 optimaal wordt benut zonder de kosten van FP32.

3. Kosteloze Gezamenlijke Schatting (Cost-Free Joint Estimation):

   • DiT-modellen voor editing gebruiken vaak een inputstructuur waarbij de linkerhelft van de output wordt genegeerd (verworpen) omdat deze alleen dient voor de conditionering.
   • FE2E hergebruikt deze "verworpen" regio om diepte en normaalvectoren simultaan te schatten in één doorloop. Dit verbetert de inferentie-efficiëntie zonder extra rekenkosten en zorgt voor een synergie tussen de twee taken dankzij de globale aandacht van de DiT-architectuur.

Belangrijkste Bijdragen

• Systematische Analyse: Het paper toont aan dat editing-modellen een superieure inductieve bias hebben voor dichte geometrische taken vergeleken met generatieve modellen. Editing-modellen "verfijnen" bestaande structurele features, terwijl generatieve modellen deze moeten "herschikken".
• Nieuw Paradigma: FE2E is het eerste werk dat succesvol een vooraf getraind image editing model (Step1X-Edit) adapteert voor zero-shot geometrische schatting.
• Technische Innovaties: De combinatie van consistent velocity training, logaritmische quantisatie en kosteloze gezamenlijke schatting lost de specifieke beperkingen op die ontstaan bij het overzetten van een editor naar een estimator.

Resultaten

FE2E presteert opvallend goed, zelfs met zeer beperkte trainingsdata (ongeveer 71.000 afbeeldingen, oftewel 0,2% van de data die modellen zoals DepthAnything gebruiken).

• Zero-Shot Prestaties: FE2E behaalt state-of-the-art (SOTA) resultaten op meerdere benchmarks (NYUv2, KITTI, ETH3D, ScanNet, DIODE).
• Verbetering: Op de ETH3D-dataset wordt een verbetering van >35% in AbsRel-fout behaald ten opzichte van de tweede beste methode.
• Efficiëntie: Het model overtreft de DepthAnything-serie (die op 62,6 miljoen afbeeldingen is getraind) in gemiddelde rangschikking, ondanks dat FE2E is getraind op slechts 71.000 afbeeldingen.
• Kwaliteit: Visuele resultaten tonen superieure details in complexe scenario's, zoals extreme verlichting, verre objecten en fijne oppervlaktestructuren.

Betekenis

Deze studie markeert een paradigmaverschuiving in de computer vision: van het gebruik van generatieve T2I-modellen naar I2I-editing-modellen als fundament voor dichte perceptietaken. Het bewijst dat het benutten van de inherente structurele priors van editors, gecombineerd met slimme aanpassingen in trainingsdoelen en precisiebeheer, leidt tot een veel efficiëntere en krachtigere aanpak dan het simpelweg schalen van trainingsdata. FE2E toont aan dat "van editor naar estimator" een robuust en data-efficiënt pad is voor 3D-geometrische schatting.