💻 computer science

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

X-Lens is een compact, real-time feed-forward model dat robuuste metrische dieptechatting bereikt van heterogene fisheye- en pinhole-camera's door gebruik te maken van leerbare kalibratietokens en een Jacobian-geparameteriseerde distortiebias, alles getraind op een nieuw uitgebrachte grootschalige synthetische dataset genaamd OmniScene.

Oorspronkelijke auteurs: Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een 3D-kaart van de wereld probeert te bouwen met een camera-rugzak. De meeste robots en zelfrijdende auto's dragen een rugzak met een mix van lenzen: sommige zijn standaard "pinhole"-camera's (zoals je telefoon) die ver weg duidelijk zien, en andere zijn "fisheye"-lenzen die alles om je heen zien in een enorme, gebogen bubbel.

Het probleem? Deze twee lenzen spreken verschillende geometrische talen. Een fisheye-lens rekt de randen van het beeld uit als een kermisspiegel, terwijl de pinhole-lens alles recht houdt. Lange tijd hadden computers moeite om deze twee beelden samen te voegen om precies te bepalen hoe ver objecten in de echte wereld verwijderd zijn. Ze rekenden de wiskunde verkeerd uit, hadden enorme supercomputers nodig, of moesten de gebogen beelden platmaken tot een vreemd "panorama" waarbij belangrijke details verloren gingen.

Maak kennis met X-Lens, een nieuw, klein en supersnel AI-model dat fungeert als een meestervertaler voor deze gemengde camera's.

De Magische Vertaler

Beschouw X-Lens als een compact "brein" van 0,04 miljard parameters (dat is klein vergeleken met andere modellen die meer dan 1 miljard parameters hebben). In plaats van te proberen de fisheye- en pinhole-beelden er hetzelfde uit te laten zien, accepteert X-Lens ze precies zoals ze zijn.

Het gebruikt twee slimme trucs om de chaos te begrijpen:

Learnable Calibration Tokens: Stel je deze voor als kleine plaknotities die de AI op de fisheye-beelden plakt. Deze briefjes vertellen de AI: "Hé, dit deel van de afbeelding is uitgerekt vanwege de lens, dus vertrouw niet te veel op de vorm." Dit helpt de AI om het gebogen fisheye-gezichtspunt af te stemmen op het rechte pinhole-gezichtspunt zonder het beeld eerst te vervormen.
Jacobian Distortion Bias: Dit is als een speciale kompasnaald voor de AI. Het berekent precies hoe de lichtstralen op elk minuscuul punt buigen. Door deze "buigingskaart" in het aandachtssysteem van de AI te voeren, leert het model de vervorming te negeren en zich te concentreren op de werkelijke 3D-vorm van de wereld.

Het resultaat? X-Lens kan naar een mix van zes camera's kijken (vier fisheye, twee pinhole) en direct een dichte dieptekaart met een werkelijke schaal produceren. Het gokt niet alleen "dichtbij" of "ver weg"; het vertelt je dat een object precies 11,07 meter of 31,64 meter verwijderd is. En dit doet het met 41 frames per seconde, wat snel genoeg is voor een robot om obstakels in realtime te ontwijken.

Het Gigantische Oefenveld: OmniScene

Om X-Lens te leren hoe dit moet, konden de onderzoekers niet simpelweg bestaande foto's gebruiken, omdat er niet genoeg voorbeelden waren van gemengde camera's met perfecte 3D-metingen. Daarom bouwden ze OmniScene, een enorme synthetische wereld.

Ze creëerden 103 verschillende scènes (van winkelcentra tot sci-fi complexen) en genereerden 266.000 gesynchroniseerde frames met een virtuele zes-camera-opstelling. Dit is als het trainen van een piloot in een vluchtsimulator die alle mogelijke weersomstandigheden en landingsbanen heeft gezien voordat hij ooit een echt vliegtuig aanraakt. De data bevat 1,7 miljoen individuele afbeeldingen met perfecte, ruisvrije diepte-labels.

Wat de Cijfers Zeggen

Het paper testte X-Lens tegen de grootste, zwaarste modellen in het vakgebied. Dit is wat er gebeurde:

Snelheid: X-Lens draait op 41 FPS op een enkele high-end GPU, terwijl de sterkste concurrenten vaak op 5 tot 13 FPS draaien.
Grootte: X-Lens gebruikt 0,04B parameters. De op één na beste concurrent, MapAnything, gebruikt 1,23B parameters. Dat betekent dat X-Lens 88,9% kleiner is dan de baseline.
Nauwkeurigheid: Op de test met gemengde camera's (OmniScene-Full) verminderde X-Lens de fout (AbsRel) met 25,4% vergeleken met de sterkste baseline. Het verbeterde ook de "Scale AbsRel" (hoe goed het de werkelijke grootte raadt) met 68,1% vergeleken met MapAnything.

Wat X-Lens NIET is

Het is belangrijk om te weten wat dit model niet doet, want het paper is heel duidelijk over de beperkingen:

Het voorspelt geen camerainstellingen: X-Lens moet precies verteld krijgen hoe de cameralenzen eruitzien (de kalibratie) voordat het begint. Het kan het type lens of de camerapositie niet zelfstandig raden.
Het is geen "fix-all" voor vreemde lenzen: Het model is getraind op specifieke typen fisheye- en pinhole-lenzen. Als je het een lens voert met een extreem, nog nooit eerder vertoond gezichtsveld dat totaal anders is dan de trainingsdata, suggereert het paper dat de prestaties licht kunnen dalen omdat het die specifieke "kermisspiegel" nog niet heeft gezien.
Het is geen algemene 3D-reconstructietool: In tegenstelling tot sommige enorme modellen die proberen de positie van de camera, het type lens en de 3D-kaart allemaal tegelijk te raden, is X-Lens gespecialiseerd. Het focust strikt op diepte en schaal, en dat is waarom het zo snel en klein is.

De Kern van het Verhaal

X-Lens bewijst dat je geen gigantische, trage computer nodig hebt om 3D-ruimte te begrijpen met gemengde camera's. Door een slim, geometrie-bewust ontwerp te gebruiken en te trainen op een enorme, hoogwaardige synthetische dataset, bereikt het een state-of-the-art nauwkeurigheid terwijl het klein genoeg is om op edge-apparaten te draaien. Het is een stap richting robots die de wereld echt in 3D kunnen "zien", in realtime, zonder dat ze een supercomputer in hun rugzak nodig hebben.

Technische Samenvatting: X-Lens

Probleemstelling

Moderne belichaamde systemen (embodied systems), inclusief autonome robots en Vision-Language-Action (VLA) modellen, vertrouwen steeds vaker op multi-camera rigs die smalle-FOV pinhole-camera's combineren met brede-FOV fisheye-camera's om een uitgebreide ruimtelijke dekking te bereiken. Echter, bestaande 3D-diepte-inschatting en geometrische fundamentmodellen kampen met aanzienlijke beperkingen in deze heterogene camera-omgeving:

Model mismatch: De meeste methoden zijn gebaseerd op pinhole-gecentreerde aannames of single-camera modellen, waardoor ze niet in staat zijn de niet-uniforme projectiegeometrie en de aan het perspectief gebonden vervorming van gemengde rigs te verwerken.
Computationele kosten: Bestaande geometrische fundamentmodellen zijn vaak computationeel veeleisend, wat real-time edge-inferentie moeilijk maakt onder strikte latentie- en geheugenbudgetten.
Dataschaarste: Er is een gebrek aan grootschalige, gesynchroniseerde datasets die dichte metrieke grondwaarheid bevatten voor heterogene (fisheye + pinhole) multi-view configuraties.
Inefficiëntie: Huidige benaderingen vertrouwen vaak op panorama-stitching (het wijzigen van de natuurlijke geometrie) of hulp-reconstructiedoelen (wat de optimalisatiecomplexiteit verhoogt) om wide-FOV inputs te verwerken.

Methodologie

X-Lens is een compact, feed-forward model ontworpen voor real-time metrieke diepte-inschatting vanuit een variabel aantal gekalibreerde fisheye en pinhole views. Het vermijdt panorama-stitching en hulp-reconstructiedoelen, en richt zich direct op het voorspellen van dichte diepte en een globale metrieke schaal.

1. Formulering en Ontwerp

Generieke Straalrepresentatie: In plaats van te vertrouwen op een specifieke pinhole intrinsieke matrix $K$ , abstraheert X-Lens camera's via een generieke unprojectie-kaart $G$ . Deze mapt pixelcoördinaten naar teruggeprojecteerde eenheidsstralen in een gedeelde straalruimte, waardoor zowel pinhole als fisheye (parametrische vervorming) modellen worden ondersteund zonder architecturale wijzigingen.
Gefactoreerde Voorspelling: Het model geeft een triplet uit:
- $\hat{D}$ : Genormaliseerd diepteveld (schaal-invariant).
- $\hat{C}$ : Zelf-gekalibreerde betrouwbaarheidskaart.
- $\hat{m}$ : Een enkele globale metrieke scalar.
- De uiteindelijke metrieke diepte wordt gereconstrueerd als $\hat{D}_m = \hat{m} \cdot \hat{D}$ . Dit isoleert de absolute schaal in een eendimensionale pathway, waardoor geometrische verliezen kunnen opereren in een schaal-invariante ruimte.

2. Heterogene Projectie Transformer

De kernarchitectuur is een Vision Transformer (ViT) backbone met afwisselende lokale (binnen de view) en globale (cross-view) lagen, versterkt door twee sleutelcomponenten:

Leerbare Kalibratie Tokens: Om te voorkomen dat lens-specifieke vervormingen gedeelde visuele tokens corrumperen, injecteert het model laag- en camera-type-specifieke kalibratie tokens ( $\Theta$ ) in de sequentie. Deze tokens letten lokaal op hun specifieke view om vervormingspatronen te corrigeren, maar worden verwijderd voor de volgende laag om persistentie te voorkomen, zodat ze de globale metrieke fusie niet verstoren.
Jacobian-geparameteriseerde Vervormingsbias: Om de geometrische kloof tussen views te overbruggen, wordt een bias-term geïnjecteerd in de cross-attention mechanisme. Deze bias wordt afgeleid van de Jacobiaan van de unprojectie-kaart (lokale straalrichting en projectievervorming). Het moduleert de aandachtsgewichten om patches te bevoordelen met compatibele 3D-straalgeometrie en lokale projectiestructuur, in plaats van enkel te vertrouwen op uiterlijkheidsgelijkenis in vervormde coördinaten.
Schaal-Aandacht (Scale Attention): Om robuuste metrieke schaalvoorspelling te garanderen, verwerpt het model de onderste 25% van de betrouwbaarheids-pixels (vaak nabij fisheye-grenzen) en voert een betrouwheid-gewogen pooling uit op de resterende betrouwbare regio's voordat de globale schaal $\hat{m}$ wordt geregresseerd.

3. Multi-Stage Trainingsstrategie

X-Lens hanteert een progressieve drie-fasen trainingspipeline om de lens-specifieke adaptatie te isoleren van de gezamenlijke optimalisatie:

Fase 1 (Pinhole Pre-training): Het model wordt getraind op multi-view pinhole data om robuuste geometrische priors en schaalbewustzijn te leren. Kalibratie tokens en vervormingsbias zijn uitgeschakeld.
Fase 2 (Fisheye Token Adaptatie): De backbone wordt bevroren en alleen de kalibratie tokens worden bijgewerkt met behulp van fisheye data. Dit past het model aan op wide-FOV vervorming zonder de gevestigde pinhole priors te overschrijven.
Fase 3 (Heterogene Gezamenlijke Training): De Jacobian vervormingsbias wordt geactiveerd en het model wordt gezamenlijk gefinetuned op gemengde fisheye-pinhole data (inclusief de nieuwe OmniScene dataset) en pure pinhole data om de interacties tussen de views te verzoenen.

4. De OmniScene Dataset

Om dataschaarste aan te pakken, introduceren de auteurs OmniScene, een grootschalige synthetische dataset:

Schaal: ~266.000 gesynchroniseerde zes-view frames (1,7M afbeeldingen) verspreid over 103 binnen- en buitenlocaties.
Configuratie: Een rigide zes-camera rig met vier fisheye (180° FOV) en twee pinhole camera's.
Kwaliteit: Biedt dichte, ruisvrije metrieke grondwaarheid (z-diepte), validiteitsmaskers en gekalibreerde intrinsieken/extrinsieken voor elk frame.

Belangrijkste Resultaten

Uitgebreide experimenten op real-world (KITTI360, ETH3D, ScanNet++) en synthetische (OmniScene) datasets tonen de superioriteit van X-Lens aan in nauwkeurigheid en efficiëntie:

Heterogene Prestaties: Op de OmniScene-Full benchmark (6 views: 4 fisheye + 2 pinhole) vermindert X-Lens de AbsRel met 25,4% vergeleken met de sterkste baseline (MapAnything), terwijl het 88,9% minder parameters gebruikt (0,04B vs. 1,23B).
Real-Time Inferentie: X-Lens bereikt 41 FPS op enkele fisheye views en 22 FPS op volledige heterogene 6-view inputs op een NVIDIA H100 GPU, wat grotere modellen aanzienlijk overtreft in snelheid.
Generalisatie: Het model vertoont sterke zero-shot generalisatie op onbekende omgevingen en behoudt concurrerende prestaties in homogene pinhole-only en fisheye-only settings.
Parameter Efficiëntie: Het bereikt state-of-the-art metrieke diepte-nauwkeurigheid met slechts 0,04B parameters, een fractie van de grootte van andere geometrische fundamentmodellen (bijv. VGGT, DepthAnything3).

Betekenis en Claims

Het artikel beweert dat X-Lens een belangrijke stap vormt richting real-time ruimtelijke intelligentie voor belichaamde systemen. De primaire bijdragen zijn:

Natieve Heterogene Ondersteuning: Het is de eerste compacte model dat van nature ondersteuning biedt voor ruwe, gemengde fisheye en pinhole inputs zonder dat panorama-stitching of hardware-specifieke stereo-volumes vereist zijn.
Efficiëntie-Nauwkeurigheid Afweging: Door diepteperceptie te ontkoppelen van volledige 3D-reconstructie (pose, intrinsieken, puntkaarten) en zich te concentreren op metrieke diepte en schaal, bereikt X-Lens een balans tussen hoge nauwkeurigheid en lage latentie, geschikt voor edge-implementatie.
Data Resource: De release van OmniScene biedt een cruciale bron voor het trainen en evalueren van heterogene multi-view diepteperceptie, waarmee een grote kloof in het vakgebied wordt gedicht.

De auteurs positioneren X-Lens niet enkel als een diepte-estimator, maar als een geometrie-bewuste visuele encoder die in staat is de brug te slaan tussen metrieke diepte-modellering en real-time downstream toepassingen zoals robotische planning en interactie. Ze erkennen beperkingen met betrekking tot de afhankelijkheid van grondwaarheid-kalibratie en potentiële sim-to-real kloven bij extreme, onbekende lensconfiguraties, wat wijst op toekomstig werk in temporele aggregatie en bredere intrinsieke diversiteit.