Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

Deze paper introduceert een zelftoezichtmethode met 'Calibration Tokens' die bestaande monokulaire diepteschatters, getraind op perspectiefbeelden, zonder extra training of finetuning toepasbaar maakt op fisheye-camera's door de latent embeddings uit te lijnen.

De kern

Stel je voor dat je een zeer slimme robot hebt die is opgeleid om de wereld te zien en afstanden te schatten. Deze robot is getraind met miljoenen foto's van gewone camera's (zoals die in je telefoon of een DSLR). Op die foto's lijken rechte lijnen rechte lijnen te blijven. De robot heeft hierdoor een perfect gevoel voor diepte ontwikkeld.

Nu willen we deze robot echter een vis-oog lens (fisheye) geven. Dit is een lens die extreem breed is, zoals bij een duivels oog of een security-camera. Het probleem? Een vis-oog lens vervormt het beeld. Rechte lijnen worden krom, en de randen van de foto worden uitgerekt.

Als je de slimme robot nu direct een vis-oog foto geeft, raakt hij in de war. Hij denkt dat de wereld gekromd is, terwijl hij eigenlijk gewoon de vervorming van de lens ziet. Hij schat de afstanden verkeerd in.

Het probleem: De "Covariate Shift"

In vakjargon noemen ze dit een covariate shift. Simpel gezegd: de robot is getraind op "normale" beelden, maar krijgt nu "kromme" beelden. Het is alsof je iemand die perfect Nederlands spreekt plotseling laat praten met een zware, onbekende accent. De woorden zijn hetzelfde, maar de klank is anders, en de luisteraar raakt in de war.

De oude oplossingen (die niet werken)

Vroeger probeerden mensen dit op twee manieren op te lossen, maar beide hadden nadelen:

1. De foto rechttrekken: Je probeerde de kromme foto eerst digitaal "rechttrekken" voordat je hem aan de robot gaf. Maar dit werkt niet perfect; het creëert wazige plekken, rekken en knippen. De robot krijgt dan een foto die eruitziet alsof hij uit een oude, beschadigde film komt.
2. De robot opnieuw leren: Je traint de robot opnieuw, alleen met vis-oog foto's. Het probleem hier is dat er heel weinig vis-oog foto's met de juiste afstandsgegevens (ground truth) beschikbaar zijn. Het is alsof je iemand wilt leren Frans, maar je hebt maar één boekje. De robot wordt dan heel goed in Frans, maar vergeet zijn eerdere kennis van Nederlands.

De nieuwe oplossing: "Calibratie Tokens"

De auteurs van dit paper hebben een slimme, lichte oplossing bedacht: Calibratie Tokens.

Stel je voor dat de robot een enorme bibliotheek heeft (zijn hersenen) die hij niet wilt veranderen. We willen hem niet opnieuw leren, maar we willen hem wel een talenkoffer geven.

• De Tokens: Dit zijn kleine, digitale "stickers" of "woorden" die we aan de input van de robot plakken. Ze bevatten informatie over hoe de vis-oog lens vervormt.
• Hoe het werkt: Wanneer de robot een vis-oog foto krijgt, plakt hij deze "stickers" erbij. De robot leest de stickers en zegt: "Ah, ik zie dat dit een vis-oog lens is. Ik moet mijn interne interpretatie van deze kromme lijnen even aanpassen, alsof ik een bril opzet die de kromming compenseert."
• Het resultaat: De robot gebruikt zijn bestaande, superkrachtige kennis van afstanden, maar past zijn "blik" even aan op de lens. Hij hoeft niet opnieuw te leren, en de foto wordt niet digitaal vervormd (geen kwaliteitsverlies).

Hoe trainen ze deze stickers?

Ze hoeven geen duizenden vis-oog foto's te vinden. Ze doen het slim:

1. Ze nemen een normale foto.
2. Ze rekken deze digitaal uit tot een vis-oog foto (met een computerprogramma).
3. Ze geven deze "kromme" foto aan de robot.
4. De robot moet de afstanden schatten.
5. Vervolgens nemen ze het antwoord van de robot en "rekken het terug" naar de oorspronkelijke, rechte vorm.
6. Ze vergelijken dit met de originele, rechte foto. Als ze overeenkomen, is de robot goed. Zo leert de robot (en de stickers) hoe ze de kromming moeten compenseren, zonder dat er echte vis-oog foto's nodig zijn.

Waarom is dit geweldig?

• Snel en licht: De "stickers" zijn zo klein dat ze bijna geen extra rekenkracht kosten.
• Veelzijdig: Je kunt dezelfde stickers gebruiken voor binnen (kamers) en buiten (straten).
• Terugkeerbaar: Als je de stickers eraf haalt, werkt de robot weer perfect voor normale camera's. Je hoeft dus geen aparte robot te hebben voor elke camera.

Kort samengevat: In plaats van de robot te dwingen opnieuw te leren of de foto's te vervormen, geven we de robot een slimme "bril" (de tokens) die hem helpt de kromming van de vis-oog lens te negeren, zodat hij zijn oorspronkelijke slimme kennis kan blijven gebruiken.

Technische samenvatting

Titel: Uitbreiding van Fundamentele Monoculaire Dieptheschattingen naar Fisheye-camera's met Calibratie-Tokens

1. Het Probleem

Fundamentele monoculaire dieptheschattingen (FMDE's), zoals MiDaS, DepthAnything en UniDepth, zijn getraind op enorme datasets van miljoenen perspectiefafbeeldingen (standaard camera's). Deze modellen generaliseren uitstekend voor diverse 3D-scènes binnen het perspectief-domein. Echter, wanneer deze modellen worden toegepast op beelden van fisheye-camera's (die een groot gezichtsveld hebben maar aanzienlijke lensdistorsie vertonen), falen ze.

De oorzaak is een covariante verschuiving (covariate shift) in de verdeling van de data. Fisheye-beelden hebben een andere projectieve geometrie (kromme lijnen in plaats van rechte lijnen) en andere intrinsieke parameters dan perspectiefbeelden. Bestaande oplossingen hebben beperkingen:

• Her-calibratie/Entdistorsie: Het rechttrekken van beelden introduceert artefacten (rekken, knippen, aliasing) en vertraging, en is gevoelig voor kalibratiefouten.
• Opnieuw trainen: Het trainen van een nieuw model specifiek voor fisheye-camera's vereist enorme datasets die niet beschikbaar zijn (fisheye-datasets zijn veel kleiner dan perspectief-datasets).
• Finetunen: Het finetunen van bestaande FMDE's op fisheye-data leidt vaak tot "parameter drift", waarbij het model zijn generalisatievermogen voor andere scènes verliest en gespecialiseerd raakt in één camera-type.

2. Methodologie: Calibration Tokens

De auteurs stellen een nieuwe, lichtgewicht aanpak voor genaamd Calibration Tokens. In plaats van het hele model opnieuw te trainen of de beelden te vervormen, passen ze de interne representaties van het bestaande model aan.

• Principe: De auteurs gaan ervan uit dat de fouten in fisheye-beelden ontstaan doordat de latente embeddings (de interne vectorvoorstellingen) van het model niet overeenkomen met de verdeling van perspectiefbeelden. Het doel is om deze embeddings te "herkalibreren" zodat ze weer compatibel zijn met de decoder van het oorspronkelijke FMDE.
• Architectuur: Gezien de meeste moderne FMDE's gebaseerd zijn op Vision Transformers (ViT), maken de auteurs gebruik van het attention-mechanisme. Ze introduceren een kleine set van trainbare tokens (de Calibration Tokens) die aan de inputsequentie van de visuele transformer worden toegevoegd.
• Multi-layer Modulatie: In tegenstelling tot het toevoegen van tokens aan slechts één laag, worden unieke sets van Calibration Tokens aan elke laag van de encoder toegevoegd. Dit zorgt ervoor dat de tokens de patch-embeddings op elk niveau van de verwerking kunnen moduleren en aligneren met de perspectief-distributie.
• Zelftoezichtende Training (Self-Supervised):
  • Er zijn geen echte fisheye-datasets nodig voor training.
  • Het proces begint met perspectiefafbeeldingen.
  • Deze worden kunstmatig vervormd tot synthetische fisheye-beelden met willekeurige distorsieparameters (gebaseerd op het model van Kannala & Brandt).
  • Het model voorspelt diepte voor het synthetische fisheye-beeld.
  • Cruciaal: De voorspelde dieptekaart van het fisheye-beeld wordt teruggeworpen (undistorted) naar het oorspronkelijke perspectief-coördinatenstelsel.
  • De verliesfunctie (LogL1 loss) wordt berekend tussen deze teruggeworpen voorspelling en de originele, hoogwaardige dieptekaart van het perspectiefbeeld (die als "ground truth" fungeert).
  • Hierdoor leert het model de Calibration Tokens zo te gebruiken dat de fisheye-embeddings in de latent space aligneren met die van perspectiefbeelden, zonder dat er informatie verloren gaat door projectie-artefacten in de outputruimte.

3. Belangrijkste Bijdragen

1. Nieuwe Benadering: Een methode om op perspectief getrainde FMDE's direct toe te passen op fisheye-camera's zonder het basismodel te herschrijven.
2. Calibration Tokens: Een lichtgewicht adaptatiemechanisme dat de latente embeddings van fisheye-beelden modulat naar de verdeling van perspectiefbeelden.
3. Zelftoezichtende Loss: Een innovatieve trainingsstrategie die synthetische fisheye-beelden gebruikt maar de loss berekent in het perspectief-domein, waardoor artefacten worden vermeden en de supervisie behouden blijft.
4. Universele Toepasbaarheid: Met één enkele set tokens worden state-of-the-art resultaten behaald voor zowel binnen- als buitenruimtes, zonder dat er aparte modellen nodig zijn voor verschillende camera-types.

4. Resultaten

De methode is geëvalueerd op verschillende FMDE's (MiDaS, DepthAnything, UniDepth) en datasets:

• Datasets: ScanNet++ (binnen, met echte fisheye-data en ground truth) en KITTI-360 (buiten, met 360° fisheye-camera's).
• Prestaties:
  • De Calibration Tokens verbeterden de RMSE (Root Mean Squared Error) aanzienlijk ten opzichte van de baselines zonder tokens.
  • Op de ScanNet++ dataset verbeterde UniDepth met Calibration Tokens de RMSE met 13% ten opzichte van de baseline en presteerde het beter dan de state-of-the-art methoden DepthAnyCamera en FoVA-Depth.
  • Op de KITTI-360 dataset (zeer vervormde beelden) toonde de methode robustheid en overtrof het de concurrenten, zelfs zonder specifieke training voor outdoor-scènes.
• Efficiëntie:
  • De methode voegt slechts 0,02% - 0,05% toe aan het geheugengebruik en < 1ms aan de inferentielatentie.
  • Het is volledig backwards compatible: voor perspectiefbeelden hoeven de tokens niet te worden gebruikt; het model werkt dan exact zoals voorheen.

5. Betekenis en Impact

Deze research lost een fundamenteel probleem op in de computer vision: de kloof tussen de enorme kennis die in grote, op perspectief getrainde modellen zit, en de noodzaak om deze toe te passen op breedhoek- en fisheye-camera's (cruciaal voor autonoom rijden, robotica en XR).

• Kostenefficiëntie: Het elimineert de noodzaak om enorme, specifieke fisheye-datasets te verzamelen en te labelen.
• Operationaliteit: Het maakt het mogelijk om één enkel FMDE-model te gebruiken voor systemen met gemengde camera-sets (bijv. een auto met zowel standaard als fisheye-camera's), wat de operationele complexiteit drastisch verlaagt.
• Kwaliteit: Door te voorkomen dat beelden worden gereprojecteerd (wat artefacten veroorzaakt), behoudt de methode de oorspronkelijke pixelkwaliteit en levert het nauwkeurigere diepteschattingen op in gebieden met extreme distorsie.

Kortom, Calibration Tokens bieden een elegante, schaalbare en efficiënte oplossing om de kracht van foundation modellen te ontgrendelen voor een veel breder scala aan camera-technologieën.