Technische Samenvatting: RayTun3R

Probleemstelling

Recente 3D-fundamentele modellen (bijv. DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3) blinken uit in feed-forward diepte- en pose-schatting op standaard pinhole-beelden. Echter, hun prestaties verslechteren aanzienlijk wanneer ze worden toegepast op fisheye- of groothoek-inputs. De auteurs identificeren dat dit falen voortkomt uit een pinhole-camera-bias die inherent is aan de positionele encodings van deze vooraf getrainde modellen.

Hoewel standaard methoden voor parameter-efficiënte fijnafstemming (PEFT), zoals LoRA of adapterlagen, generieke feature-transformaties wijzigen, pakken zij de specifieke geometrische mismatch niet aan: pinhole- en fisheye-camera's kennen verschillende straalgeometrieën toe aan dezelfde beeldrasterlocaties. Bestaande oplossingen, zoals het opdelen van fisheye-beelden in meerdere virtuele pinhole-crops (bijv. Center-PH, Multi-PH), introduceren computationele overhead en vereisen complexe voorspellingsfusie zonder de fisheye-geometrie direct te modelleren.

Methodologie: RayTun3R

RayTun3R is een lichtgewicht, online camera-adaptatie-aanpak die is ontworpen om de pinhole-bias in bevroren 3D-fundamentele modellen te corrigeren zonder de backbone opnieuw te trainen. De kernhypothese is dat het aanpassen van de componenten die de link leggen tussen tokenlocaties en camerastralen effectiever is dan het aanpassen van generieke features.

Belangrijkste Componenten

1. Bevroren Backbone: Het vooraf getrainde 3D-model (gewichten $\theta$) blijft volledig onveranderd.
2. Lichtgewicht Adapter: Alleen specifieke componenten die gekoppeld zijn aan tokenpositie en camerageometrie worden bijgewerkt. Het totaal aantal trainbare parameters is minimaal (10.752 voor DA3-Small).
   • Correctie van Positionele Embedding: De auteurs parametrizere de correcties voor absolute positionele embeddings ($P_A$) in poolcoördinaten (straal $\rho$ en hoek $\theta$) ten opzichte van het hoofdpunt. Deze zijn geïmplementeerd als leerbare radiale en angulaire lookup-tabellen.
   • Rotary Positional Encoding (RoPE) Correctie: Voor modellen die RoPE gebruiken, wordt een leerbare radiale correctie toegepast op de roterende hoeken.
   • Parameter-vrije Correcties:
     • Voorspellings-grid Coördinaten: Vervangt reguliere grid-coördinaten door camera-bewuste coördinaten verkregen door de fisheye-gridlocaties te ontdistorderen.
     • Patch Tokenisatie: Patches buiten de geldige fisheye-lens worden vervangen door de gemiddelde geldige token, en patches worden lokaal ontdistorderd vóór tokenisatie om pinhole-crops te benaderen.

Trainingsstrategie

De adapter wordt online getraind op een kort temporeel segment van fisheye-frames met behulp van zelfgesuperviseerde geometrische verliezen, zonder dat er grondwaarheid (ground-truth) voor diepte of pose nodig is:

• Reprojectie Verlies ($L_{reproj}$): Dwingt consistentie af tussen voorspelde 3D-punten en correspondenties van een kant-en-klare matcher (UFM).
• Pose Regularisatie ($L_{pose}$): Gebruikt een vaste relatieve pose-schatting (van MAGSAC++) als een pseudo-label om de vroege optimalisatie te stabiliseren.
• Smoothness Priors: Omvat rand-bewuste diepte-smoothness en L2/Total Variation regularisatie om ervoor te zorgen dat de positionele correcties klein en vloeiend blijven ten opzichte van de vooraf getrainde tabel.

Belangrijkste Bijdragen

1. Analyse van Pinhole-bias: De auteurs demonstreren dat de lokale Jacobiaan van vooraf getrainde positionele embeddings de constante geometrie van een pinhole-camera volgt. Ze tonen aan dat na adaptatie deze Jacobiaan straal-afhankelijk wordt, wat aansluit bij de fisheye-geometrie.
2. Lichtgewicht Adapter Ontwerp: Introductie van RayTun3R, dat alleen de positionele componenten (absoluut en roterend) aanpast terwijl de backbone bevroren blijft. Deze aanpak gebruikt $\sim14\times$ minder trainbare parameters dan LoRA en voegt verwaarloosbare inferentie-overhead toe.
3. Empirische Validatie: De methode wordt gevalideerd over diverse fisheye-datasets (FOV 110°–200°) en drie verschillende bevroren backbones (Depth Anything 3, VGGT, $\pi^3$).

Resultaten

Experimenten op vijf datasets (ETH3D, KITKI-360, TUM-VI, ScanNet++, FIORD) laten zien dat RayTun3R consequent beter presteert dan de baselines:

• Pose Nauwkeurigheid: RayTun3R vermindert de rotatiefout met 2–12$\times$ vergeleken met het niet-geadapteerde model en presteert significant beter dan LoRA en kalibratie-tokens (CalTok). Bijvoorbeeld, op KITKI-360 bereikt het een rotatiefout van 0,84° vergeleken met 1,69° (Vanilla) en 1,37° (LoRA).
• Diepte Nauwkeurigheid: Hoewel projectie-gebaseerde methoden (Center-PH) soms concurrerende diepte opleveren bij gematigde FOV's door de trainingsdistributie na te bootsen, bereikt RayTun3R een concurrerende dieptenauwkeurigheid terwijl het het volledige fisheye gezichtsveld benut.
• Efficiëntie: In tegen tegenstelling tot Multi-PH, dat een $\sim300\%$ hogere inferentiekosten met zich meebrengt door meerdere views te verwerken, behoudt RayTun3R de oorspronkelijke inferentiesnelheid ($\sim100$ms/frame) met nul overhead. Het gebruikt slechts 10,8K trainbare parameters vergeleken met 147,5K voor LoRA.

Betekenis en Claims

Het artikel claimt dat het falen van 3D-fundamentele modellen op fisheye-beelden fundamenteel een mismatch is in de positionele representatie in plaats van een gebrek aan feature-capaciteit. Door de camera-afhankelijke mapping tussen beeld-tokens en kijkstralen te isoleren en te corrigeren, stelt RayTun3R deze modellen in staat om efficiënt te generaliseren naar groothoek-inputs.

De auteurs positioneren dit werk als een oplossing die de computationele kosten van multi-view fusie en de architecturale wijzigingen die nodig zijn voor camera-bewuste training vermijdt. Ze benadrukken dat hun methode "parameter-efficiënt" en "runtime-efficiënt" is, wat het geschikt maakt voor online adaptatie-scenario's.

Beperkingen erkend door de auteurs

• Camera-specifiteit: De correctie is cameraspecifiek; een ander fisheye-model of een andere distortieprofiel vereist her-adaptatie.
• Distortie-aannames: De methode gaat uit van een hoofdpunt (principal point) en voornamelijk radiale distortie, en dekt niet expliciet sterke tangentiële of niet-radiale optica.
• Kalibratie Afhankelijkheid: Het vereist bekende cameraparameters (hoewel voorspelde kalibratie levensvatbaar is gebleken).
• Bewegingseisen: De zelfgesuperviseerde training vereist voldoende beweging tussen frames; degeneratieve beweging kan de beperkingen verzwakken.
• Scope: Het huidige werk richt zich op fisheye-beelden, waarbij panoramische/equirectangulaire inputs zijn overgelaten voor toekomstig werk.