URoPE: Universal Relative Position Embedding across Geometric Spaces

Probleemstelling

Transformatoren zijn dominant geworden in computer vision-taken, maar het coderen van ruimtelijke relaties tussen tokens die uit verschillende perspectieven (camera's) of geometrische modaliteiten (2D-beelden vs. 3D-punten) komen, blijft een uitdaging.

• Beperking van bestaande methoden: Bestaande relatieve positie-embeddings (zoals Rotary Position Embedding of RoPE) zijn doorgaans beperkt tot één vast geometrisch vlak (bijv. een 1D-sequentie of een regelmatige 2D/3D-rooster). Ze kunnen de ruimtelijke relatie niet correct modelleren tussen pixels van twee verschillende camera's die dicht bij elkaar in de 3D-wereld liggen, maar ver uit elkaar in hun respectieve 2D-roosters.
• Huidige alternatieven: Methoden die camera-geometrie proberen te integreren (zoals Plücker-ray embeddings of matrixvermenigvuldiging) zijn vaak absoluut in plaats van relatief, afhankelijk van een globaal coördinatenstelsel, of ze splitsen inter-camera- en intra-camera-geometrie op een manier die geen interactie toestaat. Ze zijn vaak ook niet compatibel met efficiënte attention-kernels zoals FlashAttention.

Methodologie: URoPE

De auteurs stellen URoPE (Universal Relative Position Embedding) voor, een universele uitbreiding van RoPE die werkt over verschillende geometrische ruimtes (cross-view en cross-dimensional). De kernidee is het gebruik van projectieve geometrie om correspondenties direct in het beeldvlak van de query-camera uit te drukken.

Het proces verloopt als volgt:

1. Camera Rays als brug: Elke pixel in een bronbeeld wordt gemodelleerd als een lichtstraal (ray) die door het cameracentrum gaat.
2. Diepte-geankerd liften (Depth-Anchored Lifting): Omdat de werkelijke diepte onbekend is, worden langs elke camera-straal 3D-punten gesampled op een reeks vooraf gedefinieerde, vaste diepte-ankers ($D = \{d_h\}$).
3. Projectie: Deze gesamplede 3D-punten worden geprojecteerd naar het beeldvlak van de query-camera (de camera waarnaar gekeken wordt) met behulp van de relatieve camera-transformatie en intrinsieke parameters. Dit resulteert in geprojecteerde pixelcoördinaten in het query-beeld.
4. Toepassing van 2D RoPE: Op basis van deze geprojecteerde coördinaten wordt standaard 2D RoPE toegepast tussen de query-positie en de geprojecteerde key-positie.
   • Multi-head Attention: Om de diepte-ambiguïteit (een pixel correspondeert met een epipolaire lijn) op te lossen, worden verschillende attention-heads toegewezen aan verschillende diepte-ankers. Hierdoor dekt het multi-head mechanisme gezamenlijk correspondenties van dichtbij tot veraf.
   • Compatibiliteit: De methode splitst de kanalen per head horizontaal en verticaal, waardoor standaard 2D RoPE kan worden toegepast. Dit houdt URoPE volledig compatibel met bestaande, geoptimaliseerde attention-kernels (zoals FlashAttention) en vereist geen matrixvermenigvuldiging buiten de standaard Q/K/V-bewerkingen.

Belangrijkste Bijdragen

1. Universaliteit: URoPE is een plug-in positie-codering die werkt voor diverse taken zonder taakspecifieke aanpassingen, inclusief 2D-2D (novel view synthesis), 2D-3D (object detection) en temporele scenario's.
2. Parameter-vrij en Intrinsic-aware: De methode introduceert geen leerbare parameters en is bewust van camera-intrinsieken (brandpuntsafstand, etc.).
3. Invariantie: De embedding is invariant ten opzichte van het gekozen globale coördinatenstelsel (SE(3)-invariantie).
4. Efficiëntie: In tegenstelling tot methoden die complexe attention-masks vereisen, past URoPE de geometrische informatie toe via de rotatiematrix van RoPE, wat de efficiëntie behoudt.

Resultaten

URoPE werd geëvalueerd op een breed scala aan benchmarks en toonde consistente prestatieverbeteringen ten opzichte van state-of-the-art baselines:

• Novel View Synthesis (NVS): Op de Objaverse en RealEstate10k datasets verbeterde URoPE de PSNR, SSIM en LPIPS metingen aanzienlijk ten opzichte van Plücker-ray embeddings en andere RoPE-varianten. Het model was beter in het renderen van fijne details en kon omgaan met variaties in camera-intrinsieken.
• 3D Object Detection & Tracking: Op de nuScenes dataset verbeterde URoPE zowel de detectie (NDS en mAP) als het tracking (AMOTA) in zowel single-frame als multi-frame scenario's. Het hielp bij het identificeren van kleine objecten en verbeterde de coherentie van objecten over tijd.
• Stereo Depth Estimation: Op datasets als RGBD, Scenes11 en SUN3D leverde URoPE consistente verbeteringen op voor diepteberekening, zelfs in eenvoudige stereo-configuraties.
• Robuustheid: Het model bleek zeer robuust te zijn bij out-of-distribution scenario's, zoals het gebruik van andere brandpuntsafstanden of een ander aantal context-views dan tijdens het training.
• Schaalbaarheid: Experimenten met een 50x grotere modelgrootte bevestigden dat URoPE schaalbaar is en prestatiewinst blijft bieden bij grotere rekenkracht.

Significantie

URoPE lost een fundamenteel probleem op in de toepassing van transformatoren op geometrische taken: het ontbreken van een uniforme manier om relatieve posities te coderen over verschillende camera's en dimensies.

• Het vervangt complexe, vaak parametrische of absolute benaderingen door een elegante, geometrisch onderbouwde oplossing die direct in de attention-mechanisme is geïntegreerd.
• De methode demonstreert dat expliciete projectieve geometrie (het "liften" en "projecteren" van punten) superieur is aan het werken met abstracte ray-coördinaten voor cross-view redenering.
• Het biedt een nieuwe standaard voor positionele encoding in multi-view en 3D-vision taken, met name omdat het naadloos integreert met de huidige efficiënte transformer-architecturen.

Een huidige beperking is de afhankelijkheid van bekende camera-parameters; toekomstig werk richt zich op het uitbreiden naar niet-gekalibreerde instellingen.