FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception

Probleemstelling

Visuele basismodellen (Vision Foundation Models - VFMs) en Bird's Eye View (BEV)-representaties hebben de visuele perceptie voor autonoom rijden aanzienlijk verbeterd. Echter, deze systemen zijn fundamenteel ontworpen voor pinhole-camera's (lineaire projectie), waarbij ruimtelijke relaties worden gemodelleerd op een uniform Cartesisch rooster.

Fisheye-camera's, die standaard worden ingezet in productievoertuigen voor een 360°-omgeving (vaak met een gezichtsveld >190°), vertonen ernstige radiale vervorming. Dit leidt tot twee hoofdproblemen:

1. Geometrische inconsistentie: Een vaste pixel-offset in het midden van de afbeelding komt overeen met een veel kleiner hoekig bereik dan dezelfde offset aan de rand. Bestaande positionele encoding-methoden (die pixelafstanden coderen) geven daarom een verkeerde weergave van de werkelijke ruimtelijke relaties onder radiale vervorming.
2. Schaarste aan data: Er is een gebrek aan grote datasets met annotaties voor fisheye-camera's. Het opnieuw trainen van basismodellen vanaf nul is daarom onpraktisch. Bestaande methoden vertrouwen vaak op ImageNet-getrainde ResNet-achtergronden, wat ten koste gaat van de robuustheid en generalisatievermogen van moderne VFMs.

Methodologie: FishRoPE

De auteurs introduceren FishRoPE, een lichtgewicht raamwerk dat bestaande, bevroren VFMs aanpast aan de geometrie van fisheye-camera's zonder de noodzaak van task-specifiek voorvermijden. De architectuur bestaat uit drie kerncomponenten:

1. Backbone met LoRA-adaptatie:

   • Er wordt gebruikgemaakt van een bevroren DINOv2 (ViT-B/14) backbone, getraind op een grote, gevarieerde dataset. Dit levert robuuste, zelf-supervisie-gebaseerde features die goed generaliseren over domeinverschuivingen.
   • Om de backbone aan te passen aan de fisheye-taak met minimale parameters, worden Low-Rank Adaptation (LoRA) modules geïntroduceerd in de query- en value-projecties van de self-attention lagen. Dit voegt slechts ongeveer 3 miljoen trainabele parameters toe aan de 86 miljoen parameters van de bevroren backbone.

2. Fisheye Rotary Position Embedding (FishRoPE):

   • Dit is de kerninnovatie. In plaats van pixelcoördinaten $(u, v)$ te gebruiken, worden de ruimtelijke posities omgezet naar sferische coördinaten $(\theta, \phi)$ (incidentiehoek en azimut) via de inverse Kannala-Brandt (KB) projectie.
   • FishRoPE past de standaard Rotary Position Embedding (RoPE) toe op deze hoekelijke coördinaten. De attention-mechanismen (zowel self-attention in de encoder als cross-attention in de BEV-lifting) opereren nu op hoekelijke scheiding in plaats van pixelafstand.
   • Dit behoudt het relatieve-positie-eigenschap van RoPE, maar in een geometrisch betekenisvolle ruimte. Het lost de ambiguïteit op aan de randen van de afbeelding waar pixels sterk gecomprimeerd zijn.
   • De methode is architectonisch onafhankelijk en degradeert elegant naar standaard 2D RoPE voor pinhole-camera's (in het paraxiale regime).

3. Taak-specifieke Heads:

   • 2D Detectie: Een CenterNet-achtige head voor objectdetectie.
   • BEV Segmentatie: Een module die features direct projecteert naar een BEV-rooster via de KB-camera-model, zonder tussenliggende rectificatie. Cross-attention wordt gebruikt waarbij zowel de BEV-query's als de image-keys FishRoPE gebruiken voor hun respectievelijke hoekelijke posities.

Kernbijdragen

• Geometrische Adapter: FishRoPE is de eerste methode die een bevroren VFM (DINOv2) combineert met een geometrie-bewuste positionele encoding specifiek ontworpen voor fisheye-projecties.
• Projectieve RoPE: Het introduceert een variant van RoPE die werkt in het sferische coördinatenstelsel van de lens, waardoor cross-attention correct werkt onder niet-lineaire vervorming.
• Efficiëntie: Het raamwerk is zeer efficiënt (beperkt tot ~3M extra parameters) en vereist geen volledige hertraining van de backbone.
• Generaliteit: Het is niet gebonden aan een specifieke architectuur en kan worden toegepast op elke camera met een bekende projectiemodel.

Resultaten

De methode is geëvalueerd op twee benchmarks en behaalde state-of-the-art resultaten:

1. WoodScape (2D Object Detectie):

   • FishRoPE bereikte een mAP van 54,3% (54,2% in tabel, 54,3% in abstract).
   • Dit is een significante verbetering ten opzichte van bestaande methoden zoals FisheyeYOLO (44,65%) en FisheyeDetNet (49,5%).
   • Zelfs met een ResNet-18 backbone leverde FishRoPE (51,4%) betere resultaten op dan de oorspronkelijke baselines.

2. SynWoodScapes (BEV Segmentatie):

   • FishRoPE bereikte een mIoU van 65,1%.
   • Dit overtreft de recente FishBEV-methode (64,22%), die weliswaar een DINOv2-L backbone gebruikte, maar nog steeds standaard 2D positionele encoding hanteerde. FishRoPE behaalde dit resultaat met een kleinere backbone (ViT-B vs ViT-L).

Ablatie Studies:

• Het gebruik van FishRoPE $(\theta, \phi)$ presteerde consistent beter dan leren absolute encoding, sinusoidale encoding of standaard 2D Axiale RoPE.
• De combinatie van DINOv2 en FishRoPE bleek superieur aan het gebruik van alleen een betere backbone of alleen een betere encoding.

Betekenis en Conclusie

FishRoPE lost een fundamentele kloof op in de perceptie voor autonoom rijden: het maakt het mogelijk om de kracht van moderne Vision Foundation Models (die zijn getraind op perspectiefbeelden) direct toe te passen op fisheye-camera's zonder de geometrische inconsistenties te negeren.

In plaats van de invoer te rectificeren (wat informatie verliest en artefacten introduceert), past FishRoPE de interne representatie van het model aan aan de werkelijke lensgeometrie. Dit resulteert in een robuustere perceptie, vooral in de perifere gebieden van de afbeelding waar objecten vaak worden gemist door bestaande systemen. De methode biedt een schaalbare route voor het integreren van omnidirectionele perceptie in bestaande AI-pipelines voor autonome voertuigen.