FishRoPE: Projective Rotary Position Embeddings for Omnidirectional Visual Perception

1. El Problema

Los modelos de visión fundamentales (VFMs) y las representaciones de Vista Aérea (Bird's Eye View - BEV) han avanzado significativamente la percepción visual, pero su diseño asume una geometría de cámara pinhole (perspectiva rectilínea). Esto presenta dos barreras principales para el uso de cámaras fisheye, que son estándar en vehículos autónomos por su cobertura de 360°:

• Inconsistencia Geométrica: Las cámaras fisheye tienen una distorsión radial severa. En estas lentes, un desplazamiento de píxeles fijo cerca del centro de la imagen corresponde a un ángulo mucho menor que el mismo desplazamiento en la periferia. Los encodings de posición estándar (basados en coordenadas cartesianas o distancias de píxeles) fallan al representar estas relaciones espaciales reales, corrompiendo los mecanismos de atención (self-attention y cross-attention).
• Escasez de Datos: La falta de anotaciones a gran escala para cámaras fisheye hace que reentrenar modelos fundamentales desde cero sea impráctico. Los métodos existentes suelen depender de backbones preentrenados en ImageNet (como ResNet), que no aprovechan las representaciones robustas y generalizables de los VFMs modernos.

2. Metodología: FishRoPE

El artículo propone FishRoPE, un marco ligero diseñado para adaptar modelos de visión congelados a la geometría de las lentes fisheye sin necesidad de preentrenamiento específico para la tarea. Se compone de tres pilares:

A. Backbone de Visión Congelado con Adaptación LoRA

• Utiliza un DINOv2 (ViT-B/14) congelado como extractor de características. DINOv2 ofrece características auto-supervisadas robustas ante cambios de dominio y distorsión.
• Para adaptar este modelo a tareas específicas de fisheye con mínimo costo computacional, se inyectan módulos de Low-Rank Adaptation (LoRA) en las proyecciones de consulta (query) y valor (value) de las capas de atención. Esto añade solo ~3 millones de parámetros entrenables sobre los 86 millones del modelo base, evitando el olvido catastrófico.

B. FishRoPE (Fisheye Rotary Position Embedding)

Esta es la contribución central. En lugar de usar coordenadas cartesianas $(x, y)$, FishRoPE reparametriza los embeddings de posición en el sistema de coordenadas esféricas $(\theta, \phi)$ de la lente fisheye:

• Proyección Inversa: Se utiliza la proyección inversa del modelo Kannala-Brandt para convertir las coordenadas de píxeles $(u, v)$ en ángulos de incidencia ($\theta$) y azimutal ($\phi$).
• Mecanismo de Rotación: Se aplica una variante de RoPE (Rotary Position Embedding) donde las matrices de rotación operan sobre los vectores de consulta y clave basándose en la separación angular relativa ($\Delta\theta, \Delta\phi$) en lugar de la distancia en píxeles.
• Propiedades Clave:
  • Desambiguación Periférica: Resuelve la ambigüedad espacial donde muchos píxeles representan un pequeño ángulo (centro) y pocos píxeles representan un gran ángulo (periferia).
  • Invariancia Relativa: Mantiene la propiedad de que la atención depende de la posición relativa angular, no absoluta.
  • Compatibilidad: En el régimen paraxial (cerca del centro óptico), degenera suavemente a la formulación estándar de RoPE 2D.

C. Adaptación a Tareas Específicas

• Detección 2D: Utiliza una cabeza de detección libre de anclas (CenterNet) que recibe las características enriquecidas por FishRoPE.
• Segmentación BEV: Introduce un módulo de transformación de vista que proyecta las características de la imagen a una cuadrícula de ocupación en el suelo utilizando directamente el modelo de cámara Kannala-Brandt, evitando la rectificación intermedia. La atención cruzada entre las consultas BEV y las claves de imagen se realiza en el espacio angular.

3. Contribuciones Clave

1. Adaptación Geométrica de VFMs: Es el primer trabajo que combina un backbone DINOv2 congelado con adaptadores LoRA y un encoding de posición específico para la geometría de fisheye, superando la dependencia de ResNet.
2. FishRoPE: Un nuevo mecanismo de embedding de posición que opera en coordenadas esféricas, permitiendo que los mecanismos de atención (tanto auto-atención como atención cruzada en BEV) entiendan la verdadera relación espacial bajo distorsión radial.
3. Eficiencia y Generalidad: El marco es agnóstico a la arquitectura, añade una sobrecarga computacional despreciable y funciona tanto para detección 2D como para segmentación BEV.

4. Resultados Experimentales

El método se evaluó en dos benchmarks estándar de cámaras fisheye:

• Detección 2D (WoodScape):
  • FishRoPE logró un 54.3 mAP (mAP@0.5), superando a los state-of-the-art anteriores como FisheyeYOLO (44.65 mAP) y FisheyeDetNet (49.5 mAP).
  • Incluso usando un backbone ResNet-18 con FishRoPE, se superó a los métodos basados en ResNet sin el encoding especial.
• Segmentación BEV (SynWoodScapes):
  • Alcanzó un 65.1 mIoU, superando a FishBEV (64.22 mIoU), a pesar de que FishBEV utilizaba un backbone ViT-L más grande, mientras que FishRoPE usó ViT-B.
• Estudios de Ablación:
  • Se demostró que FishRoPE supera consistentemente a los encodings absolutos aprendidos, sinusoidales y al RoPE axial 2D estándar.
  • El uso de coordenadas esféricas completas $(\theta, \phi)$ fue ligeramente superior al uso solo de $\theta$, confirmando la importancia de la relación azimutal.

5. Significado e Impacto

FishRoPE representa un cambio de paradigma en la percepción de vehículos autónomos con cámaras de gran angular. En lugar de intentar "rectificar" las imágenes (lo que pierde información y resolución en los bordes) o diseñar arquitecturas completamente nuevas, FishRoPE adapta la geometría interna de los modelos de visión más avanzados existentes.

Esto permite:

• Aprovechar las potentes representaciones de los modelos fundamentales (VFMs) en entornos de conducción real con cámaras fisheye.
• Resolver la inconsistencia geométrica inherente a la proyección de lentes de gran angular sin necesidad de grandes cantidades de datos etiquetados.
• Establecer un nuevo estándar para la percepción omnidireccional, siendo aplicable a cualquier cámara con un modelo de proyección conocido, incluyendo lentes catadióptricas y de 360°.