URoPE: Universal Relative Position Embedding across Geometric Spaces

1. El Problema

Los Transformers se han convertido en la arquitectura dominante para tareas de visión por computadora, incluyendo percepción multi-vista y generación. Sin embargo, un desafío crítico es cómo codificar las relaciones espaciales entre tokens que provienen de diferentes puntos de vista, sistemas de coordenadas o incluso modalidades geométricas distintas (imágenes 2D y puntos 3D).

• Limitaciones actuales: Las formulaciones existentes de Position Embedding (como RoPE estándar) están limitadas a espacios geométricos fijos (secuencias 1D o rejillas 2D/3D regulares).
• El conflicto: En tareas geométricas, píxeles de dos cámaras diferentes pueden estar cerca en el espacio 3D pero muy lejos en sus respectivas rejillas 2D. Los métodos recientes que incorporan geometría de cámara a menudo dependen de multiplicaciones matriciales complejas o codificaciones absolutas que carecen de las propiedades de sesgo relativo necesarias para la generalización, o requieren un sistema de coordenadas global definido.
• La necesidad: Se requiere un mecanismo universal para modelar la posición relativa a través de vistas de cámara y espacios geométricos más amplios sin depender de parámetros aprendidos específicos de la tarea.

2. Metodología: URoPE

Los autores proponen URoPE (Universal Relative Position Embedding), una extensión universal de la Rotary Position Embedding (RoPE) que utiliza geometría proyectiva explícita para expresar correspondencias entre vistas directamente en el plano de la imagen de consulta (query).

El proceso se divide en tres pasos clave:

1. Puente entre 2D y 3D (Rayos de Cámara):
   Cada píxel de una imagen se trata como un rayo de luz que pasa por el centro de la cámara. URoPE utiliza estos rayos como una representación absoluta natural que conecta el plano de la imagen 2D con el espacio 3D.

2. Levantamiento y Proyección (Depth-Anchored Lifting & Projection):

   • Levantamiento: Dado que la profundidad real es desconocida en la mayoría de los casos, URoPE introduce un conjunto de anclas de profundidad fijas ($D = \{d_h\}$). Para cada token de clave (key) en una vista de origen, el método "levanta" el píxel a lo largo de su rayo de cámara en múltiples puntos 3D correspondientes a estas profundidades fijas.
   • Proyección: Cada punto 3D levantado se proyecta en el plano de la imagen de la cámara de consulta (query) utilizando la transformación relativa de las cámaras y sus parámetros intrínsecos. Esto genera un conjunto de coordenadas de píxeles proyectadas en la imagen de consulta.
   • Manejo de la ambigüedad: Dado que un píxel de origen corresponde a una línea epipolar en la vista de consulta, el uso de múltiples anclas de profundidad permite cubrir hipótesis de profundidad cercanas y lejanas.

3. Atención Multi-cabezal Anclada a Profundidad:

   • Se asignan diferentes anclas de profundidad a diferentes cabezas de atención (o grupos de cabezas). Cada cabeza codifica una hipótesis de profundidad específica.
   • Se aplica RoPE 2D estándar entre la ubicación de la consulta y la ubicación de la clave proyectada en el plano de la imagen.
   • Compatibilidad: Al operar puramente a través de RoPE en el plano de la imagen, URoPE es totalmente compatible con kernels de atención optimizados como FlashAttention, sin necesidad de multiplicaciones matriciales adicionales ni cambios en la estructura Q/K/V estándar.
   • Invarianza: El método es invariante a transformaciones rígidas del sistema de coordenadas global y no introduce parámetros aprendidos adicionales.

3. Contribuciones Clave

• Universalidad Geométrica: URoPE funciona de manera unificada en escenarios 2D-2D (visión multi-vista), 2D-3D (detección de objetos) y temporales, sin modificaciones específicas para cada tarea.
• Sin Parámetros (Parameter-Free): A diferencia de métodos que aprenden profundidades o requieren módulos adicionales, URoPE utiliza anclas de profundidad fijas predefinidas, lo que simplifica la optimización y evita errores de predicción de profundidad inexacta.
• Conocimiento de Intrínsecos: Es consciente de los parámetros intrínsecos de la cámara, lo que permite una codificación precisa de las relaciones espaciales.
• Compatibilidad con Kernels Eficientes: Mantiene la eficiencia computacional de los Transformers modernos al no romper la estructura de atención estándar.

4. Resultados Experimentales

Los autores evaluaron URoPE como un "plug-in" en arquitecturas Transformer para tres tareas diversas:

1. Síntesis de Nuevas Vistas (Novel View Synthesis):

   • Datasets: Objaverse y RealEstate10k.
   • Resultados: URoPE superó consistentemente a los baselines (Plücker ray, 6D RoPE, P-RoPE, RayRoPE) en métricas PSNR, SSIM y LPIPS. Demostró una mejor capacidad para renderizar detalles finos y manejar cambios en los parámetros intrínsecos de la cámara.

2. Detección y Seguimiento de Objetos 3D:

   • Dataset: nuScenes.
   • Resultados: Integrado en modelos como PETR y StreamPETR, URoPE mejoró tanto la detección (NDS, mAP) como el seguimiento (AMOTA). Ayudó a identificar objetos pequeños y mejoró la robustez en secuencias de múltiples frames con movimientos rápidos de la cámara.

3. Estimación de Profundidad Estéreo:

   • Datasets: RGBD, Scenes11, SUN3D.
   • Resultados: Aunque la tarea es más simple (solo dos vistas), URoPE logró mejoras consistentes sobre el método base (UniMatch) y sobre P-RoPE, demostrando su versatilidad incluso en configuraciones de visión estéreo.

Análisis Adicional:

• Escalabilidad: Los experimentos de escalado (50x más recursos computacionales) mostraron que URoPE mantiene sus ventajas de rendimiento.
• Robustez: El modelo generaliza bien a escenarios fuera de distribución (diferentes focales o número de vistas) debido a su uso de proyección epipolar explícita.
• Colapso de Cabezas: El análisis de entropía de atención confirmó que la asignación de anclas de profundidad por cabeza no provoca un colapso donde solo unas pocas cabezas dominen la atención.

5. Significado e Impacto

URoPE representa un avance significativo al unificar la codificación de posición relativa en espacios geométricos heterogéneos. Al reemplazar la necesidad de módulos complejos de proyección o predicción de profundidad aprendida con una proyección geométrica explícita y anclas fijas, ofrece una solución elegante, eficiente y generalizable.

Su capacidad para mejorar el razonamiento geométrico en Transformers sin sacrificar la eficiencia computacional lo posiciona como un componente fundamental para futuras arquitecturas en visión multi-vista, robótica y comprensión de escenas 3D. La principal limitación actual es la dependencia de parámetros de cámara conocidos, lo que sugiere una dirección futura para extenderlo a entornos no calibrados.