Resumen Técnico: RaysUp: Upsampling de Características Universal Ultra-ligero mediante Representación de Rayos Sensible a la Geometría

1. Planteamiento del Problema

Los Modelos de Visión Fundacionales (VFMs) preentrenados, como las familias DINO, CLIP y SigLIP, se han vuelto centrales en la visión por computadora moderna debido a sus poderosas representaciones semánticas y capacidades de generalización. Sin embargo, estos modelos suelen producir mapas de características de baja resolución debido a la parcelación (patchification) u operaciones de agrupación (pooling) agresivas. Esta limitación obstaculiza su efectividad en tareas de predicción densa que requieren un razonamiento de grano fino a nivel de píxel, como la segmentación semántica, la estimación de profundidad y la reconstrucción 3D.

Los enfoques de upsampling de características existentes enfrentan compromisos significativos:

• Interpolación Tradicional: Métodos como la interpolación bilineal son computacionalmente eficientes pero a menudo degradan la fidelidad semántica, lo que provoca el desenfoque de bordes y la pérdida de detalles finos.
• Upsampling Aprendido: Métodos recientes agnósticos a la tarea (por ejemplo, LiFT, FeatUp, LoftUp, JAFAR) mejoran el rendimiento, pero a menudo requieren el reentrenamiento para VFMs específicos o incurren en una pesada carga computacional durante la inferencia.
• Enfoques Universales: Aunque trabajos recientes como AnyUp intentan crear marcos de trabajo agnósticos al codificador, dependen de arquitecturas de red pesadas, lo que resulta en un alto recuento de parámetros y velocidades de inferencia lentas, limitando la escalabilidad y la eficiencia.

2. Metodología

Los autores proponen RaysUp, un marco de trabajo ultra-ligero, agnóstico a la tarea y agnóstico al VFM, que reconstruye mapas de características de alta resolución a resoluciones arbitrarias elevando la reconstrucción de características a un dominio de rayos sensible a la geometría. La arquitectura consta de cuatro componentes principales:

2.1 Codificador de Guía Espacialmente Desacoplado

Motivado por la observación de que los núcleos convolucionales estándar de $3 \times 3$ en los upsamplers existentes exhiben distribuciones de peso anisotrópicas (favoreciendo las esquinas sobre el centro), RaysUp introduce un codificador ligero que descompone la extracción de características en componentes direccionales ortogonales.

• Estructura: El codificador divide la generación de características de guía en cuatro ramas paralelas: una convolución de $1 \times 1$ (centro), $1 \times 3$ (horizontal), $3 \times 1$ (vertical) y una convolución dilatada de $2 \times 2$ (diagonal/esquinas).
• Eficiencia: Este diseño reduce la sobrecarga de parámetros en aproximadamente un 69.4% en comparación con las convoluciones estándar de $3 \times 3$, al tiempo que mejora la interpretabilidad direccional y el desacoplamiento estructural.
• Salida: Genera características de guía sensibles a la dirección ($F_g$) que capturan la semántica espacial multiescala de manera más efectiva que las diferencias de RGB crudas.

2.2 Mecanismo de Atención Cruzada de Cualquier Resolución

Para soportar resoluciones objetivo arbitrarias sin reentrenamiento, RaysUp emplea un mecanismo de atención cruzada desacoplado de la resolución.

• Consultas ($Q_g$): Generadas en la alta resolución objetivo ($H_{any} \times W_{any}$) mediante el pooling promedio adaptativo de las características de guía.
• Claves ($K_g$): Generadas en la baja resolución del backbone ($H_{lr} \times W_{lr}$) mediante el pooling promedio adaptativo.
• Valores ($V$): Tomados directamente de las características de baja resolución del VFM.
• Función: Esto permite que las consultas de alta resolución agreguen información de características de baja resolución semánticamente alineadas sin interpolación explícita, permitiendo una propagación de resolución cruzada flexible.

2.3 Codificación Posicional de Rayos (RayPE)

Para superar las limitaciones de los vecindarios 2D locales e inyectar priors geométricos 3D, RaysUp introduce RayPE, inspirado en los Campos de Radiancia Neurales (NeRF).

• Concepto: En lugar de depender de la proximidad euclidiana 2D, cada píxel se asocia con un rayo de cámara 3D definido por su origen ($o$) y dirección normalizada ($d$).
• Codificación: Los parámetros del rayo se codifican utilizando coordenadas de Plücker de 6D. Una codificación de fase armónica multibanda mapea estas coordenadas en un espacio rotacional de alta dimensión.
• Modulación: De manera similar a la Codificación Posicional Rotatoria (RoPE), RayPE aplica modulación rotacional a las características de consulta y clave basadas en la geometría del rayo 3D. Esto asegura que la agregación de características respete la consistencia angular y las estructuras subyacentes, evitando interacciones entre rayos geométricamente no relacionados.

2.4 Atención de Vecindario Sensible a la Geometría

El paso final de reconstrucción utiliza un operador de agregación bilateral aprendible.

• Mecanismo: En lugar de la atención global, cada consulta de alta resolución agrega información de un vecindario local $k \times k$ en el espacio de características de baja resolución.
• Dilatación: Para cerrar las brechas de resolución, el vecindario se define con factores de dilatación basados en la relación de upsampling.
• Beneficio: Esto asegura que la atención se realice entre rayos con orientaciones similares, preservando la consistencia geométrica mientras reduce la complejidad computacional de global $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ a local $O(H_{any}W_{any} \cdot k^2)$.

3. Contribuciones Clave

1. Marco de Trabajo RaysUp: Un marco de trabajo ultra-ligero (0.14M de parámetros), agnóstico a la tarea y agnóstico al VFM, capaz de realizar el upsampling de características del backbone a resoluciones arbitrarias.
2. Codificador de Guía Espacialmente Desacoplado: Un diseño de codificador novedoso que mejora el modelado anisotrópico y reduce los parámetros en un ~69% en comparación con las convoluciones estándar.
3. Codificación Posicional de Rayos (RayPE): Un método que inyecta priors geométricos 3D implícitos mediante coordenadas de rayo de Plücker de 6D, extendiendo el Upsampling Bilateral Conjunto (JBU) clásico hacia un proceso de reconstrucción sensible a la geometría que mitiga la deriva estructural y el desenfoque de bordes.
4. Eficiencia y Rendimiento: El marco alcanza un rendimiento de vanguardia en diversas tareas de predicción densa utilizando solo ~16% de los parámetros de la línea base líder (AnyUp) y entregando aproximadamente 7 veces más velocidad de inferencia.

4. Resultados Experimentales

Se realizaron experimentos extensos en diversos conjuntos de datos (COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS) y varios VFMs (DINOv2, DINOv3, SigLIP2, PE Spatial).

• Rendimiento Agnóstico a la Tarea: RaysUp logró el mejor o el segundo mejor rendimiento en la mayoría de las métricas en segmentación semántica, estimación de profundidad, estimación de normales de superficie, segmentación de objetos en video y segmentación de vocabulario abierto. Notablemente, mostró una consistencia geométrica superior en tareas de estimación de profundidad y normales.
• Generalización Agnóstica al VFM: Al ser probado en VFMs no vistos (incluyendo DINOv3 y SigLIP2) y diferentes escalas de modelos (ViT-S, ViT-M, ViT-L), RaysUp superó consistentemente a AnyUp, demostrando una generalización robusta sin necesidad de reentrenamiento.
• Eficiencia:
  • Parámetros: 0.14M (vs. 0.87M para AnyUp).
  • Velocidad de Inferencia: A una resolución de 224×224, RaysUp alcanza 55 FPS comparado con los 11 FPS de AnyUp.
  • Escalabilidad: RaysUp sigue siendo ejecutable en resoluciones extremas (2K×2K) donde otros métodos (LoftUp, JAFAR, AnyUp) encuentran errores de falta de memoria (OOM) o ralentizaciones significativas.
• Estudios de Ablación: Los experimentos confirmaron la necesidad del Codificador de Guía Espacialmente Desacoplado y de RayPE. Eliminar RayPE resultó en una caída significativa del rendimiento, validando la importancia de los priors geométricos 3D.

5. Significado y Reivindicaciones

El artículo afirma que RaysUp establece un nuevo estándar para el compromiso entre precisión y eficiencia en el upsampling universal de características. Al revisar el paradigma clásico del Upsampling Bilateral Conjunto y reformularlo con representaciones de rayos sensibles a la geometría, RaysUp logra equilibrar con éxito la alta fidelidad semántica, la consistencia geométrica y la eficiencia computacional.

Los autores posicionan a RaysUp como una solución práctica y escalable para los pipelines modernos de visión por computadora, permitiendo el uso de VFMs congelados o ajustados (fine-tuned) en tareas downstream que requieren una comprensión de alto nivel de píxeles y alta resolución sin la carga computacional de las redes de upsampling pesadas. El trabajo destaca que integrar priors geométricos 3D (mediante representaciones de rayos) en el upsampling de características 2D es un paso crítico para mejorar la fidelidad estructural y reducir los artefactos en las tareas de predicción densa.