Unified Camera Positional Encoding for Controlled Video Generation

Resumen Técnico: UCPE (Codificación Posicional Unificada de Cámara)

1. El Problema

Los modelos Transformer se han convertido en la base para la generación de video, la síntesis de nuevas vistas y los modelos del mundo para la conducción autónoma y la IA encarnada. Sin embargo, estos modelos requieren una comprensión precisa de la geometría de la cámara para anclar las observaciones visuales en un espacio 3D coherente.

Los métodos existentes de codificación de cámara presentan limitaciones críticas:

• Suposiciones de "Pinhole" (Ojo de Buey): La mayoría de los métodos asumen un modelo de proyección lineal simple (pinhole), ignorando las distorsiones no lineales y las proyecciones complejas (como las de lentes gran angular o ojo de pez) comunes en aplicaciones reales (conducción autónoma, drones, realidad virtual).
• Falta de Generalización: Los métodos de codificación absoluta (que usan coordenadas del mundo) o relativa (basadas en poses) a menudo fallan al generalizar entre diferentes tipos de cámaras, intrínsecas y perfiles de distorsión.
• Ambigüedad de Orientación: En la generación de video controlada por texto, las poses de la cámara suelen definirse solo en relación con el primer cuadro, dejando ambigua la orientación absoluta (especialmente el pitch y el roll), lo que impide controlar la dirección "arriba" del mundo (gravedad).

2. Metodología

Los autores proponen UCPE (Unified Camera Positional Encoding), un marco unificado que codifica la geometría completa de la cámara (poses 6-DoF, intrínsecas y distorsiones de lente) directamente en la atención de los Transformers. La metodología se basa en tres pilares:

A. Codificación de Rayos Relativos (Relative Ray Encoding)
En lugar de tratar la cámara como una entidad rígida o codificar parámetros absolutos, UCPE reformula la codificación desde una transformación "cámara-a-cámara" a una transformación "rayo-a-rayo".

• Concepto: Cada token de imagen se asocia con un rayo de visión específico (origen y dirección) en el espacio del mundo.
• Implementación: Se define un sistema de coordenadas local para cada rayo, anclado al centro de la cámara. Esto permite que el mecanismo de atención opere directamente en el espacio de los rayos.
• Ventaja: Esta representación es consistente geométricamente y capaz de manejar proyecciones no lineales y distorsiones espaciales variables (como en lentes gran angular), algo que los métodos anteriores (como Plücker o PRoPE) no logran.

B. Codificación de Orientación Absoluta (Absolute Orientation Encoding)
Para resolver la ambigüedad de la orientación global, se introduce un mapa de "Latitud-Arriba" (Lat-Up Map).

• Funcionamiento: Este mapa concatina el ángulo de latitud de cada rayo con un vector de dirección "arriba" (alineado con la gravedad).
• Propósito: Proporciona al modelo señales de orientación absoluta (pitch y roll) y pistas de apariencia (como la separación cielo-suelo), permitiendo un control preciso y repetible de la orientación inicial de la cámara.

C. Adaptador de Atención Espacial (Spatial Attention Adapter)
Para integrar UCPE en modelos de difusión preentrenados (como Wan) sin destruir los conocimientos previos:

• Se utiliza un adaptador ligero que inyecta la información de la cámara en las capas de atención auto-atención del Transformer.
• Eficiencia: El adaptador opera en paralelo con la atención original y utiliza proyecciones de tokens comprimidas (ej. 1/8 de la dimensión original), añadiendo menos del 1% de parámetros entrenables (aprox. 35.5M sobre un modelo base de 7.3B).
• Diseño: Mantiene los pesos originales congelados, inicializando las nuevas capas con pesos cero para no alterar la salida inicial del modelo.

3. Contribuciones Clave

1. Marco Unificado (UCPE): Un enfoque agnóstico al modelo de cámara que codifica poses, intrínsecas y distorsiones mediante una formulación geométrica consistente en el espacio de rayos.
2. Control de Orientación Absoluta: La introducción del mapa Lat-Up permite controlar explícitamente el pitch y el roll, eliminando la ambigüedad en la generación de video.
3. Eficiencia Paramétrica: Un método de inyección de atención que permite el control de cámara en modelos de difusión masivos con una sobrecarga de parámetros mínima (<1%).
4. Dataset de Evaluación: Construcción de un dataset a gran escala (~48k clips) sintetizado a partir de videos panorámicos 360°, cubriendo una amplia gama de lentes (pinhole, gran angular, ojo de pez), distorsiones y trayectorias de movimiento, diseñado específicamente para entrenar y evaluar la generación controlada por cámara.

4. Resultados Experimentales

Los autores evaluaron UCPE en tareas de generación de video texto-a-video (T2V) controlado por cámara:

• Comparación Cuantitativa:
  • UCPE supera a los métodos baselines (ReCamMaster, Wan CameraCtrl, CameraCtrl, AC3D) en métricas de control de pose relativa, orientación absoluta y control de lentes.
  • Logra errores significativamente menores en rotación, traslación y consistencia de movimiento de cámara.
  • Mantiene una alta fidelidad visual (FVD, FID, CLIP score) comparable o superior a los modelos preentrenados.
• Generalización:
  • El modelo demuestra una fuerte capacidad de generalización en el dataset RealEstate10K (sin fine-tuning adicional), superando a modelos que sí fueron entrenados en ese dataset específico.
  • Funciona correctamente con lentes no vistos durante el entrenamiento (como el modelo Brown-Conrady) simplemente cambiando la función de mapeo de rayos en la inferencia.
• Control de Distorsión:
  • A diferencia de los métodos anteriores que fallan al reproducir distorsiones de lentes, UCPE genera videos con distorsiones consistentes y realistas alineadas con los parámetros de entrada (xFoV y $\xi$).

5. Significado e Impacto

• Unificación de Geometría y Generación: UCPE cierra la brecha entre la física de las lentes reales (incluyendo distorsiones complejas) y los mecanismos de atención de los Transformers, permitiendo una generación de video físicamente fundamentada.
• Aplicaciones Prácticas: El método es crucial para aplicaciones que requieren precisión geométrica, como:
  • Modelos del Mundo: Para simulación de conducción autónoma y robótica.
  • IA Encarnada: Para agentes que navegan entornos 3D.
  • Creación de Contenido: Generación de videos cinematográficos con control preciso de la cámara (movimientos, tipos de lente y orientación).
• Escalabilidad: Al requerir menos del 1% de parámetros adicionales, UCPE ofrece una ruta eficiente para dotar de capacidades de control geométrico a modelos de difusión masivos sin necesidad de reentrenamiento completo.

En conclusión, UCPE representa un avance significativo hacia la generación de video 3D coherente y controlable, superando las limitaciones de las suposiciones de cámaras ideales y permitiendo una interacción precisa con la geometría del mundo real.