🤖 AI

CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation

El artículo propone CRePE, un método novedoso de codificación posicional que aprovecha las expectativas de rayos curvos y un adaptador de atención geométrica para habilitar un control de cámara unificado y estable y la condicionamiento de geometría externa en la generación de video, abordando eficazmente las limitaciones de las codificaciones basadas en agujas de alfiler existentes para lentes gran angular y ojo de pez.

Autores originales: Seonghyun Jin, Youngmin Kim, Sunwoo Park, Jong Chul Ye

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seonghyun Jin, Youngmin Kim, Sunwoo Park, Jong Chul Ye

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un artista robot cómo pintar una escena de video en movimiento. Quieres decirle al robot exactamente cómo debe moverse la cámara (girar a la izquierda, hacer zoom, rotar) y qué tipo de "lente" usar (como una cámara estándar, un lente gran angular que estira los bordes o un lente ojo de pez que hace que todo parezca una burbuja).

El problema con los artistas robots anteriores es que solo entendían la dirección hacia la que miraba la cámara, pero no qué tan lejos estaban las cosas en esa dirección. Es como darle a alguien una brújula que le dice "Norte", pero no le indica si una montaña está a 1 milla o a 100 millas de distancia. Cuando la cámara se mueve, el robot se confunde sobre dónde deben estar los objetos, especialmente con lentes extraños como el ojo de pez que doblan el mundo.

Este artículo presenta una nueva herramienta llamada CRePE (Codificación Posicional de Expectativa de Rayos Curvos) para solucionar esto. Así es como funciona, usando analogías simples:

1. La "linterna difusa" vs. El "puntero láser"

Los métodos antiguos actuaban como un puntero láser. Dibujaban una línea recta desde la cámara hasta un punto específico en la imagen y decían: "Este píxel está justo aquí". Esto funciona bastante bien para cámaras normales, pero falla con lentes gran angular o ojo de pez porque esos lentes doblan la luz como un espejo de casa de la locura. La línea recta no coincide con la realidad curvada.

CRePE actúa como una linterna difusa. En lugar de decir: "Este píxel está exactamente en el punto X", dice: "Este píxel está en algún lugar a lo largo de esta trayectoria curva, probablemente entre estas distancias". Crea una "nube de probabilidad" de dónde podría estar el objeto a lo largo de la línea de visión. Esto permite que el robot entienda que, con un lente ojo de pez, el camino hacia un objeto no es una línea recta; es una curva.

2. El "GPS inteligente" para los tokens de video

En la generación de video con IA, la imagen se divide en pequeñas piezas de rompecabezas llamadas "tokens".

La vieja forma: El robot sabía hacia qué dirección miraba cada pieza del rompecabezas, pero no qué tan profunda estaba en la escena.
La forma CRePE: CRePE le da a cada pieza del rompecabezas una etiqueta de "GPS inteligente". Predice una distancia y un rango de incertidumbre para esa pieza. Le dice al robot: "Esta pieza de la calle probablemente está a 5 metros de distancia, más o menos 1 metro".

3. La estrategia del "gerente de medio nivel"

El artículo probó dónde colocar este nuevo "GPS inteligente" dentro del cerebro del robot (que es una red neuronal masiva).

Descubrieron que colocarlo al principio o al final del proceso no funcionaba bien.
El punto dulce: Descubrieron que las capas intermedias del cerebro son el mejor lugar para esta información. Es como tener un gerente de medio nivel que conoce los detalles del proyecto (la geometría) y puede organizar a los trabajadores (los tokens) perfectamente antes de que se termine el producto final.

4. Las "ruedas de entrenamiento" (Pseudo-supervisión)

Para enseñarle al robot esta nueva habilidad, los investigadores utilizaron un sistema de "ruedas de entrenamiento". Usaron una IA separada y preexistente (un "modelo base de geometría") para adivinar las distancias en los videos de entrenamiento.

No obligaron al robot a copiar estas suposiciones perfectamente.
En cambio, usaron las suposiciones como una red de seguridad. Si la suposición del robot era terriblemente incorrecta, la red de seguridad lo empujaba de vuelta hacia la realidad. Si la suposición de la red de seguridad era mala (como mirar un cielo borroso), se le permitía al robot confiar en su propio juicio.

5. El resultado: Mejores películas con lentes curvados

Cuando probaron CRePE:

Mejor control de cámara: Los videos siguieron los movimientos de cámara solicitados con mucha más precisión, especialmente con lentes gran angular y ojo de pez.
Mejor geometría: Los objetos en el video se mantuvieron en el lugar correcto mientras la cámara se movía, sin distorsionarse ni flotar de manera extraña.
Característica adicional: Como el robot ahora entiende tan bien la "distancia", realmente puedes intercambiar un mapa de profundidad de un video diferente. Esto te permite tomar el movimiento de un video y la forma del mundo de otro, creando nuevas escenas que no existían antes.

En resumen:
CRePE es una nueva forma de enseñar a los generadores de video de IA a entender la profundidad y los lentes curvos. En lugar de solo saber hacia dónde mirar, la IA ahora sabe qué tan lejos están las cosas, lo que le permite crear videos suaves y realistas incluso cuando se utilizan lentes de cámara locos y distorsionados.

Resumen Técnico: CRePE para Generación de Video Controlada por Cámara Unificada

Declaración del Problema

La generación de video condicionada por cámara requiere que los modelos sinteticen videos que se adhieran a trayectorias de cámara y configuraciones de lentes específicas. Aunque los enfoques recientes han avanzado hacia la codificación posicional a nivel de atención para modelar las relaciones relativas entre tokens bajo cambios de vista, los métodos existentes enfrentan limitaciones significativas:

Limitaciones de Solo Rayo: Métodos como UCPE codifican la dirección del rayo de visión pero no especifican la posición del contenido de la escena a lo largo de ese rayo. Esto es insuficiente para modelar las correspondencias de tokens cuando la cámara se mueve, ya que las correspondencias dependen tanto de la dirección del rayo como de la profundidad de la escena.
Sesgo de Cámara Estenopeica: Muchas codificaciones existentes dependen de la geometría de la cámara estenopeica, lo cual falla al capturar la geometría de proyección no lineal inherente a las lentes gran angular y ojo de pez (Modelo de Cámara Unificada o UCM).
Falta de Conciencia de Profundidad: Las codificaciones posicionales actuales no integran eficazmente la geometría de la escena, limitando la capacidad del modelo para manejar diversos modelos de lentes y refinar las relaciones entre tokens durante los cambios de vista.

Metodología: CRePE

Los autores proponen Codificación Posicional de Esperanza de Rayo Curvo (CRePE), una codificación posicional compatible con el Modelo de Cámara Unificada (UCM) que representa cada token de imagen no solo por su rayo de visión, sino como una distribución posicional consciente de la profundidad a lo largo de ese rayo.

Componentes Principales

RoPE de Esperanza de Rayo Curvo:
- En lugar de asumir un único punto final, CRePE modela la posición del token como una distribución uniforme en la distancia radial logarítmica ( $z = \log r$ ) definida por un centro predicho ( $\mu$ ) y un ancho de intervalo ( $\sigma$ ).
- Esta distribución se discretiza en $K$ puntos de ruptura. Cada punto de ruptura se eleva a lo largo del rayo UCM de origen, se transforma al marco de la cámara de consulta y se proyecta hacia adelante.
- Debido a que la proyección UCM induce una trayectoria curva en la vista de consulta para un intervalo de rayo de origen, CRePE integra analíticamente el fasor de Codificación Posicional Rotativa (RoPE) sobre esta trayectoria curva por partes lineales. Esto produce un coeficiente de modulación esperado que captura la incertidumbre de la posición del rayo bajo proyección no estenopeica.
- La configuración predeterminada utiliza $K=5$ puntos de ruptura para equilibrar la precisión geométrica y la eficiencia computacional.
Adaptador de Atención Geométrica:
- CRePE se implementa mediante un Adaptador de Atención Geométrica añadido a un Transformer de Difusión de Video (DiT) congelado.
- Una cabeza de geometría compartida ( $g_\phi$ ) predice los parámetros de distancia radial logarítmica ( $\mu, \sigma$ ) a partir de las características de los tokens del lado de la clave.
- Estas predicciones se convierten en coeficientes de modulación RoPE esperados, que modulan las características de la clave en capas intermedias seleccionadas del DiT.
- El diseño preserva la señal de cámara "solo rayo" estable en las capas iniciales y finales (usando UCPE estándar) mientras inyecta modulación de trayectoria proyectada consciente de la profundidad en las capas intermedias donde la información de distancia radial es más recuperable.
Supervisión de Distancia Radial y Radial MixForcing:
- Para estabilizar la predicción de geometría, el modelo se supervisa con mapas de distancia radial pseudo generados por un modelo fundacional de geometría monocular (UniK3D).
- Un filtro de validez excluye predicciones poco fiables (por ejemplo, valores no finitos, distancias >20m).
- Radial MixForcing: Un algoritmo de sustitución de maestro durante el entrenamiento permite que el modelo acepte mapas radiales suministrados externamente durante la inferencia. Si un mapa externo es válido, reemplaza la distribución predicha; de lo contrario, el modelo recurre a su propia predicción. Esto permite el control de geometría externo sin reentrenamiento.

Contribuciones Clave

Codificación Posicional Consciente de la Profundidad: CRePE introduce una codificación posicional que considera no solo la dirección del rayo, sino también las posibles posiciones de la escena a lo largo del rayo, habilitando una codificación consciente de la profundidad para la geometría de trayectoria proyectada curva bajo el Modelo de Cámara Unificada.
Implementación Basada en Adaptador: Los autores aplican CRePE a DiTs de video congelados mediante un Adaptador de Atención Geométrica, incorporando la distancia de la escena token a token en los mecanismos de atención y estabilizando las predicciones con supervisión de distancia radial pseudo.
Control de Geometría Externa: Al extender la vía de codificación posicional, CRePE soporta el control de mapas radiales externos para la generación condicionada por geometría de la escena y la transferencia de movimiento de video de origen mediante Radial MixForcing.

Resultados Experimentales

Los autores evaluaron CRePE frente a líneas base que incluyen ReCamMaster (control de trayectoria externo) y UCPE (codificación de rayo de cámara unificada) en el conjunto de datos PanShot, que cubre configuraciones estenopeicas, gran angular y ojo de pez.

Control de Cámara y Geometría: CRePE supera significativamente a las líneas base en métricas de controlabilidad de cámara (CamMC, error de rotación, error de traslación) y métricas de distorsión de lente ( $k_1, k_2$ ), particularmente bajo condiciones gran angular y ojo de pez donde fallan las suposiciones estenopeicas.
Estudios de Ablación: Al comparar CRePE con una línea base de PE de punto final estilo RayRoPE (que aproxima el intervalo de rayo con solo dos puntos finales), CRePE logra un mejor rango promedio general. Esto confirma que la integración sobre la trayectoria proyectada curva (mediante $K>2$ puntos de ruptura) proporciona beneficios más allá de las aproximaciones simples de puntos finales.
Calidad de Video: Aunque CRePE mejora las métricas conscientes de geometría y perceptuales (VBench, calidad estética), permanece competitivo en métricas estándar de calidad de video (FVD, FID). En algunas métricas de calidad de video completa (por ejemplo, FVD, Puntuación de Inception), la línea base solo rayo (UCPE) permanece ligeramente más fuerte, sugiriendo una compensación entre la adherencia geométrica estricta y la calidad distribucional del video.
Colocación de Capas: Los experimentos muestran que aplicar CRePE a los 10 bloques centrales del DiT proporciona el mejor equilibrio entre control geométrico y calidad de generación, superando su aplicación a todas las capas o solo a las capas iniciales/finales.

Significado y Afirmaciones

El artículo afirma que CRePE representa un paso significativo hacia el control de cámara unificado que es robusto a través de diversas configuraciones de lentes, incluidas las lentes no estenopeicas. Al pasar de la codificación solo rayo a la esperanza de rayo curvo, el método captura mejor la geometría de proyección no lineal de las cámaras gran angular y ojo de pez.

Los autores posicionan a CRePE como un bloque de construcción para la generación de video controlable por cámara y consciente de la geometría. Enfatizan que el método mejora la capacidad del modelo para seguir trayectorias de cámara y mantener la consistencia de la escena bajo cambios de vista sin requerir videos de origen o imágenes de referencia durante la inferencia. Además, la extensión a Radial MixForcing demuestra una vía hacia la unificación del control de cámara y el control de geometría de escena externa dentro de un único marco de adaptador, habilitando tareas como la transferencia de movimiento y la manipulación de la disposición de la escena mediante mapas radiales externos.

El trabajo se presenta como un preprint, y los autores reconocen limitaciones, como la dependencia de la calidad de la pseudo-supervisión de modelos de geometría monoculares y el enfoque actual en modelos de cámara central (UCM) en lugar de modelos de obturador rodante o no centrales.