🤖 AI

TriMotion: Modality-Agnostic Camera Control for Video Generation

TriMotion es un marco de trabajo agnóstico a la modalidad que unifica entradas de video, pose y texto en un espacio de incrustación de movimiento compartido a través de un nuevo conjunto de datos y un objetivo de consistencia latente, permitiendo la generación de video controlada por cámara de alta calidad y flexible a través de entradas de usuario heterogéneas.

Autores originales: Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director de cine. Tienes un guion (una descripción de texto), un guion gráfico (un video de referencia) y un plano técnico (coordenadas de cámara). En el pasado, si querías que una IA generara un video con un movimiento de cámara específico —como un zoom suave o un órbita giratoria— tenías que hablar el lenguaje específico de la IA. Si la IA solo entendía planos, no podías usar tu guion gráfico. Si solo entendía guiones gráficos, no podías usar tu guion de texto. Estabas atrapado con una herramienta para un solo trabajo.

TriMotion es un nuevo "traductor universal" para la generación de video por IA. Te permite controlar la cámara usando cualquiera de esas tres herramientas: texto, un video de referencia o datos técnicos de cámara. La IA entiende todas ellas como si fueran lo mismo.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: La "Barrera del Lenguaje"

Actualmente, la mayoría de las herramientas de video por IA son como especialistas que solo hablan un dialecto.

El Especialista en Planos: Necesita números exactos (por ejemplo, "mueve la cámara 5 metros a la izquierda"). Esto es difícil de escribir para personas normales.
El Especialista en Guiones Gráficos: Necesita un clip de video para copiar el movimiento. Esto es inflexible si quieres cambiar la velocidad o la dirección.
El Especialista en Guiones: Necesita una descripción de texto (por ejemplo, "la cámara hace un paneo a la izquierda"). Pero la IA suele tener dificultades para convertir palabras vagas en movimientos físicos precisos y suaves.

2. La Solución: La "Pista de Baile Compartida"

Los investigadores construyeron un sistema llamado TriMotion. Imagina que el cerebro interno de la IA es una gigantesca pista de baile.

Antes, si le dabas a la IA una descripción de texto, la IA intentaba bailar al ritmo del texto. Si le dabas un video, intentaba bailar al ritmo del video. Eran bailes diferentes.
TriMotion enseña a la IA a traducir todo a la misma pista de baile. Ya sea que le des un guion de texto, un video de referencia o un plano de cámara, la IA convierte todos ellos en los mismos "pasos de baile" (números matemáticos) dentro de su cerebro.
Debido a que todos están en la misma pista de baile, la IA puede cambiar entre ellos instantáneamente. Puedes comenzar con una descripción de texto y luego cambiarla por una referencia de video, y el movimiento de la cámara se mantendrá perfectamente consistente.

3. El Entrenamiento: El "Tríptico de Movimiento"

Para enseñar a la IA este lenguaje universal, los investigadores crearon un conjunto de datos de entrenamiento especial llamado Motion Triplet Dataset (Conjunto de Datos de Tríptico de Movimiento).

Imagina un juego de cartas de entrenamiento. Cada carta tiene tres cosas en ella:
1. Un clip de video de una cámara moviéndose.
2. Las coordenadas matemáticas exactas de la trayectoria de esa cámara.
3. Una descripción escrita de lo que hizo la cámara (por ejemplo, "La cámara hace un zoom lento mientras gira a la derecha").
La IA estudió millones de estas cartas. Aprendió que las matemáticas, el video y las palabras describen exactamente el mismo movimiento físico. Esto le permitió construir esa "pista de baile compartida" donde las tres entradas significan lo mismo.

4. El Ingrediente Secreto: "Rastreo Fantasma"

Uno de los mayores desafíos en el video por IA es que la IA podría lograr que el aspecto sea correcto pero el movimiento sea erróneo (la cámara podría derivar o vibrar).

TriMotion utiliza un truque ingenioso llamado Consistencia de Movimiento Latente.
Imagina que la IA está dibujando un cuadro. Normalmente, dibuja todo el cuadro y luego comprueba si las líneas son rectas. Si no lo son, las borra y las vuelve a dibujar. Esto es lento y puede arruinar la imagen.
TriMotion tiene un "Rastreador Fantasma". Mientras la IA está dibujando el video en su "fase de boceto" (antes de que la imagen final se forme por completo), este Rastreador Fantasma verifica el movimiento inmediatamente. Le susurra a la IA: "Oye, se supone que la cámara debe moverse a la izquierda, pero tu boceto se está desviando a la derecha. Corrígelo ahora".
Esto sucede dentro del "boceto" de la IA (espacio latente), por lo que no tiene que perder tiempo borrando y redibujando la imagen final de alta calidad. Mantiene el movimiento suave y preciso desde el primer paso.

5. Los Resultados: ¿Qué puede hacer?

El artículo muestra que TriMotion crea videos de alta calidad que siguen perfectamente las instrucciones de la cámara, sin importar qué entrada utilices.

Texto a Video: Escribes "un zoom lento hacia un bosque" y la cámara se mueve suavemente.
Video a Video: Muestras un clip de una cámara girando y la IA aplica ese giro exacto a una nueva escena.
El Truco de "Mezclar y Combinar": Debido a que todo está en la misma pista de baile, puedes hacer cosas geniales como la Composición de Movimiento. Puedes decirle a la IA "comienza con un zoom hacia adentro" (desde el texto) y luego "cambia a un giro" (desde una referencia de video), y la IA los mezclará de forma fluida en una toma continua sin necesidad de ser reentrenada.

Resumen

TriMotion es como darle a un director de cine un control remoto universal. Ya sea que hable con palabras, muestre un clip de muestra o entregue un diagrama técnico, la IA entiende la instrucción como exactamente el mismo movimiento de cámara. Utiliza un "conjunto de datos de entrenamiento" especial para aprender esta traducción y un "rastreador fantasma" para asegurar que la cámara se mueva de forma suave y precisa, resultando en videos de aspecto profesional que siguen perfectamente la visión del director.

Resumen Técnico: TriMotion

Declaración del Problema

El control del movimiento de la cámara es una técnica fundamental para dirigir los cambios de punto de vista, organizar el espacio cinematográfico y realizar la intención del usuario en sistemas de video generativo. Aunque los avances recientes en modelos de difusión de video condicional han permitido diversas señales de condicionamiento, los métodos actuales de control de cámara suelen estar restringidos a una única modalidad de entrada específica.

Los métodos condicionados por pose requieren trayectorias geométricas de cámara explícitas, lo cual es poco intuitivo para usuarios generales y difícil de especificar con precisión.
Los enfoques basados en videos de referencia codifican patrones de movimiento de forma implícita, pero carecen de un control de trayectoria explícito y ofrecen una flexibilidad limitada.
Las descripciones de texto, aunque son intuitivas, han sido poco exploradas para el control de la cámara debido a la falta de estructuras temporales explícitas y restricciones geométricas, lo que dificulta la ejecución de trayectorias precisas y físicamente consistentes.

Esta restricción de modalidad limita la flexibilidad de los sistemas generativos. Existe la necesidad de una representación de movimiento compartida que conecte entradas heterogéneas (video, pose y texto) para permitir un control de movimiento de cámara consistente a través de diferentes tipos de entrada.

Metodología

Los autores proponen TriMotion, un marco unificado y agnóstico a la modalidad para la generación de video con control de cámara. El marco mapea diversas señales de control —video, pose y texto— en un único espacio de incrustación (embedding) de movimiento continuo.

1. Conjunto de Datos de Triplete de Movimiento (Motion Triplet Dataset)

Para entrenar un espacio transmodal que requiera supervisión sincronizada, los autores construyeron el Motion Triplet Dataset extendiendo el Multi-Cam Video Dataset.

Fuente: 136K videos de alta fidelidad de Unreal Engine 5 con extrínsecos de cámara de verdad fundamental (ground-truth) precisos.
Procesamiento: Un flujo de trabajo automatizado convierte los extrínsecos de cámara brutos en descripciones de lenguaje natural fundamentadas en la geometría.
- Las secuencias de pose brutas se convierten en trayectorias relativas ancladas en el primer fotograma.
- Los cambios de traslación y rotación fotograma a fotograma se computan y se mapean a operaciones de cámara canónicas (por ejemplo, Dolly, Pan, Tilt) para formar secuencias simbólicas compactas.
- Un Modelo de Lenguaje de Gran Escala (Qwen3-4B-Instruct) genera dos niveles de descripciones: un resumen corto y un párrafo detallado que describe las transiciones temporales y los cambios de velocidad, evitando valores métricos explícitos.
Resultado: Un conjunto de datos que proporciona supervisión alineada sobre videos, trayectorias de cámara y descripciones de movimiento.

2. Espacio de Incrustación de Movimiento Unificado

TriMotion aprende una representación compartida donde las entradas de video, texto y pose se alinean.

Codificadores: Los codificadores específicos de cada modalidad ( $\Phi_{video}, \Phi_{text}, \Phi_{pose}$ $Φ_{v i d eo}, Φ_{t e x t}, Φ_{p ose}$ ) producen secuencias de tokens de movimiento.
- Video: Utiliza un módulo de agregación de características (basado en VGGT) para extraer tokens de cámara a partir de información geométrica multivista.
- Texto: Utiliza un codificador T5 congelado con consultas de movimiento aprendibles que realizan atención cruzada con los tokens de texto para inferir la dinámica temporal.
- Pose: Proyecta matrices extrínsecas de cámara aplanadas mediante un MLP por fotograma.
Objetivos de Alineación: Los codificadores se entrenan con una pérdida compuesta para asegurar:
- Alineación Global: La pérdida InfoNCE alinea los tokens de movimiento global entre modalidades.
- Sincronización Temporal: Minimización de la distancia de coseno entre los tokens temporales correspondientes.
- Fidelidad Geométrica: Un regresor de pose compartido predice los extrínsecos de la cámara a partir de las incrustaciones, asegurando que el espacio preserve la geometría 3D física.

3. Consistencia de Movimiento Latente

Para garantizar una consistencia geométrica estricta sin el costo de la decodificación en el espacio de píxeles, TriMotion introduce un objetivo de Consistencia de Movimiento Latente.

Predictor de Incrustación de Movimiento ( $\mathcal{M}_{pred}$ ): Un módulo compuesto por convoluciones 3D y un Transformer temporal que estima una secuencia de incembeddings de movimiento a partir de una representación de video latente limpia ( $z_0$ ).
Estrategia de Entrenamiento: El predictor se entrena para alinear su salida con la incrustación de movimiento objetivo derivada del video de verdad fundamental.
Integración con Difusión: Durante el entrenamiento de difusión, el modelo reconstruye un latente objetivo limpio a partir de la entrada ruidosa. Este latente reconstruido se introduce en el predictor congelado. Luego, la incrustación de movimiento predicha se compara con la incrustación de movimiento objetivo utilizando una pérdida de consistencia de movimiento. Esto impone que la trayectoria generada coincida con el objetivo directamente en el espacio latente.

4. Backbone de Generación

El marco utiliza un transformador de difusión de video latente.

Condicionamiento: El denoiser está condicionado por una descripción de apariencia global, el primer fotograma de origen y la secuencia de incrustación de movimiento unificada inyectada mediante MLPs de proyección específicos por bloque.
Entrenamiento: El modelo soporta tanto Imagen-a-Video (I2V) como Video-a-Video (V2V) mediante un entrenamiento conjunto equilibrado, actualizando únicamente las capas de atención y los MLPs de proyección para preservar los sesgos (priors) generativos preentrenados.

Principales Contribuciones

Marco TriMotion: Un enfoque unificado que permite el control de cámara mediante entradas de video, pose o texto, mapeándolas a un espacio de incrustación de movimiento compartido.
Conjunto de Datos de Triplete de Movimiento: Un nuevo conjunto de datos que empareja videos multivista con descripciones de texto fundamentadas en la geometría, permitiendo una supervisión multimodal sincronizada.
Consistencia de Movimiento Latente: Un objetivo novedoso que regulariza el backbone de difusión en el espacio latente, asegurando la fidelidad de la trayectoria sin la necesidad de repetidas decodificaciones en el espacio de píxeles.
Capacidades Cross-Modales: El espacio de incrustación compartido permite nuevas aplicaciones como la composición secuencial de movimiento (combinando movimientos de diferentes modalidades) y la interpolación de movimiento cross-modal.

Resultados Experimentales

Se realizaron experimentos extensos en tareas de I2V y V2V utilizando los conjuntos de datos Koala-36M y RealEstate10K.

Rendimiento Cuantitativo: TriMotion logra resultados de vanguardia o competitivos en calidad visual (FVD, FID, CLIP Score), calidad dinámica (Suavidad de Movimiento, Parpadeo Temporal) y precisión del movimiento de cámara (Error de Rotación, Error de Traslación, CamMC). Notablemente, la variante condicionada por pose funciona mejor en la mayoría de las métricas, mientras que las variantes de video y texto siguen siendo altamente competitivas, validando la efectividad del espacio compartido.
Comparación Cualitativa: TriMotion genera videos más limpios con un movimiento más estable y sigue las trayectorias objetivo con mayor fidelidad que los modelos de referencia como CamI2V, MotionClone y ReCamMaster. Evita los artefactos y la degradación de textura observados en métodos que dependen de la renderización explícita de nubes de puntos 3D (por ejemplo, TrajectoryCrafter).
Estudios de Ablación:
- Eliminar la pérdida de consistencia de movimiento latente degrada significativamente la precisión de la cámara.
- El condicionamiento de solo el objetivo (target-only) supera la concatenación o la sustracción de las incrustaciones de origen/objetivo, proporcionando la señal de movimiento más limpia.
- El espacio de movimiento unificado demuestra una fuerte alineación cross-modal (alto Recall@1) y fidelidad geométrica (precisión competitiva en la regresión de pose).
Estudio de Usuario: Las evaluaciones humanas confir el que la canalización de subtitulado fundamentada en la geometría produce descripciones de alta calidad y que TriMotion genera videos que siguen los movimientos objetivo con mayor fidelidad y menos artefactos que los métodos anteriores.

Significado y Reivindicaciones

El artículo afirma que TriMotion establece nuevos estándares para la generación de video con control de cámara al superar la limitación de las entradas de modalidad específica. Al aprender un espacio de incrustación de movimiento compartido, el marco permite un control de cámara flexible y consistente a través de entradas heterogéneas.

Los autores enfatizan que el objetivo de consistencia de movimiento latente es crucial para mejorar la fidelidad de la trayectoria mientras se evitan los cuellos de botella tradicionales de la decodificación. Además, el espacio compartido pionero permite nuevos paradigmas de interacción, logrando con éxito la composición secuencial de movimiento y la interpolación de movimiento cross-modal sin necesidad de reentrenamiento o diseño manual de trayectorias.

El artículo concluye con modestia, reconociendo que, si bien TriMotion transfiere eficazmente movimientos de cámara suaves, las trayectorias extremas que requieren regiones no vistas pueden seguir produciendo artefactos de outpainting en los límites. Se sugiere como trabajo futuro integrar el outpainting de fondo 3D explícito o extender el marco para modelar conjuntamente otros atributos cinematográficos como la gradación de color.