💻 computer science

LAMP: Language-Assisted Motion Planning for Controllable Video Generation

El artículo presenta LAMP, un marco que utiliza modelos de lenguaje grandes para traducir descripciones en lenguaje natural a programas estructurados y trayectorias 3D explícitas, permitiendo un control preciso y cinematográfico sobre el movimiento de objetos y cámaras en la generación de video.

Autores originales: Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Erkut Erdem, Aykut Erdem, Duygu Ceylan

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Muhammed Burak Kizil, Enes Sanli, Niloy J. Mitra, Erkut Erdem, Aykut Erdem, Duygu Ceylan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Imagina que eres un director de cine! Tienes una idea genial en tu cabeza: "Quiero que la cámara vuele alrededor de un barco gigante mientras este avanza lentamente por el mar".

En el mundo actual de la inteligencia artificial para crear videos, pedirle esto a la máquina es como intentar explicarle a un robot cómo pilotar un avión usando solo palabras vagas. La IA suele entender las palabras, pero se pierde en los detalles: ¿hacia dónde gira la cámara? ¿A qué velocidad? ¿Cómo se mueve el barco al mismo tiempo? A menudo, el resultado es un caos visual donde las cosas se mueven de forma extraña o la cámara se queda quieta cuando debería moverse.

Aquí es donde entra LAMP.

¿Qué es LAMP?

LAMP (Planificación de Movimiento Asistida por Lenguaje) es como un guionista y director de cámara experto que trabaja dentro de la computadora. En lugar de pedirle a la IA que "adivine" los movimientos, LAMP traduce tu idea en un lenguaje de instrucciones preciso, similar a un código de programación, pero que tú puedes escribir en español normal.

La Analogía: El "Lenguaje de Cine" (DSL)

Imagina que LAMP tiene un diccionario especial llamado DSL (un lenguaje específico para cine). Este diccionario no usa coordenadas matemáticas aburridas (como "moverse 5 metros a la derecha"), sino que usa términos de cine reales:

En lugar de decir "coordenada X, Y, Z", dice: "Haz un plano de seguimiento (tail track)" o "Haz un giro orbital (orbit track)".
Es como si le dijeras a un camarógrafo: "Sigue al actor mientras camina" en lugar de darle una lista de números.

¿Cómo funciona el proceso? (Paso a paso)

Tú hablas (La Idea): Escribes: "Un barco navega a la derecha y la cámara lo rodea suavemente".
LAMP piensa (El Director): La IA (un modelo de lenguaje grande) lee tu frase y, en lugar de intentar dibujar el video de inmediato, escribe un guion técnico.
- Guion generado: "Objeto: Moverse libremente a la derecha. Cámara: Orbitar 90 grados alrededor del objeto".
LAMP calcula (El Geómetra): Este guion se convierte automáticamente en una ruta 3D exacta. La computadora sabe exactamente por dónde debe pasar la cámara y por dónde el barco, como si estuviera dibujando una línea invisible en el aire.
La IA crea el video (El Actor): Finalmente, le pasa estas rutas exactas a un generador de video. Como ya tiene el mapa de movimientos, el video resultante es perfecto: el barco se mueve y la cámara gira a su alrededor sin chocar, tal como lo imaginaste.

¿Por qué es tan especial?

Control Total: Antes, si querías cambiar algo, tenías que volver a generar todo el video y esperar a ver si salía bien. Con LAMP, puedes decir: "Haz que la cámara baje un poco más" o "Haz que el barco vaya más rápido", y el sistema ajusta solo el guion de movimiento. Es como editar un mapa antes de viajar.
Coherencia Cinematográfica: LAMP entiende que la cámara y los objetos están conectados. Si el barco gira, la cámara debe girar con él para mantener el encuadre. Esto evita que el video se vea mareante o ilógico.
Aprendizaje de un Director: Han creado una "escuela" virtual con 400.000 ejemplos de movimientos de cámara y objetos. La IA aprendió de estos ejemplos a hablar el "lenguaje de cine", por lo que ahora entiende lo que es un "plano cenital" o un "travelling lateral" sin necesidad de que se lo expliques con fórmulas matemáticas.

En resumen

LAMP es el puente entre tu imaginación y la realidad digital. Convierte tus deseos simples ("quiero una cámara que vuele") en un plan de vuelo matemático perfecto, permitiendo que cualquier persona, sin ser un experto en tecnología, pueda dirigir escenas de cine complejas y dinámicas simplemente hablando.

Es como tener un asistente de dirección que entiende perfectamente lo que quieres y se asegura de que la cámara y los actores se muevan exactamente como lo soñaste.

Resumen Técnico: LAMP (Language-Assisted Motion Planning)

1. El Problema

La generación de video basada en texto ha avanzado significativamente en fidelidad visual, pero el control del movimiento sigue siendo un cuello de botella crítico.

Limitaciones actuales: Los métodos existentes dependen de señales de control restrictivas como anotaciones extraídas de videos, bocetos 2D simples o prompts de texto que a menudo resultan en dinámicas físicamente inconsistentes o falta de alineación con la intención del usuario.
Complejidad de la dirección cinematográfica: Es difícil para los usuarios especificar simultáneamente la trayectoria de objetos dinámicos y la ruta de la cámara en un espacio 3D compartido. La relación entre el movimiento del sujeto y la cámara es inherentemente entrelazada (ej. una cámara de seguimiento), y los modelos actuales carecen de la capacidad de planificación espacial y temporal necesaria para orquestar estas escenas complejas de manera coherente.
Falta de interpretabilidad: Los enfoques que regresan coordenadas 3D continuas directamente desde el texto carecen de estructura, son difíciles de editar y no permiten un refinamiento iterativo antes de la síntesis costosa del video.

2. Metodología

LAMP introduce un marco que trata el control de movimiento como un problema de síntesis de programas de lenguaje a programa, utilizando Grandes Modelos de Lenguaje (LLM) como planificadores de movimiento.

Lenguaje Específico de Dominio (DSL) Cinematográfico:
- En lugar de predecir coordenadas continuas, LAMP utiliza un DSL inspirado en convenciones cinematográficas (basado en la taxonomía CameraBench).
- El DSL define primitivas de movimiento (ej. free-form, orbit track, tail track, rotation track) y modificadores (ej. velocidad, dirección, easing, offset).
- Ejemplo de sintaxis: orbit_track deg_90 spiral_out_0.5.
- Esta representación simbólica es interpretable, composicional y garantiza consistencia espacial.
Generación de Programas Simbólicos:
- Un LLM (ajustado finamente) recibe una descripción natural del usuario y genera programas de movimiento estructurados tanto para el objeto como para la cámara.
- El modelo factoriza la probabilidad conjunta: primero determina el movimiento del objeto ( $s_{obj}$ ) y luego condiciona el movimiento de la cámara ( $s_{cam}$ ) sobre el objeto y la intención textual, reflejando la jerarquía cinematográfica.
Conversión Determinista a Trayectorias 3D:
- Los programas DSL se convierten de manera determinista en trayectorias 3D (posición y orientación) para el objeto y la cámara en un sistema de coordenadas compartido.
- Estas trayectorias se renderizan como un video de control (superposición de cajas 3D y bordes del horizonte) que se utiliza para condicionar un generador de video preentrenado (como VACE).
Dataset Procedural a Gran Escala:
- Para entrenar el planificador de movimiento, los autores construyeron un dataset de 400,000 pares texto-movimiento.
- Este dataset se generó proceduralmente combinando primitivas de movimiento y usando un LLM auxiliar para parafrasear las descripciones textuales, asegurando diversidad lingüística y coherencia física.

3. Contribuciones Clave

LAMP Framework: El primer marco que genera simultáneamente trayectorias de objetos y cámaras directamente desde especificaciones de lenguaje natural, unificando la planificación de movimiento en un espacio 3D compartido.
DSL Cinematográfico: Un lenguaje específico de dominio que codifica comportamientos de cámara y objetos como programas simbólicos, permitiendo una interfaz editable e interpretable que supera la regresión de coordenadas crudas.
Dataset y Generación Procedural: La creación de un corpus masivo de datos texto-movimiento generado automáticamente, que permite entrenar planificadores de movimiento sin depender de anotaciones manuales costosas.
Interfaz de Refinamiento Iterativo: Al separar la planificación del movimiento de la síntesis de video, los usuarios pueden refinar las trayectorias mediante instrucciones de texto (ej. "mueve la cámara más a la derecha") antes de generar el video final, ahorrando recursos computacionales.

4. Resultados

Los experimentos demuestran que LAMP supera a los métodos más avanzados (baselines) en control de movimiento y alineación con la intención del usuario.

Evaluación de Trayectoria de Cámara:
- En los conjuntos de datos DataDoP y ET, LAMP logró puntuaciones F1 superiores (0.763 y 0.976 respectivamente) en la alineación texto-trayectoria, superando a modelos entrenados específicamente en esos datasets (como GenDoP y ET-DirB).
- Muestra una fuerte generalización a dominios de movimiento no vistos, a pesar de haber sido entrenado principalmente en datos procedurales sintéticos.
Evaluación de Trayectoria de Objeto:
- Logró un F1 de 0.9983 en clases de traducción gruesas y 0.9293 en clases finas, demostrando una alta precisión en la predicción del movimiento del sujeto.
Estudios de Usuario y Calidad Visual:
- En estudios cualitativos, los participantes prefirieron consistentemente los videos de LAMP sobre baselines (Wan 2.1, GPT-DSL, GPT-Traj) en términos de adherencia a la cámara, adherencia al objeto y calidad general percibida.
- Los videos generados muestran una coordinación cámara-objeto coherente y cinematográficamente significativa, con dinámicas físicamente consistentes.
Ablación:
- La comparación entre el enfoque basado en DSL y la regresión directa de trayectorias mostró que el enfoque simbólico (DSL) produce una mayor precisión direccional y menor error de rotación, validando la eficacia de la planificación basada en programas.

5. Significado e Impacto

LAMP representa un cambio de paradigma en la generación de video controlada:

De Coordenadas a Intención: Cambia el enfoque de predecir coordenadas 3D crudas (difíciles de controlar) a interpretar la intención cinematográfica a través de un lenguaje estructurado.
Directores de IA: Posiciona al LLM no solo como un generador de texto, sino como un "director de cine" capaz de planificar la coreografía de escenas complejas antes de la renderización.
Editabilidad y Eficiencia: Al desacoplar la planificación del movimiento de la generación de video, permite un flujo de trabajo iterativo y eficiente, donde los errores de movimiento se corrigen en el nivel del programa simbólico sin necesidad de regenerar el video costoso.
Futuro: Establece una base para la cinematografía impulsada por lenguaje, donde la intención textual de alto nivel gobierna directamente el diseño de movimiento en modelos generativos, abriendo la puerta a narrativas visuales más complejas y controladas.