🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

Este artículo presenta DRIVE-CHOREO, un modelo de mundo multiagente coreografiado por un LLM que unifica controles de conducción heterogéneos y geometría multivista a través de una secuencia de tokens latentes compartida y una estrategia de co-compresión, logrando una consistencia de vanguardia y demostrando una utilidad significativa para tareas de conducción autónoma.

Autores originales: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Publicado 2026-06-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo conducir un coche mostrándole vídeos de la carretera. El robot necesita entender tres cosas a la vez: qué está diciendo el conductor (lenguaje), dónde están los coches y las carreteras (geometría) y qué ven realmente las cámaras (píxeles).

Durante mucho tiempo, los investigadores de IA han luchado para que estas tres cosas funcionen juntas de forma fluida. Es como intentar dirigir una orquesta donde los violinistas leen una partitura, los bateristas escuchan un podcast y los cantantes improvisan sin un director. El resultado suele ser una actuación desordenada donde el coche puede teletransportarse de repente, el cielo puede cambiar de color entre las cámaras o el robot ignora los semáforos.

El artículo presenta OMNIDRIVE, un nuevo sistema que actúa como un director de cine maestro para arreglar este desastre. Así es como funciona, desglosado en conceptos sencillos:

1. El Problema: El equipo "desconectado"

Los modelos de IA actuales para vídeos de conducción suelen manejar el "qué" (lenguaje) y el "dónde" (mapas) de forma separada del "cómo se ve" (vídeo).

El problema: Intentan pegar estas partes separadas después de que el vídeo esté casi terminado. Esto es como intentar pegar un mapa sobre la pantalla de una película después de que la película ya haya comenzado a reproducirse. El resultado suele ser un "desplazamiento" (drift), donde la cámara izquierda ve un árbol, pero la derecha ve un edificio, o el coche salta de forma extraña.

2. La Solución: El Director de "Tres Agentes"

OMNIDRIVE reemplaza el pegamento desordenado por un equipo de tres agentes de IA especializados (impulsados por un modelo de lenguaje extenso) que trabajan juntos antes y durante la creación del vídeo. Piensa en ellos como un equipo de producción cinematográfica:

El Arquitecto (El Guionista): Le das un comando simple como "Conduce por una ciudad lluviosa por la noche". El Arquitecto traduce esto en un guion estricto y estructurado llamado WORLDSCRIPT. Este enumera exactamente cómo es el clima, hacia dónde va el ego-car (tu coche) y dónde están los otros coches.
El Cartógrafo (El Diseñador de Escenografía): Este agente toma el guion y dibuja un "plano" o un mapa disperso. No dibuja todo el vídeo; solo dibuja las líneas de la carretera, los carriles y los recuadros alrededor de los otros coches. Convierte el texto en un mapa visual que coincide con los ángulos de la cámara.
El Auditor (El Inspector de Control de Calidad): Mientras se crea el vídeo, este agente observa las diferentes vistas de las cámaras. Si la cámara frontal ve un coche rojo pero la cámara lateral ve uno azul, el Auditor grita: "¡Oye, eso no coincide!" y le dice al sistema que lo arregle inmediatamente.

3. El Ingrediente Secreto: "Co-compresión Latente"

Esta es la innovación más técnica pero crucial del artículo. Normalmente, la IA mira cada una de las seis cámaras de un coche por separado, como mirar a través de seis ventanas distintas una por una.

OMNIDRIVE hace algo diferente. Toma el vídeo de las seis cámaras y el "plano" del Cartógrafo, y los une todos en una única y larga tira de datos antes de que la IA siquiera comience a generar el vídeo.

La analogía: Imagina que tienes seis piezas de un rompecabezas. En lugar de intentar encajarlas después de haberlas pintado, las pegas todas en un tablero grande primero. Luego, pintas todo el tablero a la vez. Debido a que están físicamente conectadas en el tablero, la pintura (el vídeo) fluye naturalmente de una cámara a la siguiente sin huecos ni errores.
El resultado: La IA "ve" el mundo en 3D como un objeto único y unificado en lugar de seis imágenes 2D separadas. Esto asegura que si un coche está a la izquierda, también esté a la derecha, exactamente donde debería estar.

4. El Resultado: Una Película Perfectamente Alineada

Debido a que el lenguaje, el mapa y el vídeo están todos "coreografiados" juntos desde el primer paso:

Sin más apariciones fantasmales: Los coches no desaparecen ni se teletransportan entre las vistas de las cámaras.
Consistencia perfecta: La iluminación y las sombras coinciden perfectamente en las seis cámaras.
Uso en el mundo real: El artículo muestra que si entrenas el cerebro de un coche autónomo solo con vídeos creados por OMNIDRIVE, el coche en realidad conduce mejor en el mundo real que los coches entrenados solo con metraje real.

Resumen

OMNIDRIVE es como un superconductor para la generación de vídeos de conducción. En lugar de dejar que el lenguaje, los mapas y las cámaras discutan entre sí, los obliga a sentarse a la misma mesa, hablar el mismo idioma y moverse en perfecta sincronía. El resultado es una simulación de conducción tan realista y consistente que puede enseñar a coches reales a conducir de forma segura.

Resumen Técnico: OMNIDRIVE

1. Planteamiento del Problema

Los modelos de mundo para la conducción autónoma enfrentan dos tensiones persistentes y no resueltas que obstaculizan la generación de videos multivista de alta fidelidad y controlables:

Inyección de Control Heterogéneo: Los sistemas existentes luchan por unificar modalidades de control fundamentalmente diferentes. Las pistas geométricas (mapas HD, cajas 3D, poses de cámara) están ancladas espacialmente a la rejilla de píxeles, mientras que las pistas semánticas (texto libre, clima, estilo) son globalmente difusas. Los enfoques actuales suelen injertar ramas separadas (por ejemplo, ControlNet para la geometría, atención cruzada para el texto) que permanecen desconectadas hasta que el proceso de difusión intenta reconciliarlas post-hoc.
Fusión Multivista Post-Hoc: La mayoría de los métodos comprimen cada vista de cámara de forma independiente utilizando VAEs 3D separados y solo los fusionan posteriormente mediante atención entre vistas. Esto resulta en latentes locales de cámara que carecen de conciencia geométrica 3D global, lo que provoca problemas persistentes como la deriva entre vistas, el parpadeo fotométrico y la teletransportación de objetos, incluso cuando las métricas de calidad de vista individual (FID) son competitivas.

Los autores argumentan que la causa raíz de ambos fallos es la ausencia de una interlingua simbólica compartida que alinee el lenguaje, la geometría y los píxeles al nivel de tokens latentes.

2. Metodología

OMNIDRIVE redefine la generación de video multivista controlable como un problema de coreografía latente, orquestado por un sistema multi-agente y unificado a través de una estrategia de compresión novedosa.

A. Sistema Multi-Agente Coreografiado por LLM

En lugar de un pipeline monolítico de prompt-a-codificador, OMNIDRIVE emplea tres agentes especializados Qwen2.5-VL que autorizan colectivamente una única secuencia de tokens con conciencia posicional:

ARCHITECT (Arquitecto): Analiza los prompts de usuario de texto libre en un WORLDSCRIPT (JSON) estructurado. Este guion codifica el estado global (clima, tiempo), la trayectoria del ego, las listas de agentes (clases, posiciones, comportamientos) y la topología de la carretera. El resultado se incrusta como tokens semánticos ( $C_{sem}$ ).
CARTOGRAPHER (Cartógrafo): Ancla el WORLDSCRIPT en una geometría anclada espacialmente. Renderiza programáticamente imágenes de diseño dispersas (mapas HD rasterizados, cajas 3D proyectadas, cintas del ego) para cada cámara y paso de tiempo. Estos diseños se codifican en tokens geométricos ( $C_{geo}$ ) que comparten exactamente los mismos índices posicionales que los tokens visuales.
AUDITOR (Auditor): Durante el entrenamiento, este agente consume los recortes multivista decodificados y el WORLDSCRIPT para generar críticas estructuradas (puntuaciones de consistencia y etiquetas de modo de fallo) entre pares de cámaras. Estos se inccionan como tokens de revisión ( $C_{rev}$ ) para proporcionar supervisión auxiliar.

B. Co-Compresión Latente

Para resolver el problema de la consistencia entre vistas, OMNIDRIVE introduce la Co-Compresión Latente, que reemplaza la codificación independiente por cámara con un proceso unificado:

Permutación Vista-Tiempo ( $\Pi$ ): El cubo de video de seis cámaras $\times$ tiempo se aplana en un flujo pseudo-temporal donde la dimensión temporal se define como $\tilde{t} = (n-1)T + t$ . Esta permutación se aplica de forma idéntica tanto al video RGB como a las imágenes de diseño geométrico del CARTOGRAPHER.
VAE 3D Unificado: Un único VAE 3D (preentrenado en videos genéricos) codifica el tensor permutado. Debido a que la permutación es métricamente preservadora y ortogonal, mantiene la constante de Lipschitz del codificador.
Relleno Consciente de Bloque de Vista (VBP): Para evitar que el campo receptivo convolucional cruce diferentes vistas de cámara (lo que mezclaría contextos espaciales no relacionados), se aplica un operador de máscara aprendible. Esto asegura que los kernels temporales solo agreguen información de un mismo instante a través de las vistas, reduciendo la varianza inter-cámara.
Endpoint de Ruido Compartido: Para las vistas capturadas en el mismo instante físico, el endpoint de ruido ( $z_1$ ) en la formulación de coincidencia de flujo (flow-matching) se comparte, reduciendo aún más la varianza fotométrica.

C. Generación Coreografiada (MM-DiT)

El latente co-comprimido se fragmenta en parches (patchified) y se concatena con los tokens autorizados por los agentes ( $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ) en una secuencia unificada $S$ .

Esquema Posicional: Los tokens geométricos ( $C_{geo}$ ) comparten los mismos índices posicionales 3D $(\tilde{t}, i, j)$ que los tokens visuales ( $X$ ), forzando un anclaje geométrico a nivel de píxel. Los tokens semánticos tienen un desplazamiento (offset) y los tokens temporales son sinusoidales.
Atención Sesgada: Se aplica un sesgo controlable al mecanismo de atención multi-modal, específicamente endureciendo la atención entre los tokens visuales y los tokens geométricos ( $X$ y $C_{geo}$ ) mediante una ganancia escalar $\gamma_{geo}$ . Esto colapsa la atención cruzada de múltiples ramas en un único mecanismo de auto-atención con alineación posicional explícita.

D. Entrenamiento e Inferencia

Función de Pérdida: El modelo se entrena utilizando Coincidencia de Flujo Condicional ( $L_{CFM}$ ) combinada con un término de suavidad consciente de la equivarianza ( $L_{sm}$ ) para penalizar saltos no físicos en el latente, y una pérdida de AUDITOR ( $L_{rev}$ ) que alinea los desacuerdos de velocidad entre vistas con las puntuaciones de consistencia del crítico.
Inferencia: La generación se realiza mediante un resolvedor de ODE de flujo rectificado (pasos de Heun). El AUDITOR puede invocarse opcionalmente en el tiempo de prueba para puntuar muestras intermedias y activar un paso de refinamiento único si las puntuaciones de consistencia caen por debajo de un umbral.

3. Contribuciones Clave

Arquitectura OMNIDRIVE: El primer modelo de mundo de conducción multi-agente que unifica la comprensión del lenguaje, el diseño geométrico y la generación de píxeles en una única rejilla de tokens consciente de la posición.
Co-Compresión Latente: Una estrategia novedosa de permutación vista-tiempo que transforma las restricciones 3D inter-cámara en dependencias convolucionales locales dentro de un VAE 3D compartido, eliminando la necesidad de fusión post-hoc.
Condicionamiento Coreografiado por LLM: Un marco donde tres agentes especializados (ARCHITECT, CARTOGRAPHER, AUDITOR) autorizan una secuencia de condicionamiento ligada a la rejilla visual al nivel de tokens, permitiendo un control granular y desentrelazado.
Rendimiento de Vanguardia: El modelo establece nuevos hitos en el conjunto de datos nuScenes para la consistencia multivista y la controlabilidad.

4. Resultados Experimentales

Evaluado en el conjunto de validación de nuScenes (6 cámaras, 32 fotogramas, resolución de 880×1280):

Calidad y Consistencia: OMNIDRIVE logra un FVD de 45.7 y una puntuación de consistencia multivista (PC) de 65.6%, superando significativamente a los modelos base como MagicDrive-V2 (FVD 64.8, PC 62.8%) y UniMLVG. Reduce el error fotométrico epipolar (EPC) en aproximadamente un 28% respecto al segundo mejor modelo.
Controlabilidad: El modelo alcanza un BEV mAP de 21.55 y un mIoU de 18.87 en datos generados, superando a todos los demás métodos.
Utilidad Downstream: Un detector (BEVERformer-S) entrenado puramente con 20k clips sintéticos generados por OMNIDRIVE logra 36.8 mAP y 44.0 NDS en datos reales de validación de nuScenes. Esto representa una mejora de +2.4 NDS sobre un modelo base entrenado solo con datos reales, validando la alta utilidad del corpus sintético.
Eficiencia: OMNIDRIVE opera en la frontera de Pareto entre calidad y latencia, generando clips en 9.6 segundos (2.4× más rápido que UniMLVG) con menor uso de memoria.

5. Significado y Reivindicaciones

El artículo afirma que OMNIDRIVE resuelve el compromiso histórico entre fidelidad y controlabilidad en los modelos de mundo de conducción. Al establecer una "interlingua simbólica compartida" donde el lenguaje simbólico, el diseño renderizado y los latentes de píxeles comparten un marco de coordenadas totalmente alineado, el sistema permite:

Controlabilidad Genuina: Los usuarios pueden intercambiar campos únicos en el WORLDSCRIPT (por ejemplo, clima, trayectoria) para alterar solo el atributo objetivo sin afectar a otros, demostando un control granular y desentrelazado.
Anclaje Geométrico: El enfoque de co-compresión asegura que las restricciones geométricas sean respetadas al nivel del latente, evitando la "deriva entre vistas" y la "teletransportación de objetos" comunes en esquemas de codificación independientes.
Utilidad Práctica: Los datos generados no son meramente plausibles visualmente, sino funcionalmente valiosos, mejorando directamente el rendimiento de los modelos de percepción downstream entrenados con datos del mundo real.

Los autores posicionan a OMNIDRIVE como un paso fundacional hacia la "controlabilidad genuina" en los modelos de mundo generativos, yendo más allá de flujos de control desconectados hacia un proceso de generación unificado y coordinado por agentes.