Resumen Técnico: Inyección de Normas Sin Entrenamiento para Modelos de Mundo de Conducción

Planteamiento del Problema

Los modelos de mundo de conducción basados en grandes arquitecturas de difusión de video son capaces de generar flujos de sensores realistas, pero sufren una falta crítica de controlabilidad. Las estrategias actuales de vanguardia para imponer normas de tráfico (por ejemplo, adherirse a los límites de velocidad o evitar colisiones) requieren normalmente, ya sea el ajuste fino (fine-tuning) del modelo base para cada nueva restricción, o condicionar el modelo con diseños construidos a mano (mapas, cuadros delimitadores) integrados durante el entrenamiento. Estos enfoques son costosos de escalar y evitan que un modelo desplegado pueda añadir o repriorizar reglas en el momento del muestreo. Los autores plantean la pregunta central: ¿Requiere el control la necesidad de un entrenamiento? Específicamente, ¿puede un modelo de mundo congelado ser dirigido para satisfacer las normas de conducción únicamente mediante intervenciones en el tiempo de muestreo?

Metodología

El artículo propone un enfoque de guía por energía sin entrenamiento aplicado a un modelo de mundo de conducción de flujo rectificado (rectified-flow).

1. Arquitectura del Modelo

El núcleo es un modelo Open-Sora 2.0 MM-DiT (Transformer de Difusión Multimodal) congelado, tras un entrenamiento posterior con LoRA para denotar conjuntamente:

• Futuros fotogramas de video (flujo de imagen).
• Una trayectoria planeada del ego $x_{ego} \in \mathbb{R}^{T \times d}$ (flujo de texto, donde $T=40$ fotogramas y $d=4$ componentes: $x, y, \theta, v$).
  Crucialmente, el modelo ha sido entrenado sin información de agentes o mapas, basándose únicamente en los fotogramas pasados observados.

2. Mecanismo de Guía Sin Entrenamiento

Los autores adaptan el concepto de guía basada en energía a los modelos de flujo rectificado. En lugar de reentrenar, las normas de conducción se inyectan como funciones de energía diferenciables $E(\cdot)$ evaluadas sobre la trayectoria del ego limpia predicha $\hat{x}_0$ en cada paso de muestreo.

El proceso implica:

1. Estimación de un solo paso: En el paso de tiempo $t$, el modelo estima la muestra limpia $\hat{x}_0$ utilizando el campo de velocidad aprendido $v_\theta$:
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. Descenso de Energía: Se realiza un paso de gradiente en el espacio de la trayectoria limpia para minimizar la energía de la norma de conducción:
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   Aquí, $E(\hat{x}_0)$ se define como un Error Cuadrático Medio (MSE) de atracción hacia un objetivo contrafáctico (por ejemplo, un objetivo de frenado que simula un vehículo líder lento).
3. Corrección de Velocidad: La estimación actualizada se convierte de nuevo en una corrección de velocidad para la ODE de muestreo:
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. Estabilización: Para evitar que la trayectoria se desvíe de la variedad de los datos (data manifold) —un problema conocido con la guía sin entrenamiento cuando $\hat{x}_0$ es inexacto en las etapas tempranas del muestreo—, la corrección de la guía por paso se limita a un múltiplo fijo de la propia velocidad del núcleo. Se utiliza un esquema asimétrico $\lambda(t)$, estableciendo la guía en cero cerca de $t=0$ y $t=1$ para evitar la inestabilidad numérica y permitir que el prior establezca la estructura global.

Contribuciones Clave

1. Formulación: Los autores enmarcan el cumplimiento de las normas de conducción como un problema de guía por energía sin entrenamiento en un modelo de mundo de flujo rectificado congelado, demostrando que el conocimiento puede añadirse enteramente en el tiempo de muestreo.
2. Validación Empírica: Demuestran que este método dirige con éxito la trayectoria del ego de un modelo de mundo basado en Open-Sora 2.0 hacia un objetivo de frenado contrafáctico (que simula un escenario de evitación de colisión por alcance) sin necesidad de reentrenar el núcleo.
3. Perspectiva Arquitectónica: El artículo identifica una limitación crítica en las arquitecturas actuales de generación conjunta: aunque la trayectoria se dirige con éxito, el video generado no sigue la trayectoria dirigida. Los autores atribuyen este fallo al mecanismo específico de acoplamiento entre flujos (cross-stream coupling, atención conjunta) en el modelo actual, donde el flujo de video no logra propagar los cambios inducidos en el flujo de la trayectoria.

Resultados Experimentales

Los autores evaluaron el método en 35 clips muestreados utilizando un objetivo de frenado contrafáctico:

• Control de Trayectoria: La guía fue altamente efectiva para la trayectoria. La trayectoria guiada terminó a una media de 1.3 metros del objetivo de frenado, en comparación con los 13.6 metros de la trayectoria no guiada (fáctica).
• Consistencia de Video: A pesar del cambio significativo en la trayectoria del ego, el video generado no reflejó este cambio. La diferencia de flujo óptico por fotograma entre los videos guiados y no guiados es estadísticamente indistinguible (un cambio de $\lesssim 2\%$, dentro del ruido de la variación entre clips).
• Conclusión de los Resultados: "El plan dirigido no mueve los píxeles". El flujo de video permanece desacoplado del flujo de la trayectoria bajo la arquitectura actual.

Significado y Reivindicaciones

El artículo afirma que el cumplimiento de las normas de conducción no requiere reentrenamiento. Un modelo de mundo congelado puede tener su trayectoria planeada del ego dirigida en el tiempo de muestreo mediante funciones de energía diferenciables. Esto ofrece una vía para que los modelos desplegados se adapten a nuevas reglas o prioricen restricciones de seguridad de forma dinámica.

Sin embargo, los autores son modestos respecto al estado actual del control de extremo a extremo. Establecen explícitamente que el video generado aún no sigue la trayectoria dirigida. Identifican el acoplamiento entre flujos (específicamente el salto de los bloques de flujo único en su modelo modificado) como el obstáculo central. El artículo concluye que lograr un despliegue (rollout) verdaderamente controlado de extremo a extremo requiere un desruido conjunto más profundo de los flujos de video y de trayectoria, proponiendo que enrutar ambos flujos a través de los bloques de flujo único del núcleo es el siguiente paso necesario para alinear el video con la trayectoria guiada.

El trabajo se posiciona como un puente entre la guía sin entrenamiento (aplicada anteriormente solo a modelos de trayectoria) y los modelos de mundo controlables (que previamente requerían condicionamiento en el tiempo de entrenamiento), destacando la brecha arquitectónica que aún debe cerrarse para lograr un control semántico completo.