Resumen Técnico: DISK – Omisión de Inferencia Dinámica para Modelos de Mundo

1. Declaración del Problema

Los modelos de mundo autorregresivos, particularmente aquellos basados en Transformers de Difusión (DiTs), han demostrado capacidades sólidas para predecir el contenido futuro de la escena y el movimiento del ego para la conducción en bucle cerrado. Sin embargo, estos modelos sufren de una latencia de inferencia y costos computacionales significativos. En entornos autorregresivos, el costo se acumula con el tiempo porque cada fotograma y trayectoria predicha condiciona el siguiente paso. Los despliegues de largo horizonte requieren miles de evaluaciones del modelo a través de ramas acopladas de visión y trayectoria.

Los métodos de aceleración existentes no logran abordar este desafío específico de manera efectiva:

• La aceleración de pasos fijos o la reducción global de pasos degrada la fidelidad y la estabilidad, especialmente cuando se acumulan pequeños errores en los despliegues de bucle cerrado.
• Los aceleradores en tiempo de entrenamiento (p. ej., modelos de consistencia, destilación progresiva) requieren un reentrenamiento o destilación costosos, lo que rompe la flexibilidad de "conectar y usar" necesaria para acelerar los modelos fundacionales existentes sin alterar su comportamiento aprendido.
• Las adaptaciones en tiempo de inferencia (p. ej., formulaciones deterministas, resolvedores de ODE de orden superior) no se adaptan a la dificultad por paso y no logran coordinar las predicciones visuales y de trayectoria en ramas acopladas.
• Los optimizadores de rama única (p. ej., salida temprana, caché de características) optimizan la computación dentro de una sola red pero no coordinan las ramas transmodales, con el riesgo de desincronización entre la apariencia y el movimiento.

El desafío central es reducir el costo de inferencia dinámicamente basado en la complejidad de la escena (p. ej., crucero en autopista estático frente a maniobras críticas) sin reentrenar el modelo ni comprometer la consistencia entre el video generado y la trayectoria predicha.

2. Metodología

Los autores proponen DISK (Dynamic Inference SKipping), un módulo de inferencia adaptativa libre de entrenamiento que opera puramente en tiempo de prueba. DISK coordina dos transformers de difusión acoplados —uno para el video (Vision DiT) y otro para la trayectoria del ego (Trajectory DiT)— mediante controladores de doble rama con decisiones de omisión transmodales.

2.1. Omisión Adaptativa por Paso

Para cada paso de difusión $k$ en la cuadrícula de tiempo inverso, el controlador decide si computar una nueva predicción o reutilizar una almacenada en caché. La decisión se basa en una prueba de suavidad local:

• Proxi de Dificultad ($d_k$): El cambio absoluto medio en el estado latente entre pasos de difusión consecutivos.
• Verificación de Curvatura ($\Delta_k$): Un criterio de diferencia finita de segundo orden que mide la linealidad local de la evolución latente. Si los cambios latentes son localmente afines (baja curvatura), el paso se considera predecible.
• Decisión de Omisión: Si $\Delta_k \leq \theta \cdot d_{k+1}$ (donde $\theta$ es un umbral de tolerancia), el paso se omite y se reutiliza la predicción en caché. De lo contrario, se realiza un pase hacia adelante completo.

Guardas de Seguridad: Para prevenir la acumulación de errores y comportamientos degenerados, se aplican tres guardas:

1. Calentamiento ($W$): Computación obligatoria para los primeros $W$ pasos.
2. Límite de Omisiones Consecutivas ($C_{max}$): Limita el número de omisiones consecutivas para evitar la deriva.
3. Umbral de Estancamiento ($\epsilon$): Fuerza la computación si el cambio latente es numéricamente diminuto (cercano a cero), evitando omisiones infinitas en estados estancados.

2.2. Coordinación Transmodal

Omitir ramas individualmente puede desincronizar la apariencia y el movimiento. DISK introduce una puerta de seguridad unidireccional:

• El Controlador de Trayectoria monitorea sus propias guardas de seguridad. Si la rama de trayectoria encuentra una maniobra compleja (activando una condición de seguridad), se levanta una señal $\sigma^{(t)}_k$.
• Acoplamiento Unidireccional: Si $\sigma^{(t)}_k = 1$, la rama de Visión es forzada a computar, independientemente de su propia prueba de suavidad. Esto asegura que los movimientos complejos del ego se rendericen con los cambios visuales correspondientes.
• Asimetría: La complejidad visual no fuerza la computación de la trayectoria. Esto prioriza el rendimiento, ya que la rama de trayectoria es típicamente más rápida, mientras asegura que la rama de video, que es más lenta, no se retrase respecto a las maniobras críticas.

2.3. Estabilidad Autorregresiva

Para estabilizar los despliegues de largo horizonte, DISK propaga las estadísticas del controlador a través de la cadena autorregresiva. Después de cada paso de despliegue $s$, los resúmenes (conteos de computación/omisión y fracciones de seguridad) se pasan al siguiente paso. Se calcula una puntuación de dificultad transmodal ($\beta_s$) a partir de la fracción máxima de seguridad de ambas ramas. Esta puntuación ajusta dinámicamente la ventana de calentamiento y el umbral de omisión para el paso subsiguiente, expandiendo la ventana de cómputo tras maniobras difíciles y relajándola una vez que la escena se estabiliza.

3. Contribuciones Clave

1. Marco Adaptativo Libre de Entrenamiento: Un método que orquesta los DiTs de visión y trayectoria utilizando decisiones de omisión adaptativas por paso, reduciendo el costo computacional sin reentrenar ni alterar los pesos del modelo.
2. Coordinación de Omisión Transmodal: Un mecanismo que armoniza las ramas de visión y trayectoria mediante una puerta de seguridad unidireccional y la propagación de estadísticas de los controladores, asegurando la consistencia entre movimiento y apariencia durante los despliegues de largo horizonte.
3. Preservación de la Cadena de Autocondicionamiento de Avance (Chain-of-Forward Self-Conditioning): El método aborda explícitamente los desafíos del bucle cerrado de conducción, manteniendo la integridad del bucle autorregresivo mientras se omiten pasos.

4. Resultados Experimentales

El método fue evaluado en 1500 muestras de los conjuntos de datos NuPlan y NuScenes utilizando una GPU NVIDIA L40S, integrado en el modelo de mundo Epona (un modelo de 2.5 mil millones de parámetros).

4.1. Velocidad de Inferencia

• Rama de Trayectoria (TrajDiT): Logró una aceleración de ~2× (reducción de ~20ms a ~10ms por paso).
• Rama de Visión (VisDiT): Logró una aceleración de ~1.6× (reducción de ~244ms a ~155ms por paso).
• Global: Reducción significativa en la latencia total por paso manteniendo la misma arquitectura de modelo.

4.2. Rendimiento de Planificación

• Bucle Abierto (Open-Loop): DISK mantuvo errores de desplazamiento L2 casi idénticos a la línea base (p. ej., L2@3s: 0.3007 vs. 0.3011).
• Bucle Cerrado (NAVSIM): DISK logró resultados competitivos en la Puntuación del Modelo de Conductor Predictivo (PDMS).
  • Línea base PDMS: 85.4
  • DISK PDMS: 83.6
  • Las sub-métricas (NC, DAC, TTC, Comf, EP) mostraron solo caídas modestas, indicando que se preservó la seguridad y la capacidad de conducción.

4.3. Calidad Visual

• Métricas: El FID aumentó ligeramente de 7.5 a 12.5; FVD de 82.8 a 88.1.
• Cualitativo: A pesar del cambio en las métricas, las comparaciones visuales mostraron que los videos generados eran "visualmente indistinguibles" de la línea base, con alta consistencia temporal.

4.4. Estudios de Ablación

• Umbral ($\theta$): Se identificó $\theta=0.01$ como el equilibrio óptimo entre aceleración (~2.03×) y calidad.
• Máximo de Omisiones Consecutivas ($C_{max}$): $C_{max}=4$ proporcionó el mejor compromiso. Valores más altos (p. ej., 8) aumentaron la velocidad pero degradaron la estabilidad visual (FID 12.65).
• Calentamiento ($W$): $W=3$ fue suficiente; $W=0$ ofreció métricas similares pero con riesgo de inestabilidad temprana, mientras que $W=5$ redujo la eficiencia sin ganancias en calidad.

5. Significado y Reivindicaciones

El artículo afirma que DISK demuestra una predicción de video y trayectoria de largo horizonte práctica con un costo sustancialmente reducido. Su principal importancia radica en:

• Eficiencia Plug-and-Play: Ofrece una forma de acelerar los modelos fundacionales existentes sin el costo prohibitivo de reentrenar o realizar destilación.
• Adaptación Dinámica: A diferencia de los métodos de pasos fijos, DISK asigna el cómputo a la complejidad de la escena, ahorrando recursos en fotogramas simples mientras preserva la precisión durante maniobras críticas.
• Viabilidad en Bucle Cerrado: Logra mantener la estabilidad requerida para la conducción en bucle cerrado, donde la acumulación de errores es un modo de falla crítico, mediante la coordinación de las ramas transmodales y la propagación de estadísticas de dificultad.

Los autores concluyen que, si bien existe un intercambio menor en las métricas visuales (FID/FVD), la sustancial aceleración y la preservación de la precisión de planificación hacen que DISK sea una solución viable para reducir los presupuestos de energía y latencia de las simulaciones de conducción autónoma y los procesos de planificación en tiempo real.