ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space

1. Planteamiento del Problema

El artículo aborda el desafío fundamental de generar procesos estocásticos en tiempo y espacio continuos (por ejemplo, videos, pronósticos meteorológicos, precios de acciones) condicionados a observaciones parciales. Estas observaciones pueden ser:

• Muestreadas irregularmente: Los puntos de datos no están espaciados uniformemente en el tiempo (por ejemplo, lecturas de GPS esporádicas).
• No causales: Condicionamiento sobre estados futuros (por ejemplo, rellenar un video dado el primer y el último fotograma).
• Subconjuntos arbitrarios: El modelo debe manejar cualquier combinación de observaciones pasadas, presentes y futuras.

Limitaciones de los Enfoques Existentes:

• Difusión de Ruido a Datos: Los modelos de difusión estándar (por ejemplo, DDPM) mapean ruido gaussiano a datos. Esto ignora la continuidad física de las series temporales, donde los estados adyacentes son altamente similares. Comenzar desde un ruido no informativo conduce a una mala preservación estructural y transiciones físicamente implausibles.
• Programas de Volatilidad Fijos: Los puentes de difusión existentes a menudo utilizan una variable de tiempo auxiliar $\tau \in [0, 1]$ independiente del tiempo físico. Inyectan la misma cantidad de ruido independientemente del tiempo físico transcurrido entre estados. Esto falla en capturar la dinámica correcta (por ejemplo, una brecha de 1 segundo debería tener menos volatilidad que una brecha de 1 hora).
• Suposiciones Markovianas: La mayoría de los modelos asumen que el siguiente estado depende únicamente del estado inmediato anterior, ignorando las dependencias temporales de largo alcance y el historial de la trayectoria.
• Tiempo Discreto: Muchos modelos autoregresivos operan sobre cuadrículas fijas, lo que los hace inadecuados para el muestreo irregular o la inferencia en tiempo continuo.

2. Metodología: El Marco ABC

Los autores proponen ABC (Modelos Autoregresivos de Cualquier Subconjunto mediante Puentes de Difusión No Markovianos), que unifica los modelos de difusión y la generación autoregresiva en tiempo y espacio continuos.

Idea Central

En lugar de encadenar múltiples puentes cortos o mapear ruido a datos, ABC modela todo el proceso como una única Ecuación Diferencial Estocástica (EDE) continua, donde la variable de tiempo y los estados intermedios corresponden directamente al tiempo físico y a los estados del proceso.

Componentes Técnicos Clave

A. Dinámicas de Generación de Datos mediante Cambio de Medida

• Proceso Base: Los autores definen un proceso base independiente de los datos (un proceso de Ornstein-Uhlenbeck) $dX_t = -a(t)X_t dt + \sigma(t)dB_t$.
• Transformación $h$ de Doob: Para hacer que el proceso base coincida con la distribución de datos $p_{data}$ en puntos de tiempo específicos, aplican un cambio de medida (transformación $h$ de Doob). Esto introduce un término de deriva que "atrae" la EDE hacia regiones de alta densidad de los datos en los tiempos prescritos.
• Deriva No Markoviana: A diferencia de la difusión estándar, la deriva $s(t, X_t; X_{0:i^*})$ es dependiente de la trayectoria. Condiciona sobre todo el historial de estados observados $X_{0:i^*}$ (donde $i^*$ es el índice de la observación más reciente antes del tiempo $t$). Esto permite al modelo capturar correlaciones complejas y no markovianas.

B. Volatilidad Adaptativa al Tiempo

• La volatilidad $\sigma(t)$ en la EDE está vinculada al tiempo físico.
• Teorema 3 demuestra que encadenar puentes de difusión separados (incluso si coinciden con las distribuciones marginales) resulta en medidas de trayectoria incorrectas (variaciones cuadráticas) en comparación con una única EDE continua.
• Al utilizar una única EDE con tiempo físico, la inyección de ruido escala naturalmente con el tiempo transcurrido, asegurando dinámicas físicamente plausibles (por ejemplo, menos cambio en intervalos cortos, más en intervalos largos).

C. Emparejamiento de Puntuación Dependiente de Trayectoria y Tiempo

• Objetivo de Entrenamiento: Los autores derivan una función de pérdida que generaliza el Emparejamiento de Puntuación de Eliminación de Ruido (DSM) al caso no markoviano y dependiente del tiempo.
• Objetivo: La red aprende a predecir la puntuación $\nabla_{x_t} \log p_{base}(x_{t_{i^*+1}} | x_t)$, efectivamente prediciendo cómo debe ajustarse el estado actual $x_t$ para alinearse con el siguiente punto de referencia observado $x_{t_{i^*+1}}$, condicionado al historial completo de la trayectoria.
• Condicionamiento de Cualquier Subconjunto: La red neuronal (un Transformer con atención cruzada) toma como entrada:
  • El estado ruidoso actual $x_t$.
  • El tiempo físico actual $t$.
  • El tiempo del siguiente estado objetivo $t_{i^*+1}$.
  • El conjunto de todos los puntos de referencia observados (pasados y futuros) $K$.
    Esto permite al modelo manejar subconjuntos arbitrarios de observaciones, incluidos fotogramas futuros no causales.

D. Arquitectura

• Basada en el Transformer de Difusión (DiT).
• Extiende DiT con capas de atención cruzada para procesar los puntos de referencia de condicionamiento (pasados y futuros).
• Las entradas incluyen el latente ruidoso, el tiempo actual, el tiempo del siguiente punto de referencia y un conjunto de fotogramas de condicionamiento con sus marcas de tiempo.

3. Contribuciones Clave

1. Modelo ABC: Un modelo generativo novedoso basado en EDE que generaliza la autoregresión a tiempo y espacio continuos, abordando específicamente el caso de Cualquier Subconjunto (muestreo irregular, condicionamiento no causal).
2. Garantías Teóricas:
   • Demuestra que una única EDE continua con seguimiento de tiempo físico es necesaria para capturar medidas de trayectoria correctas (Teorema 3).
   • Demuestra que la volatilidad adaptativa al tiempo es crucial para un modelado fiel de procesos estocásticos.
3. Objetivo de Entrenamiento: Deriva un objetivo de entrenamiento escalable y libre de simulación (Emparejamiento de Puntuación de Puente Dependiente de Trayectoria) que extiende DSM a escenarios no markovianos y dependientes del tiempo.
4. Validación Empírica: Muestra un rendimiento de vanguardia en generación de video y pronóstico meteorológico, superando a los puentes de difusión encadenados y a la difusión de ruido a datos.

4. Resultados Experimentales

Los autores evaluaron ABC en CelebV-HQ (videos de rostros), Sky-Timelapse (videos meteorológicos) y SEVIR (datos meteorológicos de radar).

• Métricas: Se utilizó FVD (Distancia de Video de Fréchet) para la consistencia temporal y FID para la calidad de los fotogramas. Para el clima, se utilizaron MAE, MSE y CSI (Índice de Éxito Crítico).
• Rendimiento:
  • Generación de Video: ABC superó significativamente a las líneas base (Puentes de Difusión Condicional y Difusión de Ruido a Datos) en FVD, especialmente en configuraciones no causales (relleno de fotogramas faltantes). Logró optimalidad de Pareto tanto en FVD como en FID.
  • Pronóstico Meteorológico: ABC logró el mejor rendimiento general en SEVIR, demostrando una precisión superior en la predicción de eventos de tormentas en comparación con las líneas base.
  • Estudios de Ablación:
    • Volatilidad: Los modelos con volatilidad adaptativa al tiempo (ABC) superaron consistentemente a aquellos con programas de volatilidad fijos.
    • Condicionamiento: El condicionamiento dependiente de la trayectoria (usando el historial completo) produjo mejores resultados que el condicionamiento markoviano (solo el último fotograma) o solo de prefijo.
    • Datos a Datos vs. Ruido a Datos: Los puentes de datos a datos (ABC) fueron superiores a la difusión de ruido a datos, que sufrió de rigidez numérica y dinámicas incoherentes.

5. Significado e Impacto

• Cambio de Paradigma: Va más allá del paradigma de "ruido a datos" para series temporales, estableciendo un marco de puente "datos a datos" que respeta la continuidad del tiempo físico.
• Flexibilidad: Resuelve el problema largamente ignorado de la Autoregresión de Cualquier Subconjunto en tiempo continuo, habilitando aplicaciones como la inpainting de video con tasas de fotogramas irregulares, la imputación de datos de sensores dispersos y el pronóstico no causal.
• Rigor Teórico: Proporciona una derivación matemáticamente sólida utilizando la teoría de la medida y el cálculo estocástico, demostrando por qué los enfoques anteriores de "puente encadenado" fallan en capturar la dinámica correcta.
• Utilidad Práctica: Demuestra que modelar directamente la evolución del tiempo físico conduce a generaciones más realistas y coherentes en dominios complejos como el clima y el video.

En resumen, ABC representa un avance significativo en el modelado generativo para series temporales al unificar puentes de difusión, autoregresión y dinámicas de tiempo continuo en un único marco fundamentado teóricamente que se adapta a la realidad física de los datos.