Resumen Técnico: Regresión de Kolmogorov para Políticas de Difusión Robustas

Planteamiento del Problema

Las políticas de difusión de dimensión finita (FD), aunque dominantes en el aprendizaje de políticas visuomotoras para la robótica y sistemas autónomos, sufren de deriva temporal causada por artefactos de discretización. Los enfoques estándar discretizan los espacios de acción (por ejemplo, mapeando trayectorias continuas a píxeles o tokens de texto) antes del entrenamiento. Este esquema de "discretizar-los-datos-antes-de-la-difusión" desalinea las políticas con la dinámica subyacente del sistema autónomo continuo. Los artefactos de rejilla resultantes generan errores de interpolación que se acumulan a través de los rollouts de la trayectoria, lo que conduce a:

• Inestabilidad en despliegues del mundo real con importancia crítica para la seguridad.
• Ejecución deficiente de la planificación de largo horizonte.
• Límites de convergencia que se degradan como $O(\sqrt{d})$ con la dimensión de la acción $d$.
• Una falta de diagnósticos deterministas para el fallo de la política sin depender de señales de recompensa.

El artículo argumenta que una aproximación fundamentada en el control debería representar la distribución sobre trayectorias admisibles directamente en el espacio de funciones, postergando la discretización tanto como sea posible para preservar la estructura geométrica de la dinámica.

Metodología

Los autores proponen un Marco de Difusión de Dimensión Infinita (ID) fundamentado en la teoría de la medida Gaussiana y la Ecuación de Kolmogorov hacia Atrás (BKE). En lugar de aprender un objetivo de concordancia de puntuación (score matching) estocástico en el espacio euclidiano, el método eleva la política de difusión a un espacio de Cameron-Martin (un subconjunto del espacio de Hilbert $H = L^2([0, T], \mathbb{R}^{d_a})$).

La innovación central reemplaza el flujo de trabajo estándar de DDPM con tres sustituciones mínimas que no requieren cambios en la arquitectura de la red neuronal:

1. Ruido de Propagación (Forward) Coloreado:

   • El ruido blanco estándar $\eta \sim \mathcal{N}(0, I)$ se reemplaza con ruido coloreado $\eta = L_N \xi$, donde $\xi \sim \mathcal{N}(0, I)$ y $L_N = \text{chol}(G_N)$ es el factor de Cholesky de una matriz de Gram de Matérn.
   • Esto respeta la estructura de covarianza de la distribución de la acción, produciendo trayectorias suaves y físicamente plausibles, y evitando discontinuidades abruptas de velocidad.

2. Pérdida de Cameron-Martin con Pesado de Precisión:

   • El error cuadrático medio (MSE) estándar se reemplaza por la pérdida de Cameron-Martin:
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • Aquí, $C_\mu$ es el operador de covarianza. Este pesado por el inverso de la covarianza asegura que la pérdida de eliminación de ruido preserve la estructura de la medida de la distribución de ruido subyacente (vía el teorema de Radon-Nikodym) y logra una convergencia independiente de la dimensión.

3. Ruido de Propagación (Reverse) Coloreado:

   • Durante la inferencia, el ruido blanco se reemplaza con la misma estructura de ruido coloreado ($\eta = L_N \xi$) utilizada en el entrenamiento para mantener la consistencia con la estructura de covarianza a lo largo de toda la trayectoria de muestreo.

Fundamento Teórico: La Ecuación de Kolmogorov hacia Atrás (BKE)

El marco evita las formulaciones basadas en densidad (que fallan en dimensiones infinitas debido a la falta de una medida de referencia de Lebesgue) definiendo la puntuación (score) como una derivada logarítmica de Cameron-Martin. La función de valor $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ satisface la BKE determinista:
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
Esto transforma el problema estocástico de concordancia de puntuación en un problema de PDE de valor en la frontera determinista.

Diagnóstico en Tiempo de Inferencia: El Residuo de Kolmogorov

Una contribución novedosa es el Residuo de Kolmogorov ($R(\hat{u})$), una señal determinista y libre de oráculo para detectar el fallo de la política. Mide la violación de la restricción de la BKE por parte de la función aprendida $\hat{u}$:
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
Residuos altos indican desviaciones de la restricción de la BKE, correlacionándose con modos de fallo posteriores (por ejemplo, deriva de la trayectoria o planificación infactible) sin requerir recompensas de la tarea o verdad de campo.

Contribuciones Clave

1. PDEs de Kolmogorov para Difusión: El fundamentar las políticas de difusión en la BKE reemplaza la concordancia de puntuación estocástica con un problema de valor en la frontera determinista, proporcionando garantías de convergencia donde las constantes dependen del rango efectivo del kernel en lugar de la dimensión de la acción.
2. Instanciación Algorítmica de Tres Puntos: Demostrar que el marco de dimensión infinita se reduce a tres sustituciones en el DDPM estándar (ruido coloreado, pérdida con pesado de precisión, ruido de propagación coloreado), permitiendo una adopción fácil sin cambios en la arquitectura de la red.
3. Detección de Fallos Determinista: Introducir el residuo de Kolmogorov como un diagnóstico interpretable y no supervisado para la confiabilidad de la política.
4. Validación Multidominio: Validar el enfoque a través de la manipulación robótica y el control de flujo de manufactura.

Resultados Experimentales

1. Benchmark de Manipulación PushT

• Desempeño: La pérdida de Cameron-Martin logró una mejora del 17% en la recompensa máxima del episodio (0.95 vs. 0.78 para MSE).
• Calidad de la Trayectoria: Una reducción del 67.6% en las derivas entre pasos durante la inferencia comparado con los baselines de MSE.
• Diagnósticos: El residuo de Kolmogorov para el modelo entrenado con CM fue de $\approx 0.11$ (vs. $\approx 0.34$ para MSE), mostrando una fuerte alineación con la restricción de la BKE. Los residuos altos se correlacionaron fuertemente con el fallo de la tarea.

2. Control de Flujo de Manufactura (6-Estación CONWIP)

• Pronóstico: El modelo de dimensión infinita logró un RMSE un 28.4% menor en el pronóstico de Trabajo en Proceso (WIP) comparado con los baselines clásicos de LSTM.
• Detección de Anomalías: El residuo de Kolmogorov sirvió como detector de cuello de botella con Precisión@1 = 1.0 y una relación señal-ruido de 13× (identificando la estación sobrecargada S2 con un residuo medio de 13.05 frente a 0.96 para las demás).
• Certificación de Seguridad: Integrado con la teoría de alcanzabilidad de Hamilton-Jacobi (HJ), el sistema certificó políticas de despacho que redujeron los eventos de interbloqueo (deadlock) en un 96% (351 eventos prevenidos en 100 ejecuciones) comparado con el despacho no controlado.

Significancia y Reivindicaciones

El artículo afirma que, al elevar las políticas de difusión a espacios de funciones de dimensión infinita y fundamentarlas en la teoría de la medida, se resuelve la desalineación fundamental entre los artefactos de entrenamiento discretos y la dinámica física continua.

• Garantías de Convergencia: Los límites teóricos muestran tasas de convergencia desacopladas de la dimensión del problema, dependiendo en su lugar de las propiedades espectrales (rango efectivo) del operador de covarianza.
• Interpretabilidad: El marco proporciona un diagnóstico consciente de la física (el residuo de Kolmogorov) que detecta el fallo de la política sin señales de recompensa, cerrando la brecha entre el aprendizaje de caja negra y la verificación de seguridad crítica.
• Superioridad Operativa: En manufactura, el método supera al pronóstico basado en escalares (LSTM) al capturar acoplamientos entre estaciones con valores de función y proporciona envolventes de seguridad certificadas mediante la alcanzabilidad de HJ, previniendo fallos operativos como la inanición (starvation) y el interbloqueo.

Los autores concluyen que la estructura de dimensión infinita no es meramente un constructo teórico, sino que es operativamente superior para sistemas donde la dinámica subyacente tiene valores de función, ofreciendo un camino hacia el despliegue más confiable, interpretable y seguro de las políticas de difusión.