⚡ electrical engineering

Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers

Este artículo presenta un marco de alcanzabilidad diferenciable y paralelizable en JAX que combina flowpipes de modelos de Taylor con propagación de límites al estilo de CROWN para habilitar el entrenamiento certificado y la planificación basada en gradientes para dinámicas y controladores de redes neuronales bajo incertidumbre.

Autores originales: Keyi Shen, Glen Chou

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Keyi Shen, Glen Chou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a realizar una tarea delicada, como empujar un objeto en forma de T a través de una mesa o hacer volar un dron a través de un espacio estrecho. Utilizas un "cerebro" (una red neuronal) para ayudar al robot a determinar cómo moverse. Este cerebro es increíblemente bueno para predecir qué sucederá a continuación basándose en experiencias pasadas.

Sin embargo, hay un gran problema: ¿Y si el robot se equivoca ligeramente? Quizás el suelo esté resbaladizo, o un sensor haya leído mal la distancia por un pequeño margen. En el mundo real, estos pequeños errores pueden acumularse. Un error minúsculo en el paso uno puede provocar un choque en el paso diez.

Tradicionalmente, los ingenieros tienen dos opciones:

Confiar completamente en el robot: Esto es rápido y funciona bien la mayor parte del tiempo, pero si algo sale mal, el robot podría chocar porque no tuvo en cuenta los "qué pasaría si".
Verificar formalmente las matemáticas: Esto garantiza la seguridad calculando todos los resultados posibles, pero es tan lento y complicado que no puede utilizarse mientras el robot se mueve o aprende realmente.

Este artículo introduce una nueva herramienta llamada DiffReach que actúa como una "calculadora de seguridad ultrarrápida" capaz de ejecutarse en tiempo real. Así es como funciona, utilizando algunas analogías cotidianas:

1. La analogía de la "Sombra" (Alcance)

Imagina que el robot es una persona caminando en un bosque neblinoso. No sabes exactamente dónde está, solo que se encuentra en algún lugar dentro de un pequeño círculo alrededor de un punto conocido.

Antigua forma: Para estar seguros, podrías dibujar una nube gigante y difusa alrededor de la persona que se hace más grande y más grande con cada paso, cubriendo eventualmente todo el bosque. Esto es seguro, pero es demasiado aterrador de usar porque dice "podrían chocar contra un árbol" incluso si están lejos.
La forma del artículo: DiffReach dibuja una sombra ajustada y flexible alrededor del robot. A medida que el robot se mueve, esta sombra se estira y se retuerce para seguir exactamente el camino del robot, pero nunca se hace más grande de lo necesario. Te dice: "Si el robot comienza aquí, podría terminar en cualquier lugar dentro de esta forma específica, pero en ningún otro".

2. La analogía de la "Línea de Ensamblaje" (Paralelo y Diferenciable)

Por lo general, calcular estas sombras es como una sola persona resolviendo un problema matemático en un papel. Lleva una eternidad.

La innovación: Los autores construyeron esta herramienta utilizando JAX (un potente motor de computación). Imagina que, en lugar de una persona, tienes una fábrica con miles de trabajadores (GPUs) realizando los cálculos simultáneamente.
Diferenciable: Esta es la parte mágica. Por lo general, las verificaciones de seguridad son como un "señal de stop": verificas, y si no es seguro, te detienes. No puedes usar la señal de stop para enseñar al robot a conducir mejor. DiffReach es como una rampa suave y deslizante. Debido a que las matemáticas son "diferenciables", el robot puede observar la sombra, ver dónde se está volviendo demasiado ancha y ajustar inmediatamente su cerebro (red neuronal) para hacer la sombra más estrecha. Convierte la seguridad de una "señal de stop" en un "volante".

3. El motor de dos partes

El artículo combina dos técnicas matemáticas diferentes en una sola máquina perfecta:

Modelos de Taylor (La parte analítica): Para las partes del robot que entendemos con la física (como la aerodinámica de un dron), utilizan un método que predice la trayectoria como una curva suave.
CROWN (La parte neuronal): Para las partes del "cerebro" (las redes neuronales), utilizan una técnica que verifica los límites de las predicciones de la IA.
La unificación: Crearon un lenguaje universal (una "Interfaz Unificada TM-CROWN") para que estos dos métodos diferentes puedan comunicarse entre sí sin perder precisión. Es como traducir una conversación entre un físico y un experto en IA sin perder ningún detalle en la traducción.

4. Lo que realmente hicieron (Los resultados)

Los autores no solo construyeron la herramienta; la utilizaron para hacer dos cosas específicas:

Entrenamiento certificado: Enseñaron al cerebro del robot a ser "consciente de la seguridad". En lugar de simplemente aprender a golpear un objetivo, el cerebro aprendió a mantener su "sombra" pequeña. Si la sombra se vuelve demasiado grande (lo que significa que el robot no está seguro), el entrenamiento lo penaliza. ¿El resultado? Robots que son tan buenos en sus trabajos como antes, pero mucho más seguros cuando las cosas salen mal.
Planificación segura (MPC): Utilizaron la herramienta para planificar trayectorias en tiempo real.
- En simulación: Lo probaron en un brazo robótico y en un enjambre de drones (¡hasta 72 dimensiones de movimiento!). La herramienta fue 100 veces más rápida que los métodos anteriores mientras mantenía los límites de seguridad ajustados.
- En el mundo real: Lo probaron en un brazo robótico real empujando un objeto en forma de T. El robot planificó con éxito sus movimientos mientras evitaba obstáculos, incluso cuando el entorno era ligeramente impredecible.

La conclusión

Este artículo presenta una forma de hacer que los robots sean inteligentes y seguros al mismo tiempo. Al hacer que la verificación de seguridad sea lo suficientemente rápida para ejecutarse en una tarjeta de video (GPU) y lo suficientemente flexible para formar parte del proceso de aprendizaje, permiten que los robots aprendan de la experiencia sin olvidar vigilar los "qué pasaría si".

Lo que NO afirmaron:

No afirmaron que esto funcione para cirugía médica o conducción autónoma en carreteras públicas todavía.
No afirmaron que resuelve todos los problemas de seguridad (admiten que aún lucha con horizontes temporales muy largos o contactos físicos complejos como pelotas rebotando).
Se centraron estrictamente en tareas robóticas como empujar objetos y hacer volar drones.

Resumen Técnico: Alcanzabilidad Diferenciable Paralela para Aprendizaje y Planificación con Dinámicas y Controladores Neuronales Certificados

Enunciado del Problema

Los modelos de dinámicas de redes neuronales (NN) y las políticas de control han demostrado un rendimiento empírico sólido en robótica, particularmente en entornos complejos donde el modelado analítico es inviable. Sin embargo, proporcionar garantías de seguridad robustas para sistemas de NN en bucle cerrado bajo incertidumbre sigue siendo un desafío significativo. El análisis de alcanzabilidad clásico ofrece garantías formales mediante sobre-aproximaciones de conjuntos alcanzables, pero a menudo escala mal, lucha con componentes de NN y produce cotas excesivamente conservadoras. Por el contrario, los métodos modernos de verificación de redes neuronales (NNV) como CROWN escalan bien a redes grandes, pero están diseñados principalmente para verificación estática, carecen de soporte para dinámicas de tiempo continuo y generalmente no son diferenciables.

En consecuencia, el análisis de alcanzabilidad suele limitarse a la certificación post-hoc, creando costosos ciclos de entrenamiento no certificado, verificación fallida y reentrenamiento. Existe una necesidad crítica de un marco que integre la alcanzabilidad certificada directamente en los flujos de trabajo de aprendizaje robótico y planificación en línea, soportando tanto sistemas de tiempo continuo como discreto con componentes analíticos y basados en NN, manteniéndose al mismo tiempo diferenciable y eficiente.

Metodología

Los autores proponen DiffReach, un marco de alcanzabilidad diferenciable paralelizable implementado en JAX. La innovación central es una representación unificada que combina la construcción de tuberías de flujo de modelo de Taylor (TM) para dinámicas analíticas con la propagación de cotas lineales estilo CROWN para componentes neuronales.

1. Representación Unificada (Interfaz Taylor-CROWN)

Para habilitar el cálculo por lotes en GPU y la diferenciación automática, el marco adopta una representación de modelo de Taylor de forma fija. En lugar de polinomios de tamaño variable, los conjuntos alcanzables se representan como:
$F(z) = c + Az \oplus I \quad \text{o} \quad F(z) = c + Az + B \tau z \oplus I$
donde $z$ aumenta el estado con el tiempo, $c$ es una constante, $A$ y $B$ son matrices que capturan dependencias afines y cuasi-cuadráticas, e $I$ es un residuo de intervalo. Esta representación preserva las dependencias afines sin relajación de intervalo intermedia.

Componentes Neuronales: El marco aprovecha CROWN (vía jax_verify) para calcular cotas afines para redes neuronales. Una contribución clave es imponer una restricción de pendiente compartida en CROWN, asegurando que las cotas inferior y superior compartan el mismo término lineal. Esto permite que las salidas de la red neuronal se representen como TMs lineales, manteniendo la compatibilidad con la tubería de dinámicas analíticas.
Sistemas de Tiempo Continuo (CT): Para sistemas CT con control de retroalimentación NN, el marco alterna entre:
1. Certificación del Controlador: Utilizando la interfaz TM-CROWN para certificar la salida del controlador neuronal dada la envolvente TM del estado actual.
2. Propagación de Dinámicas: Propagando las dinámicas del sistema (ODE analítica o neuronal) utilizando tuberías de flujo TM bajo una política de retención de orden cero para la entrada de control.
Sistemas de Tiempo Discreto (DT): La alcanzabilidad se reduce a una propagación paso a paso donde la interfaz TM-CROWN certifica el mapa de un paso en cada intervalo de tiempo.

2. Aplicaciones de DiffReach en Robótica

Construyendo sobre el motor DiffReach, los autores desarrollan dos métodos enfocados en robótica:

Entrenamiento Certificado: Un método de entrenamiento para dinámicas y controladores neuronales que aumenta las pérdidas estándar de predicción o seguimiento con un término de regularización consciente de la alcanzabilidad. Este término penaliza el crecimiento del volumen de los conjuntos alcanzables certificados bajo incertidumbre acotada. Para estabilizar el entrenamiento, se emplea una estrategia de aprendizaje curricular, aumentando progresivamente el horizonte de despliegue y disminuyendo el radio de perturbación.
MPC Consciente de la Alcanzabilidad: Un esquema de Control Predictivo Basado en Modelos (MPC) basado en muestreo que integra conjuntos alcanzables certificados en la planificación en línea. El planificador optimiza una función de costo que comprende el objetivo de la tarea y una penalización por trayectorias inseguras o conjuntos alcanzables grandes. La paralelización permite una evaluación eficiente de muchas trayectorias candidatas, aplicando refinamiento basado en gradientes a los principales candidatos para reducir aún más el conservadurismo.

Contribuciones Clave

Marco de Alcanzabilidad Diferenciable Paralelo: Una representación unificada basada en JAX que combina tuberías de flujo de modelo de Taylor y propagación de cotas estilo CROWN para sistemas de tiempo continuo y discreto con dinámicas/controladores analíticos y basados en NN.
Método de Entrenamiento Certificado: Un enfoque de aprendizaje que utiliza objetivos de conjuntos alcanzables diferenciables para mejorar la robustez de componentes neuronales bajo incertidumbre, fomentando modelos "amigables con la alcanzabilidad".
MPC Consciente de la Alcanzabilidad: Un esquema de planificación en línea que integra conjuntos alcanzables certificados en MPC basado en muestreo con refinamiento basado en gradientes, habilitando una planificación verificada por construcción.
Validación Experimental: Evaluación exhaustiva en manipulación no prensil (empuje en T) y tareas de cuadricóptero, incluyendo experimentos en hardware y evaluaciones de alta dimensión (hasta 72D), demostrando planificación en línea práctica con garantías certificadas.

Resultados

El marco fue evaluado en una GPU RTX 4090 a través de varias dimensiones:

Eficiencia y Precisión: En comparación con las líneas base de estado del arte de DT (CROWN) y CT (immrax), DiffReach logra una precisión de conjunto alcanzable comparable mientras es aproximadamente 100 veces más rápido que CROWN para sistemas DT. Para sistemas CT, produce conjuntos alcanzables sustancialmente más ajustados que immrax, que a menudo sufre de desbordamiento numérico y tubos de volumen infinito.
Escalabilidad: El marco escala efectivamente a sistemas de mayor dimensión, incluyendo un enjambre de 6 cuadricópteros (estado de 72D) y un brazo planar de 10 articulaciones (estado de 40D). Aunque la memoria escala como $O(n^2)$ , el tiempo de ejecución escala favorablemente debido a las operaciones matriciales paralelas en GPU.
Entrenamiento Certificado: Los modelos entrenados con regularización de alcanzabilidad lograron un rendimiento nominal comparable al entrenamiento estándar, pero produjeron conjuntos alcanzables sustancialmente más ajustados. Estos conjuntos coincidieron estrechamente con los volúmenes de cota inferior muestreados, mientras que los modelos no certificados produjeron predicciones sueltas y menos verificables.
Planificación Robusta: En experimentos de MPC bajo perturbaciones acotadas, el planificador consciente de la alcanzabilidad mantuvo altas tasas de éxito y satisfizo las restricciones, mientras que el MPC convencional con modelos no certificados falló significativamente bajo perturbaciones mayores (por ejemplo, contacto no intencional en tareas de empuje en T).
Despliegue en Hardware: El sistema se desplegó en una plataforma Kuka iiwa para empuje en T, funcionando en línea a aproximadamente 10 Hz (5 Hz con refinamiento), demostrando la viabilidad de integrar la alcanzabilidad diferenciable en el control robótico en tiempo real.

Significado y Afirmaciones

El artículo afirma que DiffReach cierra la brecha entre la verificación formal y el aprendizaje robótico al proporcionar un primitivo de alcanzabilidad diferenciable y acelerado por GPU. A diferencia de los métodos anteriores restringidos a la verificación fuera de línea, este marco permite que los objetivos de conjuntos alcanzables informen directamente el entrenamiento de dinámicas y controladores neuronales y la ejecución de la planificación en línea.

Los autores enfatizan que su enfoque habilita el aprendizaje y la planificación "verificados por construcción", reduciendo la dependencia de costosos ciclos de certificación post-hoc. Al unificar los modelos de Taylor y CROWN dentro de un único grafo de cálculo, el método preserva las dependencias afines y soporta tanto sistemas de tiempo continuo como discreto, abordando una limitación crítica en las herramientas actuales de análisis de NN en bucle cerrado.

El trabajo concluye reconociendo las limitaciones actuales, como los desafíos con el conservadurismo de horizontes largos y las dinámicas híbridas o ricas en contactos, pero postula que este marco motiva futuras investigaciones hacia la alcanzabilidad diferenciable escalable y una integración más estrecha entre la verificación formal, el aprendizaje robótico y el control.