⚡ electrical engineering

Deep Reinforcement Learning for Reach-Avoid-Stay Problems

Este artículo propone un marco de aprendizaje por refuerzo profundo de dos etapas que aprende conjuntamente el conjunto de Alcance-Evitación-Permanencia (Reach-Avoid-Stay) máximo y robusto y una política de control de conmutación correspondiente, demostrando una precisión y un rendimiento superiores para asegurar que los sistemas alcancen y permanezcan de forma segura dentro de los conjuntos objetivo bajo perturbaciones acotadas en comparación con los métodos existentes.

Autores originales: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Publicado 2026-09-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gabriel Chenevert, Jingqi Li, Achyuta kannan, Sangjae Bae, Donggun Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la robótica y las máquinas autónomas, la seguridad no se trata solo de evitar un choque; se trata de saber exactamente hacia dónde puede ir una máquina y, lo que es más importante, dónde debe detenerse. Imagine un coche autónomo o un dron de reparto navegando por una ciudad concurrida. Los ingenieros utilizan herramientas matemáticas para mapear "zonas seguras", asegurando que, si la máquina parte de un determinado punto, pueda llegar a su destino sin chocar con nada. Sin embargo, un fallo común en los mapas de seguridad es que a menudo le dicen a la máquina cómo llegar a un objetivo, pero no le indican cómo permanecer allí. Un vehículo podría llegar a un lugar de estacionamiento pero, debido al viento o a una velocidad repentina, ser incapaz de frenar lo suficiente como para permanecer estacionado, lo que provocaría que se desplace fuera de la zona segura y hacia el peligro. Esta brecha entre llegar y permanecer ha sido durante mucho tiempo un problema difícil para los científicos de la computación que intentan hacer que las máquinas sean verdaderamente fiables en entornos impredecibles.

Para resolver esto, un equipo de investigadores de la Universidad Estatal de North Carolina y la Universidad de Texas en Austin desarrolló una nueva forma de enseñar a las máquinas a alcanzar una meta y mantener su posición frente a cualquier perturbación. Se centraron en un desafío específico llamado el problema de "alcanzar-evitar-permanecer" (reach-avoid-stay). En términos sencillos, esto pregunta: desde qué puntos de partida puede una máquina alcanzar de forma segura un objetivo, evitar todos los obstáculos y luego permanecer dentro de ese objetivo para siempre, incluso si sopla el viento o la carretera está resbaladiza. Los métodos anteriores tenían dificultades con esto porque dependían de diseños matemáticos complejos que eran difíciles de crear para máquinas complicadas, o hacían suposiciones poco realistas, como asumir que un vehículo podía detenerse instantáneamente. Los investigadores propusieron un proceso de aprendizaje de dos pasos utilizando un tipo de inteligencia artificial conocida como aprendizaje por refuerzo profundo (deep reinforcement learning), donde una computadora aprende mediante ensayo y error en un mundo simulado.

El enfoque del equipo funciona como un viaje de dos etapas. Primero, la computadora aprende a identificar una zona interior especial dentro del área del objetivo. Esta zona interior es un lugar donde la máquina puede permanecer segura para siempre, sin importar las perturbaciones que enfrente. Los investigadores llaman a esto el "núcleo de viabilidad robusta" (robust viability kernel). Para encontrar esto, la IA aprende una política, o un conjunto de reglas, que mantiene a la máquina moviéndose de una manera que nunca le permita salirse de este círculo interior seguro. Una vez que la computadora ha dominado este comportamiento de "permanecer", pasa al segundo paso. Aquí, aprende cómo llevar a la máquina desde cualquier punto de partida hasta esa zona interior segura lo más rápido posible, evitando al mismo tiempo todos los obstáculos en el camino. Los investigadores demostraron matemáticamente que si una máquina puede alcanzar esta zona interior y luego permanecer allí, ha completado con éxito la tarea completa. Al combinar estos dos comportamientos aprendidos en un único sistema de conmutación, la máquina sabe exactamente cuándo conducir hacia el objetivo y cuándo cambiar a un modo que la mantenga fija en su lugar.

Los investigadores probaron este método en varios escenarios diferentes, que van desde un simple carro bidimensional en una pista hasta simulaciones complejas de alta dimensión de un taxi de despegue y aterrizaje vertical volando a través de una ciudad y un tractor descargando cultivos de una cosechadora en movimiento. En el caso del carro simple, compararon su nuevo método con una técnica antigua que utiliza funciones matemáticas complejas. Su nuevo enfoque identificó un área de inicio segura que era casi quince veces más grande que el área encontrada por el método anterior, lo que significa que permitía que la máquina comenzara desde muchas más posiciones sin riesgo de fallo. En las simulaciones más complejas que involucraban al taxi volador y al tractor, el nuevo método identificó las áreas de inicio seguras con una precisión superior al 95 por ciento, incluso cuando el proceso de aprendizaje incluyó pequeños errores típicos del entrenamiento computacional.

Los resultados mostraron una diferencia marcada entre las máquinas entrenadas con los métodos antiguos y aquellas entrenadas con este nuevo marco de dos pasos. Cuando se probó en el taxi volador, el método antiguo de "alcanzar y evitar" (reach-and-avoid), que solo se preocupa por llegar al objetivo, falló completamente en la tarea de permanecer allí, logrando una tasa de éxito del cero por ciento. En contraste, el nuevo método tuvo éxito el 93 por ciento de las veces. Del mismo modo, para el escenario del tractor, el nuevo método tuvo éxito el 99,3 por ciento de las veces, mientras que el método anterior tuvo éxito solo el 73,5 por ciento de las veces. Los investigadores descubrieron que los métodos antiguos a menudo conducían a las máquinas hacia el área del objetivo a plena velocidad, dejándolas sin forma de frenar y quedarse quietas. El nuevo método, sin embargo, aprendió a frenar la máquina temprano, asegurando que entrara en la zona interior segura a una velocidad en la que pudiera permanecer indefinidamente.

Si bien las simulaciones fueron altamente exitosas, los investigadores señalaron que su sistema depende de tener una comprensión precisa del entorno y de la física de la máquina antes de comenzar el entrenamiento. Si el mundo real se comporta de manera diferente al modelo computacional —por ejemplo, si el viento es más fuerte de lo previsto o el suelo es más resbaladizo— la máquina entrenada podría no ser capaz de garantizar la seguridad. El equipo sugiere que el trabajo futuro deberá integrar datos de sensores del mundo real para manejar estas incógnitas. Por ahora, este marco de aprendizaje de dos pasos ofrece un avance significativo, proporcionando una forma de enseñar a las máquinas no solo cómo llegar, sino cómo permanecer, convirtiendo una garantía de seguridad teórica en una herramienta práctica para aplicaciones compleas del mundo real.

Resumen Técnico: Aprendizaje por Refuerzo Profundo para Problemas de Alcance-Evitación-Permanencia (Reach-Avoid-Stay)

Definición del Problema

El artículo aborda el problema de Alcance-Evitación-Permanencia (RAS, por sus siglas en inglés) para sistemas dinámicos no lineales sujetos a perturbaciones adversarias acotadas. A diferencia de los problemas estándar de Alcance-Evitación (RA), que requieren que un sistema alcance un conjunto objetivo $T$ mientras evita regiones inseguras, el problema RAS exige que el sistema no solo alcance $T$ , sino que también permanezca dentro de él indefinidamente a pesar de todas las perturbaciones acotadas.

El núcleo del desafío identificado es que los métodos de RA existentes suelen fallar al no distinguir entre el conjunto objetivo $T$ y el núcleo de viabilidad robusta (el subconjunto máximo robustamente control-invariante de $T$ ). Si un sistema alcanza $T$ pero no el núcleo de viabilidad (por ejemplo, entrando con una velocidad excesiva), puede ser incapaz de permanecer dentro de $T$ bajo la perturbación, lo que conduce a violaciones de seguridad. Los enfoques actuales de RAS enfrentan limitaciones significativas:

Los métodos de Funciones de Barrera de Lyapunov de Control (CLBF) son difíciles de diseñar para sistemas de alta dimensión o no lineales.
Los métodos basados en embudos (funnel-based) dependen de la restricción de que los sistemas pueden detenerse instantáneamente.
Los enfoques de RL existentes a menudo fallan al identificar el máximo conjunto robusto RAS, lo que resulta en políticas conservadoras o clasificaciones de seguridad inexactas.

El objetivo es computar el máximo conjunto robusto RAS (el conjunto de todos los estados iniciales desde los cuales la tarea RAS es alcanzable) y una política de control correspondiente que garantice la completitud de la tarea bajo todas las perturbaciones acotadas.

Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo Profundo (RL) de dos pasos que aprende conjuntamente el máximo conjunto robusto RAS y la política de control asociada. El marco utiliza Gradiente de Política Determinística Profunda (DDPG) para sistemas de alta dimensión.

Paso 1: Computación del Núcleo de Viabilidad Robusta ( $A_S$ )

El primer paso identifica el núcleo de viabilidad robusta $A_S$ dentro del conjunto objetivo $T$ . Este es el conjunto de estados desde los cuales el sistema puede permanecer en $T \cap C$ (conjuntos de objetivo y de restricciones) indefinidamente.

Se define una función de valor con descuento $H(x)$ para caracterizar $A_S$ .
$H(x)$ es la solución única de una ecuación de Bellman que involucra un operador min-max sobre las políticas de control y de perturbación.
El conjunto $A_S$ corresponde al nivel cero de $H$ (donde $H(x)=0$ ).
Se deriva una política $\pi_H$ para mantener el sistema dentro de $A_S$ una vez que esté dentro.

Paso 2: Computación del Máximo Conjunto Robusto RAS

El segundo paso formula el problema RAS como un problema de RA donde el objetivo es el núcleo de viabilidad robusta $A_S$ en lugar del conjunto original $T$ .

Transformación de la Función de Valor: Dado que $H(x)$ $H (x)$ es cero en $A_S$ $A_{S}$ , no puede servir como recompensa para alcanzar $A_S$ $A_{S}$ (ya que no proporciona incentivo para alcanzar el conjunto rápidamente). Los autores introducen una función de valor transformada $H_g(x)$ $H_{g} (x)$ :
- $H_g(x) = H(x)$ si $H(x) < 0$ (fuera de $A_S$ ).
- $H_g(x) = g(x)$ (positivo) si $x \in A_S$ .
- Esto asegura que $H_g$ sea estrictamente positiva dentro de $A_S$ y no positiva en otros lugares.
Formulación de RA: Se define una nueva función de valor $V(x)$ utilizando $H_g$ como la recompensa objetivo. $V(x)$ caracteriza el máximo conjunto robusto RAS.
Política de Conmutación (Switching Policy): Se construye una política unificada $\pi_{RAS}$ $π_{R A S}$ mediante la conmutación entre la política de "alcance" ( $\pi_V$ $π_{V}$ ) y la política de "permanencia" ( $\pi_H$ $π_{H}$ ):
- Se usa $\pi_V$ cuando $H_g(x) \leq 0$ (fuera de $A_S$ ) para dirigir el sistema hacia $A_S$ .
- Se cambia a $\pi_H$ cuando $H_g(x) > 0$ (dentro de $A_S$ ) para asegurar la seguridad indefinida.

Contribuciones Clave

Prueba Teórica de la Maximalidad: Los autores demuestran que, en ausencia de errores de entrenamiento, su marco identifica el máximo conjunto robusto RAS exacto. Demuestran que la política de conmutación resultante garantiza la tarea RAS para todos los estados en este conjunto bajo todas las perturbaciones acazadas. Esto se logra mediante la transformación de la función de valor propuesta ( $H_g$ ), que permite la integración del análisis del núcleo de viabilidad con los métodos de RA.
Aprendizaje de Alta Precisión con Deep RL: El marco se adapta para sistemas de alta dimensión utilizando DDPG. Los autores muestran que, incluso con los errores de entrenamiento inherentes a las redes neuronales, el marco caracteriza el máximo conjunto robusto RAS con una alta precisión (>95%).
Aplicabilidad Práctica: El método maneja entornos complejos donde el diseño de CLBF es intratable y no depende de la suposición de "parada instantánea" requerida por los métodos basados en embudos.
Validación Empírica: Simulaciones en sistemas de baja dimensión (Doble Integrador) y de alta dimensión (VTOL Taxi, Nonlinear Harvester) validan el enfoque.

Resultados

Identificación del Conjunto Máximo: En un ejemplo de Doble Integrador en 2D, el marco propuesto identificó un conjunto RAS con un volumen de 28.67, significativamente mayor que el volumen de 1.98 identificado por una línea base de CLBF. Esto indica que el método propuesto es menos conservador e identifica más estados factibles.
Precisión: En experimentos de alta dimensión (VTOL y Harvester), el marco logró precisiones de 95.8% y 99.4%, respectivamente, en la identificación del conjunto RAS en comparación con la verdad de campo generada por la propia política.
Tasas de Éxito de la Tarea: La política RAS propuesta superó significativamente a un método de RA base en completar la tarea RAS:
- VTOL: Tasa de éxito del 93.0% (RAS) frente al 0% (base de RA).
- Harvester: Tasa de éxito del 99.3% (RAS) frente al 73.5% (base de RA).
Análisis de Fallos: El artículo demuestra que las políticas de RA fallan la tarea RAS porque alcanzan el conjunto objetivo $T$ a altas velocidades sin entrar en el núcleo de viabilidad $A_S$ . En consecuencia, no pueden mantener el estado dentro de $T$ bajo la perturbación. La política RAS desacelera correctamente el sistema antes de entrar en $T$ para asegurar que aterrice dentro de $A_S$ .

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en proporcionar un marco basado en datos y con fundamentos teóricos que resuelve el problema RAS para sistemas no lineales generales sin supuestos restrictivos.

Cierra la brecha entre el análisis de alcanzabilidad y el RL profundo, demostrando que el enfoque de dos pasos produce el máximo conjunto robusto.
Aborda el problema de los "falsos negativos" de los métodos conservadores (como CLBF) y los riesgos de seguridad de "falsos positivos" de los métodos de RA estándar.
Los autores reconocen que el marco depende del conocimiento previo de la dinámica del sistema y las restricciones del entorno. Señalan que, si bien el RL de seguridad crítica actual carece de garantías teóricas rigurosas, este trabajo proporciona tales garantías para el problema RAS, siempre que el modelo sea preciso. Se sugiere como trabajo futuro la integración de datos de sensores del mundo real y el manejo de información de entornos desconocidos.