Resumen Técnico: Explorador Estocástico Seguro (S.S. Explorer)

Planteamiento del Problema

Los robots autónomos que operan en entornos no estructurados y críticos para la seguridad (por ejemplo, exploración planetaria, almacenes, hogares) deben navegar e interactuar con su entorno donde la dinámica del sistema y las características de seguridad no son totalmente conocidas. Los métodos de control seguro existentes, como la Alcanzabilidad de Hamilton-Jacobi (HJR) y las Funciones de Barrera de Control (CBF), típicamente asumen dinámicas de sistema conocidas. Por el contrario, las técnicas de exploración segura existentes a menudo no logran considerar la estocasticidad inevitable inherente a las interacciones del mundo real, como un rover derrapando en un terreno desconocido o un robot empujando objetos no mapeados.

El problema central abordado es la exploración segura y orientada a objetivos en entornos desconocidos bajo dinámicas estocásticas. El robot debe equilibrar dos objetivos contrapuestos:

1. Exploración: Recopilar información para reducir la incertidumbre sobre las propiedades de seguridad del entorno.
2. Seguridad: Garantizar con alta confianza que el robot permanezca dentro de un conjunto seguro durante toda su operación, a pesar de las transiciones de estado estocásticas.

El artículo define la función de seguridad $q(x)$ como desconocida, donde un estado es inseguro si $q(x) > q_T$. El agente opera bajo un modelo de transición estocástica $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ y busca alcanzar una meta maximizando una función de desempeño $f(x)$ sin violar las restricciones de seguridad.

Metodología

Los autores proponen el Explorador Estocástico Seguro (S.S. Explorer), un marco de trabajo que utiliza Procesos Gaussianos (GP) para aprender la función de seguridad desconocida en línea. El método aprovecha la incertidumbre predictiva de los GP para guiar las acciones de recolección de información, al tiempo que proporciona límites probabilísticos sobre las violaciones de seguridad. El marco se presenta en tres variaciones:

1. Formulación de Espacio de Estados Discreto

Para espacios de estados finitos y discretos, el método modela el movimiento del agente como una cadena de Markov. Define estados "completamente seguros" a través de tres criterios iterativos:

• Seguridad Inmediata: El costo de seguridad del estado está por debajo del umbral con alta probabilidad.
• Retorno Estocástico Seguro: Existe una trayectoria garantizada de regreso al conjunto seguro inicial sin salir del conjunto de estados inmediatamente seguros, asegurando la viabilidad recursiva.
• Llegada Estocástica Segura: El agente puede transicionar al estado desde el conjunto seguro actual asegurando que toda la distribución de llegada estocástica permanezca dentro de los límites seguros.

El algoritmo emplea operadores de expansión y refinamiento de conjuntos:

• Expansión de Seguridad Inmediata ($\bar{I}$): Utiliza los límites de confianza superior/inferior de los GP ($u_t(x), l_t(x)$) y supuestos de continuidad de Lipschitz para expandir el conjunto de estados que se cree son seguros.
• Refinamiento de Retorno Estocástico Seguro ($\bar{R}$): Restringe iterativamente el conjunto seguro a estados desde los cuales el agente puede regresar al núcleo seguro a pesar de las desviaciones estocásticas.
• Refinamiento de Llegada Estocástica Segura ($\bar{m}$): Asegura que la distribución de los estados alcanzables en un paso desde el conjunto seguro sea segura.

El agente selecciona acciones identificando "expansores candidatos": estados inciertos pero pesimistamente seguros cerca de la frontera del conjunto seguro que proporcionan información sobre regiones objetivo.

2. Formulación de Espacio de Estados Continuo

Para abordar la escalabilidad en dominios continuos, los autores introducen una relajación. En lugar de rastrear conjuntos complejos, utilizan funciones indicadoras derivadas de las distribuciones posteriores de los GP.

• Relajación: La garantía estricta de "Retorno Estocástico Seguro" se relaja para asegurar solo la "Llegada Estocástica Segura" y la seguridad inmediata. Esto elimina la garantía de completar la tarea (evitar quedarse atrapado), pero asegura la seguridad instantánea.
• Cómputo Analítico: Para manejar la llegada estocástica de una distribución de transición Gaussiana $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$, el método utiliza el ajuste de momentos (moment matching) para computar analíticamente la distribución de valor de seguridad del estado de llegada. Esto permite la evaluación directa de los indicadores de seguridad sin muestreo.
• Seguridad de la Trayectoria: Se utiliza la continuidad de Lipschitz para ajustar el umbral de seguridad ($q_T' = q_T - L \cdot d_{max}/2$) para garantizar la seguridad a lo largo de la trayectoria continua entre los pasos de planificación discretos.

3. Formulación Centrada en Objetos

El marco se extiende a escenarios que involucran la interacción física con múltiples objetos desconocidos (por ejemplo, empujar artículos en un estante).

• Representación Centrada en Objetos: Para manejar objetos en movimiento, la seguridad se modela en el espacio de estados relativo del robot con respecto a cada objeto. Esto permite que el GP reutilice datos de interacciones pasadas incluso cuando las posiciones de los objetos camben.
• Seguridad de Multi-Objeto: La función de seguridad global se define como el máximo costo de seguridad entre todos los objetos. El conjunto seguro global se computa como la intersección de los conjuntos seguros individuales de cada objeto.
• Implementación: En el caso continuo, esto se implementa entrenando GP separados para cada objeto y agregando sus peores límites probabilísticos durante la predicción, evitando el costo computacional de intersectar conjuntos de alta dimensión de forma explícita.

Contribuciones Clave

1. Exploración Segura Discreta: Un nuevo método para la exploración segura en espacios de estados discretos con transiciones estocásticas, utilizando la incertidumbre basada en GP para acotar las violaciones de seguridad y garantizar el retorno estocástico seguro.
2. Relajación Continua: Una relajación escalable para espacios de estados continuos que mantiene las garantías de seguridad (seguridad inmediata y llegada segura) mientras mejora la eficiencia computacional para dominios del mundo real, aunque con una garantía relajada sobre la finalización de la tarea.
3. Interacción Segura con Objetos: Una extensión impulsada por aplicaciones que demuestra cómo el marco asegura la interacción física segura con múltiples objetos desconocidos mediante el modelado de la seguridad en coordenadas relativas y la intersección de conjuntos seguros.

Resultados Experimentales

Los autores validaron S.S. Explorer mediante extensas simulaciones y experimentos de hardware:

• Robot Terrestre (Discreto): En 80 ensayos en 8 entornos con alta estocasticidad ($p=0.35$ para movimientos previstos), S.S. Explorer logró una tasa de éxito del 100% con 0% de violaciones de seguridad. En contraste, un método de referencia (que ignoraba la estocasticidad) logró solo un 35% de éxito y un 65% de tasa de violación.
• Robot Terrestre (Continuo): A través de 425 trayectorias, S.S. Explorer logró una tasa de éxito del 70.35% con una tasa de violación del 6.82%, superando significativamente al método de referencia (41.8% de éxito, 49.8% de violación). Una variante con escalado $\beta$ dinámico (ajustando el conservadurismo basado en el progreso) logró una tasa de éxito del 88.47% con una tasa de violación del 9.88%.
• Objeto Seguro (Simulación): En 55 ensayos que involucraban a un brazo robótico empujando objetos desconocidos, la formulación estocástica logró hasta un 81.8% de éxito con 0% de violaciones (con configuraciones de varianza específicas), mientras que el método de referencia falló el 50.9% de las veces.
• Hardware: Experimentos en el mundo real utilizando un brazo Franka Emika Panda navegaron con éxito una mesa con latas de Pringles de diversas masas. El método alcanzó la meta sin volcar los objetos, mientras que un método de referencia ingenuo volcó los objetos, violando la seguridad.

Significancia y Reivindicaciones

El artículo afirma que S.S. Explorer representa un paso adelante hacia la habilitación de una autonomía robótica confiable y generalizada en entornos complejos e inciertos. Su significancia radica en:

• Cerrar la Brecha: Considerar explícitamente las dinámicas estocásticas en la exploración segura, una brecha crítica dejada por métodos previos que asumen dinámicas conocidas o descuidan la incertidumbre de la transición.
• Manejo de Interacciones Desconocidas: Proporcionar un marco con principios para la interacción física segura con múltiples objetos desconocidos, yendo más allá de la simple evitación de colisiones para gestionar las dinámicas de interacción (por ejemplo, vuelco, fricción).
• Equilibrio entre Seguridad y Desempeño: Demostrar que al aprovechar la incertidumbre (vía GP) y el modelado estocástico, los robots pueden explorar más efectivamente y alcanzar metas con mayor frecuencia que las bases deterministas, que tienden a fallar o violar la seguridad cuando se enfrentan al ruido del mundo real.

Los autores reconocen limitaciones, incluyendo la escalabilidad computacional de los GP ($O(N^3)$), la dependencia del conocimiento previo de los límites del sistema (por ejemplo, constantes de Lipschitz), y el compromiso entre seguridad y desempeño. Señalan que las variantes continua y centrada en objetos relajan la garantía de "retorno estocástico seguro", lo que significa que el robot teóricamente podría quedarse atrapado, aunque permanece instantáneamente seguro. El trabajo futuro apunta a reintroducir las garantías de retorno y manejar interacciones complejas entre múltiples objetos.