Resumen Técnico: TRUST-UP

Declaración del Problema

El artículo aborda la brecha crítica entre el alto rendimiento del Aprendizaje por Refuerzo (RL) en la persecución de vehículos aéreos autónomos (UAV) y los estrictos requisitos de seguridad y transparencia necesarios para la certificación de la aviación, particularmente en entornos urbanos de baja altitud con presencia humana.

Si bien el RL permite un control de vuelo ágil, su naturaleza de "caja negra" y la falta de garantías de seguridad deterministas dificultan la certificación de aeronavegabilidad. Un desafío específico identificado es el concepto de "seguridad percibida" o "radio de confianza". A diferencia de los obstáculos inanimados, los humanos requieren márgenes de seguridad ampliados basados en la comodidad psicológica y la proxémica. Las políticas de RL estándar suelen priorizar la evasión técnica de colisiones (por ejemplo, pasar rozando a un peatón a alta velocidad), lo que puede satisfacer técnicamente las restricciones de colisión pero viola la confianza humana al invadir el espacio personal. Los métodos de RL seguro existentes, como el modelado de recompensas (reward shaping) o el blindaje estático, a menudo no logran proporcionar las garantías deterministas requeridas para la confianza psicológica humana o luchan con la viabilidad al imponer restricciones complejas y conscientes de los humanos junto con las limitaciones de empuje y los rangos de detección.

Metodología: El Marco de Trabajo TRUST-UP

Los autores proponen TRUST-UP (Aprendizaje por Refuerzo Confiable utilizando Técnicas Seguras para la Persecución de UAV), un marco que integra una política de RL libre de modelo con un filtro de seguridad formal basado en Funciones de Barrera de Control (CBF). El sistema está diseñado para transformar las acciones inseguras de RL en comandos de vuelo demostrablemente seguros, manteniendo la transparencia operativa.

1. Aumento y Transformación del Sistema

Para abordar los problemas de viabilidad comunes en sistemas con restricciones de empuje, los autores aumentan la dinámica del UAV introduciendo entradas de control virtuales. Esto transforma el problema original de primer orden y con restricciones de empuje en un problema de segundo orden y con restricciones de salida. Esta transformación incorpora la inercia del actuador en las restricciones de seguridad, aliviando los problemas de sobrecarga causados por cambios bruscos en la entrada de los CBF de primer orden tradicionales y mejorando la viabilidad del Programa Cuadrático (QP) resultante.

2. Construcción de un Filtro de Seguridad Adaptativo

El núcleo de TRUST-UP es un filtro de seguridad construido a partir de tres CBF adaptativos, formulados como un problema de QP. Estas restricciones aseguran la invariancia hacia adelante de tres conjuntos de seguridad específicos:

• Restricción de Entrada ($C_{u,i}$): Una restricción variante en el tiempo que adapta dinámicamente la concesión máxima de empuje basada en la posición relativa entre el perseguidor y el objetivo. Esto permite relajar los límites durante maniobras de emergencia mientras regula estrictamente los comandos erráticos durante el vuelo nominal.
• Evitación de Colisiones ($C_{c,i}$): Asegura una distancia mínima de seguridad entre el perseguidor y todos los demás agentes (objetivos, otros UAV) y obstáculos estáticos.
• Rango de Detección ($C_{s,i}$): Asegura que el perseguidor permanezca dentro de una distancia máxima para mantener la cobertura de sensores de su objetivo.

El filtro tiene en cuenta las incertididades del sistema (por ejemplo, viento, ruido del sensor) utilizando leyes adaptativas para estimar parámetros desconocidos, garantizando la robustez frente a perturbaciones.

3. Estrategia de Conmutación Transparente

El marco emplea una ley de control híbrida con una estrategia de conmutación:

• Región $R_1$: Si la acción nominal de RL ($\pi_i$) satisface todas las restricciones de seguridad (es decir, se encuentra dentro del conjunto admisible), el sistema ejecuta la acción de RL directamente.
• Región $R_2$: Si la acción de RL viola cualquier restricción, se activa el filtro de seguridad. El sistema resuelve el CBF-QP para encontrar la entrada de control segura ($v^*_i$) más cercana a la acción nominal que satisfaga todas las restricciones.

Los autores demuestran formalmente que esta estrategia de conmutación garantiza que el problema de QP satisfaga las condiciones de Karush-Kuhn-Tucker (KKT), garantizando la existencia de una solución única y Lipschitz continua que mantiene la invariancia del conjunto de seguridad.

Contribuciones Clave

1. Diseño de CBF con Restricción de Empuje: El artículo introduce un método para manejar las restricciones de empuje mediante el aumento del sistema con entradas virtuales. Este enfoque impone límites del envolvente de vuelo operativo mientras adapta los límites superiores durante maniobras de emergencia, equilibrando el rendimiento de la misión con la seguridad verificable.
2. Filtro de Seguridad Adaptativo: El diseño de dos CBF basados en la posición (para la evitación de colisiones y el rango de detección) combinados con el CBF de restricción de empuje forma un filtro de seguridad con viabilidad garantizada. La naturaleza adaptativa de estas restricciones permite que los UAV mantengan operaciones seguras incluso bajo perturbaciones atmosféricas.
3. Algoritmo TRUST-UP con Viabilidad Probada: La propuesta de una estrategia de conmutación transparente que determina la seguridad de las salidas de RL. Los autores proporcionan una prueba formal de que el algoritmo satisface las condiciones KKT para todas las restricciones de seguridad, asegurando el cumplimiento de los requisitos de confiabilidad aérea para el despliegue certificado.

Resultados de Simulación

Los autores validaron TRUST-UP mediante simulaciones numéricas que involucran dos UAV de persecución siguiendo objetivos en entornos con obstáculos estáticos y perturbaciones desconocidas. Se probaron dos escenarios:

1. Maniobras Circulares: Los objetivos realizaron grandes maniobras circulares.
2. Maniobras en Figura de 8: Los objetivos realizaron trayectorias complejas en "figura de 8" con curvaturas variables.

Análisis Comparativo:

• SAC-Only vs. TRUST-UP: El algoritmo base Soft Actor-Critic (SAC), entrenado sin el filtro de seguridad, no pudo garantizar la seguridad. En las simulaciones, los agentes de solo SAC colisionaron con obstáculos y perdieron la detección de sus objetivos (excediendo el radio de detección).
• Garantías de Seguridad: TRUST-UP mantuvo con éxito todas las restricciones de seguridad (evitación de colisiones, rango de detección y límites de entrada) en ambos escenarios, incluso cuando los objetivos realizaron maniobras evasivas agresivas.
• Estabilidad de Control: Las entradas de control generadas por TRUST-UP permanecieron dentro de los límites prescritos sin oscilaciones de alta frecuencia, mientras que el enfoque de solo SAC exhibió un comportamiento de seguimiento inestable bajo perturbaciones.
• Eficiencia Computacional: La implementación del CBF-QP de TRUST-UP demostró una mejora en la eficiencia computacional en línea, reduciendo el tiempo medio de resolución del QP en aproximadamente un 14.1% en comparación con una técnica estándar de CBF-QP con restricción de entrada.

Significado y Reivindicaciones

El artículo afirma que TRUST-UP aborda la deficiencia fundamental en el despliegue de sistemas autónomos en entornos humanos: la desconexión entre la seguridad técnica y la confianza percibida. Al convertir las zonas de seguridad psicológica (radios de confianza) en restricciones deterministas y estrictas dentro de un filtro de seguridad transparente, el marco cierra la brecha entre el rendimiento de la IA y los estándares de certificación de la aviación.

Los autores enfatizan que su trabajo contribuye hacia marcos de IA certificables y explicables para la aviación de baja altitud. A diferencia de los métodos que dependen del modelado de recompensas (penalizaciones suaves), TRUST-UP proporciona garantías deterministas. La estrategia de conmutación transparente asegura que las decisiones de seguridad sean interpretables, satisfaciendo los requisitos para la certificación de aeronavegabilidad en operaciones aéreas de misión crítica. El artículo concluye que este enfoque es un paso necesario hacia sistemas de vuelo autónomos confiables para la futura movilidad aérea urbana, particularmente donde la presencia humana y la comodidad psicológica son factores críticos.