Resumen Técnico: ASGARD – Guardián del Espacio de Acción para la Resiliencia de UAV mediante Aprendizaje por Refuerzo

Declaración del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un estándar para la navegación y el control de Vehículos Aéreos No Tripulados (UAV) debido a su adaptabilidad a entornos complejos. Sin embargo, los controladores basados en RL son vulnerables a los ataques al espacio de acción. A diferencia de los ataques físicos (p. ej., el spoofing de GPS) que corrompen las entradas de los sensores, los ataques al espacio de acción ocurren después de que la política de control genera un comando de acción, pero antes de que los actuadores lo ejecuten. Los atacantes pueden sobrescribir estos comandos en la memoria (p. ej., mediante ataques de solo datos o corrupción de memoria) para inyectar sesgos en los canales de control como el cabeceo (pitch), alabeo (roll), empuje (thrust) o ganancia (gain).

Las defensas existentes, como los métodos de RL robusto (p. ej., ARMOR, RARL), se centran principalmente en fortalecer la política contra perturbaciones de entrada o en entrenar contra entradas adversarias. Una vez desplegados, estos sistemas envían la salida de la política directamente a los actuadores sin un mecanismo para intervenir si la acción ha sido corrompida en tránsito. En consecuencia, incluso si la política genera un comando "seguro", el UAV ejecuta uno corrompido, lo que conduce al fallo de la misión o a accidentes.

Metodología: El Pipeline ASGARD

Los autores proponen ASGARD (Action-Space Guard), un pipeline de profesor-alumno de dos fases diseñado para recuperar comandos de acción corrompidos en tiempo de ejecución sin requerir información privilegiada durante el despliegue. El sistema consta de tres componentes principales: un codificador, una política de control y un monitor.

1. Fase del Profesor (Entrenamiento con Información Privilegiada)

En esta fase, el sistema se entrena con acceso a información privilegiada sobre el ataque (p. ej., el canal de acción objetivo, el sesgo del ataque y la duración), la cual no está disponible en tiempo de ejecución.

• Codificador del Profesor: Implementado como un Autoencoder Variacional (VAE), toma el estado físico del UAV ($o_t$) y el contexto del ataque ($x_t$) para producir una representación latente consciente del ataque de acción ($\bar{l}_t$).
• Política de Control: Entrenada mediante Optimización de Política Próxima (PPO) utilizando $\bar{l}_t$ como entrada para generar las acciones pretendidas ($\bar{a}_t$).
• Monitor del Profesor: Un Perceptrón Multicapa (MLP) ligero colocado entre la política y los actuadores. Observa el latente ($\bar{l}_t$), la acción potencialmente corrompida ($\bar{a}'_t$) y un siguiente estado esperado ($\hat{s}_{t+1}$) predicho por una cabeza auxiliar. El monitor se entrena mediante regresión supervisada para producir una acción corregida ($\tilde{\bar{a}}_t$) que coincida con la intención no corrompida, aprendiendo efectivamente a reparar los comandos corrompidos antes de que lleguen al hardware.

2. Fase del Estudiante (Despliegue en Tiempo de Ejecución)

Esta fase adapta el sistema para la ejecución a bordo donde la información privilegiada del ataque está ausente.

• Codificador del Estudiante: Implementado como un VAE Temporal utilizando una red de Memoria de Corto Plazo de Largo Alcance (LSTM). Se entrena mediante aprendizaje supervisado para aproximar la representación latente del profesor utilizando solo el historial de estados físicos y acciones ejecutadas previamente ($H_t$).
• Monitor del Estudiante: Entrenado para imitar las correcciones del monitor del profesor utilizando el latente del estudiante ($l_t$) en lugar del latente privilegiado.
• Ejecución: En tiempo de ejecución, el Codificador del Estudiante, la Política de Control y el Monitor del Estudiante operan conjuntamente. El monitor intercepta activamente cada comando de acción, corrigiéndolo si es necesario, y envía el comando seguro a los actuadores.

Contribuciones Clave

1. Mecanismo de Recuperación en Tiempo de Ejecución: A diferencia de las defensas previas de RL que reentrenan las políticas para ser robustas ante perturbaciones, ASGARD introduce un mecanismo para recuperar acciones corrompidas en tiempo de ejecución. Corrige activamente los comandos en lugar de simplemente detectar ataques o detener el sistema.
2. Pipeline Profesor-Alumno de Dos Fases: Los autores proponen un esquema de entrenamiento donde un profesor con conocimiento privilegiado del ataque supervisa a un estudiante que depende únicamente del historial del estado físico. Esto permite que el sistema aprenda representaciones conscientes del ataque sin requerir datos de ataque en tiempo real durante el despliegue.
3. Monitor de Corrección Activa: La introducción de un monitor MLP ligero que se sitúa entre la política y los actuadores. Este componente aprende a distinguir entre acciones seguras y corrompidas, reenviando las acciones seguras sin cambios mientras repara las corrompidas, asegurando que el UAV permanezca bajo señales de control seguras en lugar de caer en modos degradados.

Resultados Experimentales

Los autores evaluaron ASGARD en una tarea de seguimiento de puntos de referencia (waypoint-following) de un cuadricóptero utilizando el simulador gym-pybullet, comparándolo con un controlador de RL base y la defensa de vanguardia ARMOR.

• Ataques de Canal Único: Bajo ataques dirigidos a canales individuales, ASGD alcanzó altas tasas de éxito en la misión con cero accidentes. Específicamente, logró un 95% de éxito para el Cabeceo (Pitch), 94% para la Ganancia (Gain), 94% para el Alabeo (Roll) y 97% para el Empuje (Thrust), con un 0% de tasa de accidentes en los cuatro escenarios de canal único. En contraste, el controlador de RL base tuvo éxito en aproximadamente el 40% de las misiones (47% de tasa de accidentes), y ARMOR tuvo éxito en aproximadamente el 50% (36% de tasa de accidentes).
• Ataques Combinados: Cuando los cuatro canales de acción fueron corrompidos simultáneamente (un escenario de peor caso), tanto el RL base como ARMOR fallaron en el 100% de las misiones. ASGARD mantuvo una tasa de éxito del 67% con solo un 10% de tasa de accidentes.
• Generalización Zero-Shot: ASGARD demostró una fuerte generalización a canales de ataque no vistos. Cuando fue entrenado en un tipo de ataque (p. ej., Pitch) y probado en otros (Roll, Thrust, Gain), logró una tasa de éxito de 2 a 3 veces superior a la de ARMOR y tasas de accidentes de 5 a 6 veces menores.
• Ataques Sigilosos: Contra ataques sigilosos que acumulan sesgo gradualmente, ASGARD mantuvo un 100% de éxito, mientras que ARMOR falló completamente. Los autores atribuyen esto a la capacidad de ASGARD para rastrear la acumulación de sesgo mediante el historial latente, mientras que ARMOR carece de una etapa de corrección en tiempo de ejecución.
• Eficiencia de Entrenamiento: El pipeline profesor-alumno convergió más rápido (aproximadamente 5 veces más rápido) y con menos varianza que ARMOR bajo condiciones de entrenamiento adversario.

Significado y Reivindicaciones

El artículo afirma que ASGARD aborda una brecha crítica en la seguridad de los UAV: la incapacidad de los métodos de RL robusto existentes para manejar ataques al espacio de acción que ocurren después de la inferencia de la política. Al cambiar la estrategia de defensa de "fortalecer la política" a "corregir activamente la salida", ASGARD asegura la continuidad de la misión incluso cuando los comandos de control están comprometidos.

Los autores enfatizan que su enfoque permite que los UAV completen misiones a pesar de la corrupción en tiempo de ejecución de los comandos de acción, una capacidad que las defensas anteriores no poseían. Señalan que, aunque la evaluación actual está restringida a un único modelo de cuadricóptero en simulación, la arquitectura está diseñada para ser lo suficientemente ligera como para el despliegue a bordo. El documento concluye que extender este marco a otros sistemas robóticos y lograr la transferencia de simulación a realidad (sim-to-real) siguen siendo direcciones abiertas para trabajos futuros.