Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

Resumen Técnico: Adaptación de Currículo para el Aprendizaje por Refuerzo Robusto en la Desconflicción de UAVs en Entornos Adversarios

Planteamiento del Problema
Los Vehículos Aéreos No Tripulados (UAV) autónomos dependen cada vez más del Aprendizaje por Refuerzo (RL) para la navegación y la desconflicción en espacios aéreos complejos. Sin embargo, estos sistemas enfrentan vulnerabilidades de seguridad significativas, particularmente ataques de suplantación de identidad (spoofing) del Sistema Global de Navegación por Satélite (GNSS). Tales ataques inducen desplazamientos de observación fuera de la distribución que corrompen la estimación de valor, lo que conduce al olvido catastrófico y a comportamientos inseguros. Los enfoques de RL robusto existentes suelen mejorar la resiliencia contra modelos de ataque específicos y predefinidos, pero fallan al generalizarse a mecanismos de ataque no vistos. Además, las estrategias de defensa actuales suelen depender de métodos centrados en la detección o de redundancias sensoriales específicas, descuidando la necesidad de políticas de toma de decisiones que puedan adaptarse a los desplazamientos de distribución inducidos por adversarios sin comprometer la eficiencia de la misión.

Metodología
Los autores proponen un marco de adaptación guiado por currículo que opera en el espacio de la distribución del error de Diferencia Temporal (TD) en lugar del espacio de observación bruto. La hipótesis central es que, si bien los ataques pueden diferir en cómo corrompen las entradas sensoriales, su impacto final en el comportamiento de la política se refleja en el espacio de la distribución de valor.

El marco procede a través de cuatro pasos principales:

1. Formulación del Crítico Experto: Se entrena una política robusta inicial utilizando un juego de suma cero de dos jugadores (DDPG) donde un agente y un adversario compiten en el espacio de acción. Esto genera un "crítico experto" ($Q_{AR}$) que es resiliente a las perturbaciones en el espacio de acción.
2. Generación de Currículo Adversario: El sistema emplea una estrategia de currículo donde la política se expone progresivamente a perturbaciones de observación adversarias basadas en gradientes de intensidad ($\epsilon$) creciente. Estas perturbaciones se generan mediante un ascenso de gradiente proyectado de múltiples pasos para maximizar la pérdida de la política dentro de una norma acotada.
3. Adaptación en el Espacio TD: Durante la adaptación, el marco alinea las distribuciones del error TD entre la etapa actual y la etapa anterior. El crítico de la etapa anterior actúa como referencia (experto), y la adaptación minimiza la distancia de Wasserstein-1 entre las distribuciones de error TD de las observaciones nominales y las adversarias. Esta alineación está diseñada para prevenir el olvido catastrófico y la deriva de la función de valor.
4. Certificado de Generalización: Los autores derivan un "certificado de generalización en el espacio TD" teórico. Este teorema establece que, si el desplazamiento de la distribución del error TD inducido por un ataque en tiempo de prueba permanece suficientemente cerca de la de la etapa final del currículo, la degradación del rendimiento resultante está acotada. Esto proporciona una garantía formal de que la robustez aprendida bajo perturbaciones sintéticas puede transferirse a ataques ciberfísicos no vistos.

Contribuciones Clave

• Adaptación de Currículo en el Espacio TD: El artículo introduce una novedosa estrategia de adaptación que impone la consistencia en las distribuciones de error TD a través de las etapas del currículo. A diferencia del RL robusto convencional que asume conjuntos de incertidumbre fijos, este enfoque se adapta a perturbaciones de fuerza creciente mientras acota la deriva en las estimaciones de valor.
• Garantía Teórica de Generalización: Los autores derivan un certificado formal que muestra que la robustez se transfiere a través de dominios de ataque fundamentalmente diferentes (por ejemplo, de perturbaciones de gradiente sintéticas a la suplantación de GNSS realista), siempre que el desplazamiento de la distribución del error TD permanezca acotado. Esto aborda la brecha donde los métodos existentes carecen de garantías teóricas para mecanismos de ataque no vistos.
• Validación Empírica en Desconflicción de UAV: El marco se valida en un entorno de desconflicción de UAV 3D con obstáculos dinámicos y ataques de suplantación de GNSS fijos y dinámicos. El estudio demuestra que la política adaptada por currículo mantiene altas tasas de éxito de misión y eficiencia de navegación bajo condiciones de ataque.

Resultados
Los experimentos se realizaron en un entorno simulado con obstáculos 3D dinámicos y densidades de tráfico aéreo variables.

• Ataques de Suplantación Fijos: Bajo suplantación de GNSS fija (sesgo de posición constante), la política adaptada por currículo logró tasas de éxito de misión casi perfectas. En contraste, el DDPG estándar y otros entornos de referencia de RL robusto (incluyendo meta-aprendizaje adversario y NR-MDP) lograron tasas de éxito de entre el 20% y el 56%, fallando a menudo en alcanzar el destino dentro del presupuesto de vuelo.
• Ataques de Suplantación Dinámicos: Contra ataques de suplantación dinámica de distracción de obstáculos (donde el sesgo se ajusta para distorsionar la percepción de obstáculos), el método propuesto logró las recompensas episódicas más altas. Redujo los pasos de finalización de la misión hasta en un 45% en comparación con los modelos de referencia a través de densidades de tráfico crecientes.
• Divergencia Percepción-Realidad: La política adaptada por currículo exhibió la menor divergencia entre la separación de obstáculos percibida y la real, indicando una capacidad superior para mantener representaciones de riesgo internas precisas a pesar de las observaciones corrompidas.
• Ablación y Sensibilidad: El estudio identificó $\epsilon = 4.0$ como el punto de parada óptimo del currículo, equilibrando la robustez y el rendimiento. Además, se encontró que los tamaños de paso de currículo más pequeños ($\Delta\epsilon = 0.25$) producían una alineación TD más suave y una mayor estabilidad en comparación con los pasos más grandes, que inducían comportamientos similares al colapso de modo.

Significancia y Reivindicaciones
El artículo afirma que su significancia principal radica en demostrar que la adaptación de currículo adversario puede transferir la resiliencia de las perturbaciones sintéticas a los ataques de suplantación de GNSS real sin reentrenamiento específico del ataque. Al centrarse en preservar la consistencia de la distribución del error TD en lugar de ajustarse a un modelo de ataque específico, el marco proporciona un mecanismo fundamentado para mejorar la resiliencia de los sistemas de toma de decisiones autónomos bajo amenazas ciberfísicas desconocidas. Los autores sostienen que este enfoque va más allá del RL robusto convencional al ofrecer tanto mejoras empíricas en el rendimiento de la misión como límites teóricos demostrables sobre la generalización a dominios de ataque no vistos. El trabajo sugiere que mantener la consistencia de la función de valor es un factor crítico para prevenir el olvido catastrófico en entornos adversarios.