🤖 machine learning

ARMOR: Robust Reinforcement Learning-based Control for UAVs under Physical Attacks

El artículo presenta ARMOR, un controlador de aprendizaje por refuerzo libre de modelo que garantiza una operación robusta de UAV bajo ataques físicos a los sensores mediante el empleo de un marco de entrenamiento de dos etapas para aprender representaciones de estados latentes resilientes a ataques sin requerir información privilegiada sobre el ataque durante el despliegue.

Autores originales: Pritam Dash, Ethan Chan, Nathan P. Lawrence, Karthik Pattabiraman

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pritam Dash, Ethan Chan, Nathan P. Lawrence, Karthik Pattabiraman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a volar un dron. En el mundo real, los robots no tienen ojos como los humanos; dependen de un conjunto de sensores —GPS para la ubicación, giroscopios para el equilibrio y cámaras para el movimiento— para determinar dónde están y cómo moverse. Este es el mundo del Aprendizaje por Refuerzo (RL), un tipo de inteligencia artificial donde una computadora aprende a tomar decisiones probando cosas y recibiendo recompensas por un buen comportamiento, de forma muy similar a como un perro aprende trucos con golosinas. El objetivo es crear un "cerebro" que pueda pilotar un dron de forma segura a través de tareas complejas.

Sin embargo, hay un problema astuto: estos sensores pueden ser engañados. Así como un mago puede engañar a tus ojos, un hacker puede enviar señales falsas a los sensores de un dron. Esto se llama un ataque físico. Por ejemplo, podrían enviar una señal de GPS falsa que haga que el dron crea que está en un lugar diferente, o usar ondas sonoras para alterar sus sensores de equilibrio. Si el cerebro del dron cree estas mentiras, podría estrellarse o chocar contra un edificio. Los científicos han intentado construir cerebros "seguros" que eviten el peligro, pero la mayoría de estas redes de seguridad fallan cuando el dron está siendo engañado activamente por un hacker. Ellos asumen que el mundo es simplemente un poco caótico, no que alguien está mintiendo activamente al robot.

Aquí es donde entra una nueva idea llamada ARMOR. Los investigadores detrás de este proyecto querían construir un controlador de drones que pudiera detectar una mentira incluso cuando los sensores gritan que es la verdad. No solo hicieron al dron más "resistente"; le enseñaron una nueva forma de ver el mundo. En lugar de mirar los datos brutos de los sensores, que son fácilmente engañables, ARMOR aprende a crear un "resumen secreto" de lo que realmente está sucediendo. El artículo sugiere que, mediante el uso de un método de entrenamiento de dos pasos, pueden crear un dron que se mantenga en su curso incluso cuando sus sensores están siendo saboteados, sin necesidad de ser reentrenado para cada nuevo truco que un hacker pueda inventar.

La historia de ARMOR: Un dron que sabe cuando le están mintiendo

Conoce a ARMOR (Adaptive Robust Manipulation-Optimized State Representations). Piensa en ARMOR no solo como un piloto, sino como un detective que ha aprendido a ignorar coartadas falsas.

En el mundo del control de drones, el método habitual es alimentar a la computadora con datos brutos de los sensores: "Estoy en la coordenada X", "Estoy girando a la velocidad Y". Pero si un hacker inyecta una señal falsa, la computadora cree la mentira. Los métodos anteriores intentaban enseñar al dron a ser "paranoico" entrenándolo contra trucos específicos (como un estudiante que estudia solo para un tipo específico de pregunta de examen). Esto es lento, costoso y, si el hacker cambia ligeramente el truco, el dron falla.

ARMOR toma un enfoque diferente. Utiliza un marco de entrenamiento de dos etapas, que es como tener un maestro y un estudiante.

Etapa 1: El Maestro con Supervisión
Primero, los investigadores entrenan a un "Codificador Maestro" (Teacher Encoder). Este es un componente de IA inteligente que tiene un superpoder: tiene acceso a información privilegiada. En la simulación, el Maestro sabe exactamente cuándo está ocurriendo un ataque, qué sensor está siendo engañado y qué tan grande es la mentira. Es como un profesor que puede ver la clave de respuestas mientras el estudiante está tomando el examen.

Usando esta referencia, el Maestro aprende a traducir los datos desordenados y mentirosos de los sensores en una representación latente robusta. Imagina esto como un "código secreto" o un "resumen veraz". Incluso si el GPS dice que el dron está en el océano, el código secreto del Maestro sabe: "No, el GPS está mintiendo; el dron está realmente en el cielo". El modelo de control del dron (su cerebro) aprende a tomar decisiones basadas en este código secreto, no en los datos brutos de los sensores. Esto permite que el dron aprenda a volar perfectamente incluso bajo ataque, porque está aprendiendo de la verdad.

Etapa 2: El Estudiante que Aprende a Ver la Verdad
Aquí está la parte difícil: en el mundo real, el dron no tiene un Maestro con una hoja de respuestas. No puede saber cuándo está siendo atacado. Por eso, los investigadores entrenan a un Codificador Estudiante (Student Encoder).

El Estudiante es como un detective que tiene que descubrir la verdad sin la clave de respuestas. Solo tiene acceso al historial del dron: el flujo de datos de los sensores de los últimos segundos. El Estudiante es entrenado para observar este historial y adivinar el "código secreto" que generó el Maestro. Aprende a detectar patrones, como: "Oye, los números del GPS están derivando lentamente, lo que usualmente significa una señal falsa", o "El giroscopio está vibrando con un ritmo extraño".

Una vez que el Estudiante es bueno adivinando el código secreto, el Maestro se retira. El dron se despliega con solo el Estudiante y la política de control. Ahora, cuando el dron vuela en el mundo real y es atacado, el Estudiante analiza el historial de los datos de los sensores, genera el "resumen veraz" y la política de control utiliza eso para mantener al dron volando recto.

Lo que demostraron los experimentos

Los investigadores probaron ARMOR en un mundo 3D simulado, enfrentándolo a cinco tipos diferentes de ataques físicos: suplantación de GPS (spoofing), manipulación del giroscopio, trucos del acelerómetro, corrupción del magnetómetro y suplantación del flujo óptico. Compararon ARMOR contra otros métodos destacados como RARL (que utiliza entrenamiento adversarial) y HRP (una política de recuperación híbrida).

Los resultados fueron muy claros en las simulaciones:

Tasa de supervivencia: Al enfrentarse a los ataques, ARMOR mantuvo al dron volando con éxito aproximadamente el 88% de las veces. En contraste, los métodos más antiguos tuvieron dificultades, con tasas de éxito que oscilaban entre el 30% y el 83%.
Choques: Quizás lo más impresionante es que ARMOR tuvo una tasa de choque del 0% en todos los tipos de ataques contra los que fue probado. Los otros métodos chocaron con frecuencia; por ejemplo, ante ataques de GPS, un método competidor chocó el 50% de las veces.
Mantener el rumbo: Cuando el dron se veía desviado de su curso, ARMOR mantuvo la "deriva del estado" (qué tan lejos se alejaba del camino) increíblemente baja, alrededor de 0.1 metros para ataques de GPS. Los otros métodos permitieron que el dron derivara varios metros o grados, lo cual es suficiente para causar un choque o un fallo en la misión.

El superpoder del "Zero-Shot"

El hallazgo más emocionante es lo que los autores llaman generalización zero-shot. Usualmente, si entrenas a un robot para manejar mentiras de GPS, podría fallar si de repente lo golpean con una mentira del giroscopio. Es como estudiar solo para matemáticas y reprobar el examen de historia.

ARMOR, sin embargo, demostró que podía manejar ataques no vistos sin ningún entrenamiento adicional.

Cuando entrenaron al dron solo con ataques de GPS y luego lo probaron con ataques de giroscopio (que nunca había visto antes), ARMOR tuvo éxito el 60% de las veces. El otro método (RARL) falló por completo, con una tasa de éxito del 0%.
Cuando entrenaron con ataques de giroscopio y lo probaron con ataques de GPS, ARMOR tuvo éxito el 70% de las veces, mientras que el otro método solo logró un 5%.

Esto sugiere que al aprender el "código secreto" de cómo se ve un estado físico real, el dron puede reconocer cuando cualquier sensor está mintiendo, incluso si es un tipo de mentira contra la que no ha practicado.

Por qué esto importa (y qué no es)

El artículo sugiere que este método de dos etapas es un gran paso adelante porque resuelve dos grandes problemas a la vez. Primero, es más rápido y económico de entrenar. El entrenamiento tradicional requiere miles de horas de "entrenamiento adversarial" donde una computadora lucha contra un atacante falso una y otra vez. ARMOR se salta esto usando al Maestro para aprender la verdad rápidamente, y luego enseñando al Estudiante a imitar esa verdad.

Segundo, hace que los drones sean más seguros contra una variedad más amplia de amenazas. Los autores señalan que, aunque ARMOR es muy bueno manejando ataques de un solo sensor e incluso algunos ataques de múltiples sensores, también tiene límites. Si un atacante manipula demasiados sensores a la vez de una manera compleja, el sistema aún podría tener dificultades. Además, estos resultados se basan actualmente en simulaciones (modelos computacionales), no en vuelos reales con hardware hackeado. Los autores son cuidadosos al decir que, aunque los resultados son prometedores, el siguiente paso es ver si funciona en drones reales en el mundo real.

En resumen, ARMOR le enseña a un dron a dejar de escuchar a los sensores ruidosos y mentirosos y empezar a escuchar el "resumen secreto" de la realidad. Es un truco inteligente que convierte a un robot vulnerable en uno resiliente, capaz de volar recto incluso cuando el mundo intenta engañarlo.

Resumen Técnico: ARMOR – Control de Aprendizaje por Refuerzo Resistente a Ataques para UAVs

1. Planteamiento del Problema

Los Vehículos Aéreos No Tripulados (UAVs) dependen en gran medida de los sensores a bordo (por ejemplo, GPS, giroscopios, acelerómetros) para la percepción y el control. Estos sensores son vulnerables a ataques físicos, como el spoofing de GPS, la manipulación acústica del giroscopio y el spoofing de sensores ópticos mediante láser. Tales ataques inyectan señales o ruido maliciosos, corrompiendo las estimaciones de estado y provocando acciones de control inseguras, desviaciones de trayectoria o colisiones.

Si bien el Aprendizaje por Refuerzo (RL) ofrece un control adaptativo, los métodos de RL seguro existentes (por ejemplo, blindaje, Funciones de Barrera de Control) son ineficaces contra los ataques físicos porque dependen de límites de inseguridad predefinidos. Los ataques físicos pueden engañar al controlador haciéndole creer que opera dentro de límites seguros cuando, en realidad, se desvía peligrosamente. Además, los enfoques estándar de entrenamiento adversarial sufren tres limitaciones clave:

Alto Costo de Entrenamiento: La generación iterativa de escenarios adversarios es computacionalmente costosa.
Generalización Limitada: Las políticas suelen fallar ante patrones de ataque no vistos durante el entrenamiento.
Falta de Efectividad Zero-Shot: Tienen dificultades para manejar modalidades de ataque previamente no vistas sin reentrenamiento.

2. Metodología: Marco de Trabajo ARMOR

Los autores proponen ARMOR (Adaptive Robust Manipulation-Optimized State Representations), un controlador de RL libre de modelo diseñado para operar de manera robusta bajo la manipulación adversarial de sensores. En lugar de depender de observaciones sensoriales puras, ARMOR aprende una representación latente robusta del estado físico del UAV mediante un marco de entrenamiento offline de dos etapas.

Etapa I: Entrenamiento del Codificador Maestro (Información Privilegiada)

En esta etapa, el sistema opera en un entorno de simulación totalmente observable donde la "información privilegiada" está disponible. Esta información incluye:

El sensor específico bajo ataque.
La magnitud y el patrón del sesgo inyectado.
La duración del ataque.
Los estados físicos corrompidos.

Un Codificador Maestro (Teacher Encoder), implementado como un Autoencoder Variacional (VAE) de múltiples cabezales, toma tanto los estados físicos observables ( $O_t$ ) como la información privilegiada ( $X_t$ ) como entrada. Genera una representación de estado latente robusta ( $\bar{l}_t$ ) que consiste en una media ( $\mu_t$ ) y una varianza ( $\sigma_t$ ).

Arquitectura: El VAE incluye un clasificador de tipo de ataque y un decodificador de reconstrucción. La varianza $\sigma_t$ sirve como una estimación de incertidumbre, lo que permite a la política ajustar su comportamiento cuando la incertidumbre aumenta (por ejemplo, durante ataques sigilosos).
Entrenamiento: La política de control se entrena utilizando Optimización de Política Próxima (PPO) con $\bar{l}_t$ como entrada. El codificador maestro se entrena para minimizar una pérdida combinada de error de reconstrucción, divergencia de Kullback-Leibler (KL) y error de clasificación de ataque.
Objetivo: Aprender una política que sea altamente resiliente a las manipulaciones de estado aprovechando características conscientes del ataque.

Etapa II: Entrenamiento del Codificador Estudiante (Transferencia de Aprendizaje)

Dado que la información privilegiada no está disponible en el despliegue en el mundo real, un Codificador Estudiante (Student Encoder) se entrena para aproximar la representación latente del Maestro utilizando únicamente datos históricos de los sensores a bordo.

Arquitectura: El Codificador Estudiante es un Autoencoder Variacional Temporal (TVAE) basado en una red de Memoria de Largo Corto Plazo (LSTM). Procesa una ventana deslizante de estados físicos históricos ( $H$ ) para capturar dependencias temporales y el impacto acumulativo de las perturbaciones adversarias.
Estrategia de Entrenamiento: Esta etapa utiliza aprendizaje supervisado. El Codificador Estudiante se entrena para minimizar la distancia entre su salida latente ( $l_t$ ) y la salida latente del Maestro ( $\bar{l}_t$ ). También alinea las acciones de control producidas por la política cuando se alimenta con $l_t$ frente a $\bar{l}_t$ .
Despliegue: Una vez entrenado, el Codificador Estudiante se utiliza para la inferencia en línea. La política de RL, entrenada originalmente con los estados latentes del Maestro, se reutiliza sin cambios, aceptando ahora los estados latentes del Estudiante como entrada.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

Marco de Entrenamiento de Dos Etapas: Un enfoque novedoso que primero entrena una política resistente a ataques utilizando información de ataque privilegiada, y luego la adapta para el despliegue en el mundo real utilizando solo datos de sensores a bordo mediante un codificador estudiante.
Representación de Estado Robusta: Un método para transformar información de estado físico de alta dimensión en un vector latente resiliente. Esta representación está específicamente optimizada para resistir ataques físicos, separando las características relevantes de la tarea de las perturbaciones inducidas por el ataque.
Estrategia de Transferencia de Aprendizaje: Un mecanismo que permite al controlador de RL inferir estados latentes robustos sin información privilegiada, confiando únicamente en datos históricos de sensores para lograr una generalización zero-shot contra ataques no vistos.

4. Resultados Experimentales

Los autores evaluaron ARMOR utilizando un simulador de cuadricóptero en un entorno 3D (gym-pybullet) contra cinco tipos de ataques físicos: spoofing de GPS, manipulación del giroscopio, manipulación del acelerómetro, corrupción del magnetómetro y spoofing del flujo óptico. Compararon ARMOR contra un Baseline-RL (sin codificador), una Política de Recuperación Híbrida (HRP) y Aprendizaje por Refuerzo Adversario Robusto (RARL).

Métricas de Desempeño

Tasa de Éxito de la Misión: ARMOR logró una tasa de éxito promedio del 88% en todos los tipos de ataque, comparado con el 83% de RARL y tasas significativamente más bajas para HRP y Baseline-RL.
Tasa de Colisiones: ARMOR incurrió en 0 colisiones en escenarios de ataque estándar, mientras que Baseline-RL y HRP sufrieron altas tasas de colisión (hasta el 100% para Baseline-RL bajo spoofing de GPS).
Deriva de Estado: ARMOR mantuvo una deriva de estado mínima (por ejemplo, ~0.1 m para ataques de GPS) en comparación con las desviaciones significativas observadas en otros métodos.

Hallazgos Clave

Eficiencia de Entrenamiento: ARMOR convergió significativamente más rápido que RARL. Mientras que RARL requirió ~1.2M de pasos de tiempo para alcanzar un nivel de recompensa específico, ARMOR (tanto para las políticas Maestro como Estudiante) convergió en menos de 600k pasos de tiempo, eliminando la necesidad de generación iterativa de escenarios adversarios.
Generalización Zero-Shot: ARMOR demostró capacidades zero-shot sólidas. Al ser entrenado en un solo tipo de ataque (por ejemplo, GPS) y probado en ataques no vistos (por ejemplo, Giroscopio), ARMOR mantuvo una tasa de éxito del 60–70% con bajas tasas de colisión. En contraste, RARL logró un 0% de éxito y altas tasas de colisión en escenarios zero-shot similares.
Ataques Sigilosos: ARMOR manejó eficazmente los ataques sigilosos (acumulación gradual de sesgo), logrando una tasa de éxito del 80.7% con 0 colisiones, superando tanto a HRP como a RARL.

5. Significación y Reivindicaciones

Los autores afirman que ARMOR representa un avance significativo en la seguridad de los UAVs al abordar el modelo de amenaza específico de los ataques físicos a los sensores, que los métodos de RL seguro existentes no logran mitigar. La importancia del trabajo radica en:

Desacoplamiento del Aprendizaje del Despliegue: Al separar el aprendizaje de representaciones robustas (usando información privilegiada) de la fase de inferencia (usando solo sensores), ARMOR logra una alta robustez sin la carga computacional del entrenamiento adversarial continuo.
Generalización: El marco proporciona un camino hacia la resiliencia zero-shot, permitiendo que los UAVs operen de forma segura contra modalidades de ataque que nunca han encontrado durante el entrenamiento.
Practicidad: El método elimina la necesidad de bucles complejos e iterativos de entrenamiento adversarial, haciendo que el proceso de entrenamiento sea más eficiente y escalable.

El artículo reconoce limitaciones, señalando que la generalización a ataques simultáneos de múltiples sensores es actualmente limitada debido a los efectos de perturbación compuestos, y que el trabajo futuro se centrará en extender el marco a otras plataformas robóticas e integrar garantías teóricas de seguridad.