💻 computer science

When Unseen Attacks Look Normal: Open-Set Evaluation, Feature Observability, and Protocol-Invariant Detection in Mobile Ad Hoc Networks

Este artículo demuestra que, mientras los modelos estándar de aprendizaje automático fallan al detectar ataques no vistos en redes ad hoc móviles debido a su dependencia de distribuciones variables, una característica simple e invariante al protocolo —contar los vecinos de enrutamiento sin tramas decodificadas— logra una detección perfecta de ataques de agujero de gusano al identificar violaciones estructurales en lugar de anomalías estadísticas.

Autores originales: Amruth V, Devaraj Verma C

Publicado 2026-09-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Amruth V, Devaraj Verma C

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el caótico mundo de las redes móviles ad hoc, los dispositivos se comunican entre sí sin ninguna torre central o infraestructura fija que los guíe. Imagine a un grupo de excursionistas en un bosque denso, cada uno portando una radio. Para enviar un mensaje a través del grupo, un excursionista debe pasarlo a un vecino, quien lo pasa a otro, hasta que llega a su destino. Este sistema es increíblemente útil para el socorro en casos de desastre o para operaciones militares donde no existen torres de telefonía celular, pero también es frágil. Debido a que cada dispositivo actúa tanto como emisor como repetidor, un solo dispositivo deshonesto puede sabotear toda la conversación. Puede fingir ser un vecino servicial, robar los mensajes o simplemente dejarlos caer en la tierra. Durante años, los investigadores han intentado construir perros guardianes digitales para detectar a estos traidores. Entrenan programas informáticos para reconocer tipos específicos de mal comportamiento, como un dispositivo que de repente deja de reenviar mensajes o uno que inunda la red con solicitudes falsas. Estos programas suelen probarse viendo qué tan bien pueden distinguir a los actores maliciosos conocidos de los buenos. Si el programa puede diferenciar entre un ladrón y un excursionista, se considera exitoso.

Sin embargo, un nuevo estudio sugiere que esta forma de probar es peligrosamente incompleta. Los investigadores, trabajando con una simulación informática detallada de cien dispositivos en movimiento, descubrieron que un programa puede ser excelente detectando los cinco tipos específicos de ataques para los que fue entrenado, y aun así ser completamente ciego ante un sexto tipo que nunca ha visto antes. En sus experimentos, crearon un escenario con cinco tipos diferentes de sabotaje: un "agujero negro" que traga todo el tráfico, un "agual negro" (grey hole) que descarta la mitad de los mensajes, un "agujero de sumidero" (sinkhole) que engaña a los dispositivos para que envíen tráfico a un callejón sin salida, un ataque de "inundación" que obstruye la red con ruido, y un "agujero de gusano" (wormhole) que crea un túnel secreto entre dos dispositivos distantes. Entrenaron siete métodos de detección diferentes para reconocer estas cinco amenazas. Cuando los investigadores probaron estos métodos solo con los ataques que ya habían visto, los programas funcionaron de manera similarmente buena, con puntuaciones de precisión altas que los hacían parecer a todos ganadores. Pero la verdadera prueba llegó cuando ocultaron un tipo de ataque de los datos de entrenamiento y pidieron a los programas que lo encontraran en un mar de tráfico normal.

Los resultados fueron sorprendentes. Los programas más sofisticados, que utilizaban redes neuronales complejas similares a las que impulsan el reconocimiento de imágenes, fallaron estrepitosamente. Al enfrentarse a ataques de inundación, sumidero y agujero de gusano no vistos anteriormente, estas redes neuronales etiquetaron unánimemente a los actores maliciosos como dispositivos normales e inofensivos. Estaban tan seguros de sus respuestas erróneas que sus puntuaciones de confianza eran indistinguibles de sus respuestas correctas. De hecho, para los ataques de agujero negro e inundación, estos programas inteligentes funcionaron peor que el azar. El único método que mostró alguna capacidad real para detectar las amenazas desconocidas fue un enfoque mucho más simple basado en un bosque de árboles de decisión. Este método funcionó porque, a diferencia de las redes neuronales, podía sentir cuándo estaba mirando algo que no comprendía. Cuando los datos no encajaban con su entrenamiento, los árboles en su "bosque" no estaban de acuerdo entre sí, creando una señal de incertidumbre que los otros programas carecían.

El estudio también descubrió una falla crítica en cómo se construyen a menudo tales simulaciones. Uno de los ataques, el agujero de gusano, fue detectado inicialmente con una precisión casi perfecta, pero los investigadores se dieron cuenta de que esto era una ilusión. La simulación había dado a los detectores acceso a las coordenadas físicas exactas de cada dispositivo, permitiéndoles medir la distancia real entre vecinos. En el mundo real, un dispositivo no puede conocer su ubicación exacta ni la ubicación exacta de los demás; solo puede estimar la distancia basándose en la fuerza de la señal de radio. Cuando los investigadores eliminaron este "atajo" y obligaron a los detectores a depender únicamente de la información observable, el rendimiento para el ataque de agujero de gusano colapsó. Los detectores ya no podían distinguir entre un dispositivo normal y un punto final de un agujero de gusano.

Para resolver esto, los investigadores encontraron una pista diferente que no requiere saber dónde están los dispositivos. Notaron que en un ataque de agujero de gusano, dos dispositivos actúan como puntos finales del túnel, apareciendo como vecinos en la tabla de enrutamiento de la red, a pesar de que nunca se han escuchado mutuamente las señales de radio. En una red normal, un dispositivo solo incluye a un vecino en su lista si ha recibido con éxito un mensaje de él. Los investigadores construyeron una regla simple: si un dispositivo ve a un vecino en su lista que nunca le ha oído hablar, eso es un agujero de gusano. Esta única observación, que se basa en una regla fundamental de cómo debería funcionar la red, separó a los atacantes del agujero de gusano de todos los demás dispositivos con una precisión perfecta en cada prueba.

El artículo concluye que la forma actual de evaluar los sistemas de seguridad es engañosa. Un sistema que obtiene puntuaciones altas en ataques conocidos puede ser inútil contra nuevos ataques. El estudio muestra que la elección de cómo un sistema expresa su confianza es más importante que la complejidad del modelo en sí. Una verificación simple de una regla rota en el protocolo de la red resultó ser más efectiva para el ataque de agujero de gusano, mientras que un tipo de modelo diferente era necesario para capturar el ataque de inundación. Los investigadores argumentan que las pruebas de seguridad deben ir más allá de simplemente verificar si un sistema conoce los viejos trucos. También debe probar cómo reacciona el sistema cuando encuentra un tipo de problema completamente nuevo, asegurando que los perros guardianes digitales puedan realmente ladrar cuando ven algo que nunca han visto antes.

Resumen Técnico: Cuando los ataques no vistos parecen normales

Declaración del Problema

Las redes móviles ad hoc (MANET) carecen de infraestructura fija y autoridad central, lo que convierte a los protocolos de enrutamiento en la principal superficie de ataque. Los sistemas de detección de intrusiones (IDS) actuales para MANET se evalúan predominantemente como problemas de clasificación de conjunto cerrado, donde los modelos se entrenan y prueban sobre un conjunto fijo y conocido de clases de ataques. Este enfoque asume que los detectores desplegados solo encontrarán ataques que han sido explícitamente reconocidos durante su entrenamiento.

Sin embargo, en un despliegue en el mundo real, un modelo entrenado para separar cinco clases conocidas debe lidiar con un sexto ataque no visto. El artículo investiga qué sucede cuando un modelo encuentra un ataque que nunca ha visto. Específicamente, cuestiona si las métricas estándar de conjunto cerrado (como la precisión o la puntuación F1) pueden predecir de manera fiable el comportamiento de un modelo ante amenazas no vistas, y si las señales de confianza estándar (como la probabilidad máxima de softmax) pueden distinguir entre una clase conocida y un ataque desconocido.

Metodología

Los autores realizaron una evaluación controlada utilizando simulaciones en ns-3 con 120 ejecuciones involucrando 100 nodos moviéndose mediante un método de random waypoint en un campo de 1500x1500m. La red utilizó el enrutamiento AODV sobre IEEE 802.11b.

Diseño Experimental:

Ataques: Se implementaron cinco ataques de enrutamiento: Agujero Negro (Black Hole), Agujero Gris (Grey Hole), Sumidero (Sinkhole), Inundación (Flooding) y Túnel (Wormhole).
Modelos: Se evaluaron siete detectores sobre características e incluso divisiones de datos idénticas: Árbol de Decisión, k-NN, SVM, Bosque Aleatorio (Random Forest, 300 árboles), CNN-1D, LSTM y GRU. Además, se entrenó un Autoencoder basado en GRU utilizando únicamente tráfico benigno.
Protocolo de Evaluación:
1. Conjunto Cerrado: Validación cruzada de 4 pliegues (4-fold cross-validation) sobre todos los ataques conocidos.
2. Conjunto Abierto (Dejar un ataque fuera - Leave-One-Attack-Out): Cada ataque fue excluido del entrenamiento por turno. Luego, el modelo fue probado sobre el ataque no visto para medir su capacidad de detectar la novedad.
3. Puntuación de Incertidumbre: Se compararon tres puntuaciones de novedad:
  - Probabilidad Máxima de Softmax (línea base estándar).
  - Desacuerdo de Voto de Ensamble (Ensemble Vote Disagreement, para Random Forest).
  - Error de Reconstrucción (para el Autoencoder).
Observabilidad de Características: El estudio distinguió entre características observables por un nodo desplegado (estado del protocolo, RSSI) y características derivadas del simulador (coordenadas geométricas reales).

Contribuciones Clave

Desacoplamiento del Rendimiento de Conjunto Cerrado y Conjunto Abierto: El estudio demuestra que un alto rendimiento en conjunto cerrado no se correlaciona con la capacidad de conjunto abierto. Mientras que siete detectores lograron un rango estrecho de macro F1 (0.878–0.944) en ataques conocidos, su rendimiento en ataques no vistos varió drásticamente (AUROC de 0.10 a 0.98).
Fallo de las Señales de Confianza Neuronal: Las arquitecturas neuronales (CNN, LSTM, GRU) fallaron consistentemente en identificar ataques no vistos. Asignaron los ataques no vistos a la clase "normal" con alta confianza (asignación unánime en muchos casos), y sus probabilidades máximas de softmax cayeron por debajo del azar (AUROC 0.10–0.25) para varios ataques.
El Desacuerdo de Ensamble como Señal de Novedad: El modelo de Bosque Aleatorio fue la excepción. Su desacuerdo de voto (la fracción de árboles que votan por la clase ganadora) sirvió como una estimación de incertidumbre robusta, logrando puntuaciones AUROC de 0.982 en Black Hole, 0.934 en Grey Hole y 0.965 en Flooding.
La Trampa del "Wormhole" y los Invariantes de Protocolo:
- Los resultados iniciales para la detección de Wormhole (AUROC 0.950) dependían de características de distancia geométrica derivadas de las coordenadas reales del simulador, las cuales no están disponibles en un despliegue.
- Al eliminar estas características exclusivas del simulador, el rendimiento cayó al nivel del azar (AUROC 0.571).
- Los autores identificaron un invariante de protocolo desplegable: el recuento de vecinos de enrutamiento de los cuales un nodo nunca ha decodificado un cuadro ( $\nu$ ). En el tráfico honesto, este valor siempre es cero. En un túnel wormhole, los extremos registran vecinos que nunca han "escuchado".
- El umbral de esta única estadística observable logró un AUROC de 1.000 para la detección de Wormhole, superando a todos los modelos aprendidos.
Limitaciones de la Detección Basada en Reconstrucción: El estudio explica por qué los autoencoders fallaron en Wormhole (y Grey Hole) al usar características observables. El error de reconstrucción detecta desviaciones de una distribución; si una característica es constante en el tráfico benigno (por ejemplo, $\nu=0$ ), el modelo aprende a reconstruir esa constante perfectamente. La anomalía es una violación de una restricción estricta, no un dibujo inusual de una distribución, lo que hace que el error de reconstrucción sea ineficaz sin un umbral directo.

Resultados

Conjunto Cerrado: Los siete detectores abarcaron un rango de macro F1 de solo 0.066 (0.878 a 0.944). El Random Forest tuvo el mejor desempeño, pero las diferencias no fueron estadísticamente significativas entre los pliegues, lo que sugiere que las métricas de conjunto cerrado no pueden clasificar de manera fiable los detectores para este problema.
Conjunto Abierto (Ataques No Vistos):
- Redes Neuronales: Asignaron los ataques no vistos a la clase "normal" de forma unánime. Por ejemplo, 19/19 nodos de Flooding y 20/20 nodos de Sinkhole fueron clasificados como normales.
- Random Forest: Separó con éxito los ataques no vistos de Black Hole, Grey Hole y Flooding del tráfico normal utilizando el desacuerdo de voto.
- Autoencoder: Detectó con éxito Flooding (AUROC 0.996) y Sinkhole (AUROC 0.996), pero falló en Grey Hole (AUROC 0.374) y Wormhole (AUROC 0.571 sin geometría).
- Wormhole: Ningún clasificador discriminativo logró una puntuación utilizable (el mejor fue LSTM con 0.637). Solo el invariante de protocolo ( $\nu > 0$ ) logró una separación perfecta.
Observabilidad de Características: Eliminar las características geométricas derivadas del simulador causó que la puntuación de detección de Wormhole cayera de 0.950 a 0.571, resaltando el riesgo de sobreajuste a artefactos de la simulación.

Significancia y Reivindicaciones

El artículo argumenta que el paradigma de evaluación actual para la detección de intrusiones en MANET es insuficiente. La principal significancia reside en tres hallazgos:

La precisión de conjunto cerrado es un mal indicador de la robustez de conjunto abierto. Un modelo puede ser altamente preciso en ataques conocidos mientras es completamente ciego ante otros no vistos.
La elección del mecanismo de incertidumbre es más crítica que la arquitectura del modelo. El desacuerdo de voto de un Random Forest proporcionó una señal de novedad utilizable donde las probabilidades de softmax de las redes neuronales fallaron catastróficamente.
Los invariantes de protocolo pueden superar a los modelos aprendidos. Para ataques que violan restricciones estrictas (como el túnel Wormhole), una simple verificación de un invariante de protocolo es superior al modelado de la distribución del tráfico normal.

Los autores concluyen que los resultados de la detección de intrusiones en MANET deben reportarse junto con evaluaciones de dejar un ataque fuera para revelar puntos ciegos. Además, la selección de una puntuación de confianza o novedad debe tratarse como una decisión de diseño primaria, no como un detalle de implementación, ya que determina fundamentalmente si un sistema puede detectar lo "no visto".