A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

En las capas ocultas del mundo moderno, miles de millones de dispositivos inteligentes —desde sensores de fábrica hasta termostatos domésticos— conversan constantemente entre sí. Esta vasta red, conocida como el Internet de las Cosas, es el sistema nervioso de nuestra infraestructura digital. Pero, como cualquier sistema nervioso, es vulnerable a la interferencia. Los hackers pueden enviar señales sutiles y calculadas diseñadas para engañar al software de seguridad que vigila estos dispositivos, haciendo que un ataque peligroso parezca un ruido de fondo inofensivo. Durante años, los expertos en seguridad han confiado en la inteligencia artificial para detectar a estos intrusos. Sin embargo, ha surgido un nuevo problema: cuando estos sistemas de IA señalan una amenaza, a menudo proporcionan una explicación de por qué tomaron esa decisión. La pregunta crítica es si esa explicación sigue siendo honesta cuando la IA está siendo engañada activamente. Si un hacker puede engañar al sistema para que ignore un ataque, ¿la explicación del sistema también se convierte en una mentira, o sigue apuntando a la verdad?

Un equipo de investigadores de la Universidad Internacional de Daffodil se propuso probar la honestidad y la fiabilidad de estas explicaciones de IA bajo fuego. Se centraron en dos métodos populares utilizados para explicar las decisiones de la IA, conocidos como SHAP y LIME. Estas herramientas actúan como un reflector, resaltando qué partes de una señal de red —como el tamaño de un paquete de datos o la duración de una conexión— hicieron que la IA diera la alarma. Los investigadores querían saber si estos reflectores se mantendrían estables y precisos cuando los datos de entrada fueran sutilmente alterados por un hacker, o si las explicaciones tambalearían y apuntarían en la dirección incorrecta. Para obtener una respuesta verdaderamente fiable, evitaron el error común de probar solo una versión de un modelo de IA. En su lugar, entrenaron veinte versiones diferentes del mismo sistema de seguridad, cada una comenzando con una configuración aleatoria ligeramente diferente, para asegurar que sus hallazgos no fueran solo un accidente de suerte de una sesión de entrenamiento específica.

Los investigadores sometieron estos sistemas a una serie rigurosa de pruebas utilizando datos del mundo real de dos colecciones importantes de tráfico de red. Simularon tres tipos de ataques: un ataque amplio y sin restricciones que cambia los datos de formas que una red real nunca podría producir; un ataque más realista que solo cambia números que el atacante puede controlar; y un ataque altamente restringido que respeta todas las reglas físicas de cómo se construyen los paquetes de datos. Encontraron que los ataques sin restricciones, que a menudo producen valores de datos imposibles como un paquete con un número fraccionario de bytes, eran mayormente una falsa alarma. Cuando los investigadores obligaron a que estos registros imposibles parecieran datos reales y válidos, la tasa de éxito de los ataques contra los modelos de redes neuronales disminuyó drásticamente. Sin embargo, los modelos basados en árboles, que funcionan de manera diferente, fueron más vulnerables a estos trucos de apariencia válida.

El descubrimiento más sorprendente concernió a las explicaciones mismas. Cuando los modelos de IA eran atacados, el método SHAP continuaba proporcionando explicaciones fieles y estables, reflejando consistentemente el comportamiento del modelo incluso cuando la decisión cambiaba. En contraste, el método LIME demostró ser mucho menos fiable. Bajo ataque, las explicaciones de LIME a menudo cambiaban tanto como cuando el sistema funcionaba normalmente, lo que sugiere que sus cambios eran principalmente ruido aleatorio en lugar de un reflejo real del ataque. De hecho, en cada una de las veinte sesiones de entrenamiento, SHAP superó a LIME en precisión y estabilidad. Los investigadores también descubrieron que la elección del "umbral de alarma" de un sistema de seguridad —el punto en el que decide dar la alerta— importa más que el modelo en sí. Un sistema ajustado para ser muy sensible podría detectar casi todos los ataques pero generar tantas falsas alarmas que los equipos de seguridad se verían abrumados, mientras que un ajuste más estricto podría perder ataques pero mantener bajo el ruido.

Quizás el hallazgo más desalentador fue que ningún sistema de seguridad es invencible. En uno de los conjuntos de datos, incluso las redes neuronales más avanzadas podían ser casi totalmente engañadas por un hacker que simplemente añadía relleno de datos a un paquete, una técnica que cuesta muy poco pero que evade la defensa por completo, con los modelos detectando, como máximo, el 3% de tales ataques. Los modelos basados en árboles fueron más robustos, pero un ataque inteligente y dirigido, diseñado específicamente para su estructura, aún podría evadirlos en una parte significativa de los casos. El estudio concluye que, si bien podemos construir sistemas de IA que expliquen su propio razonamiento, esas explicaciones son solo tan dignas de confianza como la capacidad del sistema para resistir la manipulación. La investigación proporciona una hoja de ruta clara sobre cómo probar estos sistemas en el futuro, enfatizando que debemos mirar más allá de las simples puntuaciones de precisión y examinar cómo las explicaciones resisten cuando el sistema está bajo una presión genuina. Las herramientas que utilizamos para comprender nuestras defensas digitales deben ser tan resilientes como las defensas mismas.