Evaluating False Alarm and Missing Attacks in CAN IDS

Resumen Técnico: Evaluación de Falsas Alarmas y Ataques No Detectados en IDS para CAN

Planteamiento del Problema
Los vehículos modernos dependen fuertemente de la red Controller Area Network (CAN) para interconectar las Unidades de Control Electrónico (ECU) destinadas a funciones críticas para la seguridad. Aunque los Sistemas de Detección de Intrusiones (IDS) basados en Aprendizaje Automático (ML) se despliegan cada vez más para asegurar el tráfico CAN, su robustez frente a la manipulación adversaria sigue siendo poco explorada. La literatura existente a menudo evalúa el rendimiento de los IDS con datos limpios o considera las falsas alarmas (falsos positivos) y los ataques omitidos (falsos negativos) de forma aislada. Este artículo aborda la brecha en la comprensión de cómo las perturbaciones a nivel de carga útil (payload) y conformes al protocolo pueden activar simultáneamente falsas alarmas y causar que el tráfico malicioso evada la detección, comprometiendo así la fiabilidad de los IDS automotrices de seguridad crítica.

Metodología
El estudio presenta una evaluación adversaria sistemática utilizando el conjunto de datos ROAD, que contiene más de 3.5 horas de tráfico real de vehículos CAN, incluyendo 12 capturas benignas y 33 capturas de ataque (fuzzing, fabricación y suplantación de ECU).

• Modelos Evaluados: Los autores comparan cuatro modelos de aprendizaje superficial —Árbol de Decisión (DT), Bosque Aleatorio (RF), Extra Trees (ET) y XGBoost (XGB)— contra una Red Neuronal Profunda (DNN) con cuatro capas ocultas.
• Modelo de Amenaza: La evaluación asume un adversario de "bus gris" (gray-bus) con conocimiento de caja blanca del IDS. El atacante puede inyectar mensajes fabricados, pero debe adherirse a las restricciones del protocolo CAN.
• Generación de Adversarios: Utilizando la Caja de Herramientas de Robustez Adversaria (ART), los autores generan ejemplos adversarios mediante FGSM (Método de Signo de Gradiente Rápido), BIM (Método Iterativo Básico) y PGD (Descenso de Gradiente Proyectado). Crucialmente, las perturbaciones se restringen a los bytes de la carga útil (D0–D7) del cuadro CAN. El ID de CAN y el Código de Longitud de Datos (DLC) permanecen fijos, y todos los valores perturbados se recortan al rango de bytes válido [0, 255] para asegurar que los cuadros generados sigan siendo conformes al protocolo y válidos en el bus.
• Métricas de Evaluación: El estudio utiliza la Tasa de Éxito del Ataque (ASR) para cuantificar la frecuencia de las clasificaciones erróneas inducidas (tanto falsos positivos en tráfico benigno como falsos negativos en tráfico malicioso) y el Coeficiente de Correlación de Matthews (MCC) para evaluar el rendimiento general de la clasificación bajo desequilibrio de clases.

Contribuciones Clave

1. Marco Adversario Unificado: El artículo introduce una evaluación unificada que examina las falsas alarmas y los ataques omitidos como modos de fallo acoplados, en lugar de tratarlos de forma aislada.
2. Perturbaciones Conformes al Protocolo: A diferencia de estudios previos que pueden generar paquetes de red inválidos, este trabajo impone restricciones estrictas de dominio, asegurando que los ejemplos adversarios sean cuadros CAN válidos que podrían existir realisticamente en un bus vehicular.
3. Análisis Comparativo de Arquitecturas: El estudio caracteriza cómo las elecciones arquitectónicas (ensambles superficiales frente a aprendizaje profundo) influyen en la robustez adversaria a través de diversos escenarios de ataque (Fuzzing, MECTA, MSA, RLOFFA, RLONA, CSA).
4. Reproducibilidad: Los autores han puesto a disposición pública su implementación, el flujo de trabajo experimental y el código de evaluación.

Resultos

• Rendimiento Benigno: Bajo condiciones normales, todos los modelos logran un sólido rendimiento base. La DNN demuestra un MCC ligeramente inferior (aprox. 0.85) en comparación con los modelos superficiales (aprox. 0.91), debido principalmente a un mayor número de falsos negativos, lo que sugiere un límite de decisión más conservador.
• Robustez ante Falsas Alarmas: Todos los modelos, incluida la DNN, exhiben una fuerte robustez contra la inducción de falsas alarmas en el tráfico benigno. La DNN, en particular, mantiene tasas bajas de falsos positivos incluso bajo perturbaciones adversarias, superando a los modelos superficiales en esta métrica específica.
• Vulnerabilidad ante Ataques Omitidos: El estudio revela vulnerabilidades sustanciales respecto a los ataques omitidos (falsos negativos).
  • Vulnerabilidad de la DNN: La DNN sufre fallos catastróficos bajo ataques basados en gradiente. En escenarios específicos (por ejemplo, MECTA), la ASR de la DNN para ataques omitidos alcanza 1.0, indicando un fallo completo en la detección de cuadros maliciosos manipulados adversariamente.
  • Resiliencia de Modelos Superficiales: Aunque los modelos superficiales también se degradan bajo ataques fuertes (particularmente PGD), el modelo Extra Trees (ET) demuestra una robustez superior en comparación con otras arquitecturas. El ET mantiene valores de ASR más bajos para ataques omitidos en la mayoría de los escenarios y muestra un rendimiento más estable bajo PGD en comparación con RF y XGB.
  • Sensibilidad al Tipo de Ataque: Los ataques basados en gradiente (FGSM, BIM, PGD) son altamente efectivos contra la DNN. Por el contrario, los ataques de fabricación conscientes del protocolo tienen un impacto más fuerte en los modelos basados en árboles, aunque el ET generalmente supera a DT, RF y XGB en el mantenimiento de una ASR más baja.
  • Ataque CSA: Para el Ataque de Señal Correlacionada (CSA), ningún modelo produjo falsos negativos bajo evaluación adversaria. Los autores atribuyen esto a las estrictas restricciones del protocolo; no se pudieron generar muestras adversarias válidas que pudieran inducir un ataque omitido sin violar la validez del cuadro CAN.

Significancia y Reivindicaciones
El artículo sostiene que la manipulación adversaria puede disparar simultáneamente falsas alarmas y evadir la detección, resaltando una brecha crítica en el despliegue actual de los IDS automotrices. Los resultados demuestran que, si bien los modelos de aprendizaje profundo pueden ofrecer un rendimiento superior con datos limpios, son altamente susceptibles a la manipulación adversaria impulsada por gradientes, lo que potencialmente conduce a fallos de seguridad catastróficos. En contraste, los métodos de ensamble como Extra Trees ofrecen un compromiso de robustez más favorable, exhibiendo falsas alarmas mínimas y tasas de ataques omitidos comparativamente menores.

Los autores concluyen que confiar únicamente en datos de prueba limpios es insuficiente para evaluar la fiabilidad de un IDS. Enfatizan la necesidad de una evaluación de robustez adversaria en sistemas automotrices de seguridad crítica y sugieren que el trabajo futuro debería centrarse en estrategias de defensa, tales como el entrenamiento adversario y diseños de IDS híbridos, para mejorar la resiliencia contra adversarios adaptativos.