NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Resumen Técnico: NeuroTrace

1. El Problema

Las Redes Neuronales Profundas (DNN) son fundamentales en sistemas críticos, pero su funcionamiento interno durante la inferencia sigue siendo opaco ("caja negra"). Esta falta de transparencia dificulta la detección y el diagnóstico de manipulaciones maliciosas, como los ejemplos adversarios (inputs diseñados para engañar al modelo).

Los métodos de detección existentes presentan limitaciones significativas:

• Se basan predominantemente en señales locales por capa (ej. logits, gradientes, mapas de saliencia o activaciones individuales).
• Tratan los componentes del modelo de forma aislada, fallando en capturar cómo la información fluye y se propaga a través de múltiples capas durante la ejecución.
• Carecen de una representación estructurada de la "procedencia" (provenance) de la inferencia, lo que limita su capacidad para generalizar frente a nuevos tipos de ataques.

2. Metodología: NeuroTrace y los Gráficos de Procedencia de Inferencia (IPG)

El artículo introduce NeuroTrace, un marco unificado y un conjunto de datos para analizar la procedencia de la inferencia mediante Gráficos de Procedencia de Inferencia (IPG).

• Concepto Central (IPG): Un IPG es un grafo heterogéneo que representa la ejecución de un modelo para una entrada específica.
  • Nodos: Representan estados de activación intermedios (neuronas individuales en capas totalmente conectadas o canales en capas convolucionales). Cada nodo contiene características derivadas de su tensor de activación (media, norma L2, esparsidad).
  • Aristas: Codifican las dependencias computacionales inducidas por los parámetros del modelo. Las aristas conectan activaciones que contribuyen a la siguiente capa.
    • En capas paramétricas, las aristas tienen atributos derivados de los pesos aprendidos.
    • En operaciones no paramétricas, las aristas codifican la conectividad estructural.
• Extracción de Subgrafos: No se utiliza el grafo de computación completo. Se extrae un subgrafo inducido por la activación: solo se incluyen nodos cuya magnitud de activación supera un umbral $\tau$. Esto crea una representación compacta de las vías computacionales activas.
• Pipeline de NeuroTrace:
  1. Extracción (IPG Extraction): Utiliza hooks (ganchos) en PyTorch para instrumentar la ejecución del modelo, interceptando activaciones y dependencias durante el paso forward.
  2. Representación: Convierte la ejecución en un grafo heterogéneo estandarizado compatible con Grafos Neuronales (GNN).
  3. Detección: Utiliza un GNN (específicamente GraphSAGE) para clasificar el grafo IPG como "benigno" o "adversario".

3. Contribuciones Clave

1. Señal de Detección Basada en Procedencia: Formalizan la procedencia de la inferencia como una representación gráfica que captura dependencias cruzadas entre capas, demostrando que es una señal superior a los métodos locales para detectar ejemplos adversarios.
2. Marco de Extracción NeuroTrace: Desarrollan una tubería de extracción reproducible en PyTorch que instrumenta la ejecución del modelo sin requerir adaptaciones específicas del modelo, operando a nivel de operaciones de tensores.
3. Dataset y Benchmark NeuroTrace-IPG: Publican un conjunto de datos multi-dominio que incluye:
   • Dominio de Visión: Clasificador ResNet-20 en CIFAR-10.
   • Dominio de Malware: Detectores (Cuckoo-DNN y EMBER-DNN) para detección de malware.
   • Incluye ejemplos benignos y adversarios generados bajo modelos de amenaza de caja blanca (FGSM, PGD, AutoAttack) y caja negra (SPSA, Square, SIA/SIT).
4. Evaluación de Transferencia: Demuestran que los detectores basados en IPG entrenados en un subconjunto de ataques se generalizan a ataques no vistos y entre diferentes modelos de amenaza (caja blanca a caja negra y viceversa).

4. Resultados Experimentales

Los autores evaluaron el rendimiento en tres escenarios principales:

• Detección Intra-ataque (Entrenamiento y prueba en el mismo ataque):
  • NeuroTrace logró un rendimiento uniformemente alto. En CIFAR-10, la precisión y el F1-score superaron el 96% para todos los ataques (blanco y negro).
  • En el dominio de malware, se alcanzó una separación perfecta (100% de precisión y AUC) para los ataques evaluados (Emb-att y Bit-Flip).
• Entrenamiento Multi-ataque:
  • Un solo detector entrenado con una mezcla de todos los ataques de CIFAR-10 logró un rendimiento casi saturado (~99.75%) al evaluar cada tipo de ataque por separado, demostrando que la procedencia captura señales estructurales compartidas.
• Transferencia Cruzada de Amenazas (White-box $\leftrightarrow$ Black-box):
  • Entrenar en ataques de caja blanca y probar en caja negra (y viceversa) resultó en una precisión superior al 96% y valores de AUC cercanos a 1.0.
  • Esto sugiere que las perturbaciones adversarias inducen desviaciones estructurales sistémicas en el flujo de información, independientemente de cómo se generaron los ataques.
• Comparación con Baselines:
  • NeuroTrace superó consistentemente a CIGA (Critical Inference Graphs), el baseline basado en grafos más cercano, con mejoras notables en ataques como PGD y APGD.

5. Costos y Limitaciones

• Overhead de Tiempo y Almacenamiento:
  • La extracción de IPG tiene un costo computacional. Para modelos de visión medianos (ResNet-20), la extracción tarda entre 15-25 ms por muestra (en lotes) y genera grafos de ~5.3 MB.
  • Para modelos de malware más pequeños, el costo es menor (~4 ms y ~1 MB).
  • El artículo concluye que el enfoque es ideal para auditoría offline, análisis forense y entornos de alta garantía, donde la latencia adicional es aceptable, pero requiere optimización para despliegue en tiempo real en arquitecturas masivas.
• Limitaciones:
  • No se evaluaron ataques adaptativos que optimicen específicamente para engañar tanto al modelo base como al detector de procedencia.
  • Los experimentos actuales se limitan a modelos de tamaño medio; la escalabilidad a arquitecturas grandes (como ViTs o LLMs) es un paso futuro.

6. Significado e Impacto

NeuroTrace establece un nuevo paradigma para la seguridad de DNNs al cambiar el enfoque de "qué activó el modelo" a "cómo fluyó la información" a través del modelo.

• Transparencia y Auditoría: Proporciona una base práctica para construir sistemas de aprendizaje automático más transparentes y auditables, dejando un rastro digital (el IPG) que puede analizarse post-mortem.
• Generalización: La capacidad de detectar ataques desconocidos basándose en la estructura de la ejecución sugiere que la procedencia de la inferencia es una señal robusta y transferible, menos dependiente de los mecanismos específicos de ataque que los métodos tradicionales.
• Reproducibilidad: Al liberar el código, el dataset y el protocolo de evaluación, NeuroTrace permite estudios sistemáticos sobre el comportamiento de la inferencia en el tiempo de ejecución.

En resumen, el trabajo demuestra que los ejemplos adversarios no solo alteran las activaciones finales, sino que inducen perturbaciones sistémicas en la estructura de ejecución del modelo, las cuales pueden ser detectadas eficazmente mediante la representación gráfica de la procedencia de la inferencia.