Resumen Técnico: InferNet – Explotación de Perfiles Agregados de GPU para la Inferencia de Arquitecturas de DNN

1. Planteamiento del Problema

Las Redes Neuronales Profundas (DNN) son activos de propiedad intelectual (IP) críticos, pero enfrentan amenazas de seguridad significativas, particularmente los Ataques de Extracción de Modelos (MEA). Los MEA tradicionales suelen depender de un análisis complejo y de grano fino de series temporales de recursos de sistema de bajo nivel (por ejemplo, tráfico de PCIe, tiempos de caché o el espionaje del bus de memoria) para la ingeniería inversa de las arquitectes de modelos. Sin embargo, estos enfoques son frecu menudo impracticables en entornos reales de nube y de Aprendizaje Automático como Servicio (MLaaS) porque requieren acceso privilegiado (root/administrador) o proximidad física, algo que rara vez está disponible para usuarios co-ubicados.

Además, el cambio de la industria hacia los modelos fundacionales (grandes modelos pre-entrenados ajustados para tareas específicas) ha alterado el objetivo del adversario. En lugar de extraer pesos, los atacantes ahora buscan identificar la arquitectura de la DNN subyacente (por ejemplo, distinguir entre variantes de ResNet, BERT o Inception) para facilitar el robo o la replicación dirigida de modelos. Los métodos existentes que dependen de datos temporales de grano fino son frágiles, susceptibles al ruido del sistema y fácilmente derrotados por contramedidas como la programación de kernels aleatorizada.

Existe la necesidad de un vector de ataque no intrusivo, robusto y práctico que pueda inferir arquitecturas de DNN utilizando únicamente métricas de sistema agregadas de grano grueso, disponibles para usuarios estándar en entornos de nube.

2. Metodología: InferNet

El artículo presenta InferNet, un método de ataque que aprovecha los perfiles agregados de GPU como un canal lateral para la identificación e inferencia de arquitecturas de DNN. A diferencia de trabajos previos que analizan la secuencia temporal de operaciones, InferNet utiliza resúmenes estadísticos de la ejecución de la GPU.

2.1 Idea Central

Los autores identifican dos ideas clave que impulsan el ataque:

1. Mapeo de Kernel-a-Capa: Cada combinación única de tipo de capa de DNN y tamaño se mapea a llamadas a kernels de CUDA específicas.
2. Huellas Digitales Únicas: El tipo de llamadas a kernels, sus tiempos de ejecución y sus patrones de utilización de recursos forman una huella digital única para arquitecturas de DNN específicas y sus variantes.

2.2 Flujo de Trabajo del Ataque

El ataque consiste en una fase de preprocesamiento offline y una fase de ataque online:

• Recolección de Datos (Offline): El adversario recolecta perfiles agregados de GPU para un conjunto de arquitecturas de DNN candidatas (el "conjunto de entrenamiento"). Utilizando herramientas como nvprof en modo agregado, capturan métricas que incluyen:
  • Métricas de Kernel de GPU: Tiempo total, número de llamadas y tiempo de ejecución promedio/mínimo/máximo para kernels específicos (por ejemplo, cudnn_infer, volta_sgemm).
  • Llamadas a la API: Frecuencia y cronología de las invocaciones de la API de CUDA.
  • Métricas a Nivel de Sistema: Velocidad de reloj del SM, reloj de memoria, temperatura y consumo de energía.
• Ingeniería de Características: Los perfiles brutos se limpian para manejar la dispersión (añadiendo indicadores binarios de presencia de kernel) y se normalizan. Se utiliza la Eliminación Recursiva de Características (RFE) para identificar las características más predictivas, reduciendo el ruido y el sobreajuste.
• Entrenamiento del Modelo: Se entrena un clasificador de aprendizaje automático (por ejemplo, Random Forest, Naive Bayes, KNN) para mapear las características del perfil agregado a la etiqueta de la arquitectura de la DNN específica.
• Ataque Online: El adversario ejecuta el modelo víctima en un sistema habilitado para GPU, recolecta un único perfil agregado y lo introduce en el clasificador entrenado para predecir la arquitectura.

2.3 ¿Por qué Perfiles Agregados?

El artículo argumenta que los perfiles agregados son superiores a las trazas de series temporales para este modelo de amenaza específico porque:

• Suprimen el ruido de la programación no determinista de la GPU y la contención de recursos internos.
• Son menos sensibles a las variaciones en las versiones de los profilers o al estrangulamiento térmico (thermal throttling).
• Proporcionan huellas digitales estadísticas estables que son resilientes a las contramedidas temporales (por ejemplo, el orden aleatorio de los kernels).

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones específicas:

• Identificación de un Nuevo Canal Lateral: Identifica los perfiles agregados de GPU (llamadas a kernels y métricas de sistema) como un canal lateral viable para la inferencia de la arquitectura de DNN, desafiando la suposición de que las trazas de grano fino son necesarias.
• Marco de Trabajo InferNet: Desarrollo de un marco de ataque basado en aprendizaje automático capaz de extraer una amplia gama de arquitecturas, incluyendo modelos de visión (CNN, Vision Transformers) y Modelos de Lenguaje Grandes (LLMs).
• Robustez ante la Optimización: Demostración de que el ataque sigue siendo efectivo incluso cuando los modelos son comprimidos, podados (pruning) o ajustados con diferentes clases de salida.
• Eficiencia de Características: Evidencia empírica que muestra que un subconjunto pequeño de características (por ejemplo, las métricas de los 3 kernels principales) es suficiente para una precisión casi perfecta, reduciendo los requisitos de datos para el ataque.
• Evaluación de Entornos Cruzados: Caracterización de la transferibilidad del ataque a través de diferentes hardware (NVIDIA Tesla T4 vs. Quadro RTX 8000) y frameworks (PyTorch vs. TensorFlow).

4. Resultados Experimentales

Los autores evaluaron InferNet en 90 arquitecturas de DNN diversas (21 familias) a través de PyTorch y TensorFlow, utilizando dos plataformas de hardware.

• Precisión:
  • 100% de precisión utilizando el perfil agregado completo de la GPU.
  • ~100% de precisión utilizando solo las 3 características de kernel principales (específicamente las métricas de volta_sgemm y splitKreduce).
  • 100% de precisión en arquitecturas modificadas (por ejemplo, modelos ajustados con diferentes clases de salida).
  • 75% de precisión en escenarios de GPU cruzada (entrenamiento en una GPU, prueba en otra), con la predicción a nivel de familia manteniéndose alta (>90% para algunos modelos).
• Eficiencia de Datos: El ataque requiere un mínimo de datos de entrenamiento; un perfil por arquitectura fue suficiente para la mayoría de los modelos para alcanzar la misma precisión que el entrenamiento con 20 perfiles.
• Generalización de Frameworks: Aunque la predicción entre frameworks (PyTorch a TensorFlow) mostró inicialmente una precisión menor debido a los conjuntos de kernels disjuntos, el entrenamiento en un conjunto de datos heterogéneo (combinando ambos frameworks) restauró la precisión al 100% para Random Forest y Naive Bayes.
• Comparación: InferNet logra un 100% de precisión en un conjunto de candidatos 4 veces más grande que el siguiente mejor trabajo relacionado (que típicamente apunta a 15–20 modelos).

5. Significado y Reivindicaciones

El artículo afirma que InferNet representa un cambio de paradigma en los ataques de extracción de modelos al demostrar que la robustez estadística puede lograrse sin precisión temporal.

• Practicidad: El ataque es altamente práctico para entornos de nube donde los atacantes carecen de acceso root pero pueden ejecutar ejecutables y acceder a herramientas de perfilado estándar (las cuales no están uniformemente restringidas en todos los proveedores de nube o versiones de CUDA heredadas).
• Sigilo: Al depender de datos agregados en lugar de un espionaje de hardware intrusivo, el ataque es no intrusivo y difícil de detectar mediante la detección de anomalías estándar en los registros del sistema.
• Impacto Estratégico: La capacidad de identificar con precisión la familia de la arquitectura (por ejemplo, "Esta es una variante de BERT") reduce significamente el espacio de búsqueda para los adversarios, permitiendo un robo de modelos dirigido y socavando la seguridad de los modelos fundacionales.
• Limitaciones Reconocidas: Los autores señalan modestamente que, si bien el ataque es robusto dentro de una generación arquitectónica (por ejemplo, NVIDIA Turing), la transferibilidad entre generaciones puede requerir ajustes adicionales. También reconocen que las nuevas herramientas de NVIDIA han restringido el acceso a los profilers, aunque los entornos heredados y configuraciones de nube específicas aún exponen esta superficie de ataque.

El artículo concluye que el perfilado agregado de GPU expone una vulnerabilidad significativa en la cadena de suministro de la IA, lo que requiere nuevas contramedidas como computaciones ficticias (dummy computations), programación de kernels aleatorizada y acceso restringido a las herramientas de perfilado.