Resumen Técnico: Puertas Traseras Activadas por Hardware

Planteamiento del Problema

Los modelos de aprendizaje automático se despliegan rutinariamente en hardware de computación heterogéneo, que abarca desde GPUs de consumo hasta aceleradores de alto rendimiento. Un supuesto fundamental en este ecosistema es que diferentes plataformas de hardware producen resultados de inferencia idénticos para el mismo modelo y entrada. Sin embargo, debido a la no asociatividad de la aritmética de punto flotante y a las variaciones en el diseño del hardware (por ejemplo, tamaños de bloque, programación de warps), la ejecución del mismo modelo en diferentes dispositivos produce pequeñas desviaciones numéricas. Aunque estas desviaciones suelen considerarse inofensivas y estocásticas, este artículo desafía esa visión. Demostramos que estas menores variaciones numéricas pueden ser explotadas deliberadamente para crear puertas traseras activadas por hardware. A diferencia de las puertas traseras tradicionales que dependen de un disparador de entrada explícito (por ejemplo, un patrón de píxeles específico), estos ataques activan un comportamiento malicioso basándose únicamente en el acelerador de hardware utilizado para la inferencia.

Metodología

Modelo de Amenaza

Se asume que el atacante tiene control sobre el modelo antes del despliegue (por ejemplo, mediante un ataque a la cadena de suministro o mediante la carga de un modelo manipulado en una plataforma pública). La víctima despliega el modelo en diferentes dispositivos de hardware (por ejemplo, desarrollo en una GPU estándar frente a producción en un acelerador de alto rendimiento). El objetivo del atacante es manipular el modelo de tal manera que entradas específicas sean clasificadas erróneamente solo en el hardware objetivo, manteniendo predicciones correctas en todos los demás dispositivos y para todas las demás entradas.

Estrategia de Ataque

El ataque se basa en la observación de que un modelo entrenado no corresponde a una única función de decisión, sino a una familia de funciones distintas que dependen del hardware de ejecución. El ataque procede en dos pasos principales:

1. Moldeado del Límite de Decisión:
   El atacante optimiza los parámetros del modelo para mover el límite de decisión cerca de una entrada objetivo $\hat{x}$. Esto se logra minimizando una pérdida de proximidad $L$ que fomenta que los dos logits más grandes sean casi iguales (creando un empate) mientras penaliza las desviaciones de la etiqueta de clase original y de los pesos originales del modelo. Este paso se realiza utilizando el descenso de gradiente estándar en un único dispositivo de hardware.
   $$\arg \min_{\theta} L(\theta, f_\theta(\hat{x}; h_1))$$
   donde $L$ incluye términos para la proximidad del límite de decisión ($L_{diff}$), la preservación de la clase ($L_{class}$) y la regularización ($L_{reg}$).

2. Refinamiento de Desviaciones:
   Una vez que la entrada está cerca del límite de decisión, el atacante amplifica las desviaciones numéricas dependientes del hardware para invertir la predicción en el dispositivo objetivo. Dado que estas desviaciones no son diferenciables, el atacante emplea estrategias heurísticas:

   • Modificaciones Implícitas (Permutación Topológica): Reordenar las operaciones de punto flotante sin cambiar la equivalencia matemática bajo aritmética exacta. Esto se logra permutando los pesos en capas lineales consecutivas (por ejemplo, $W_1 W_2 \rightarrow (P_1 W_1)(P_1^{-1} W_2)$), lo que altera el orden de las sumas y, por tanto, la acumulación de errores de redondeo.
   • Modificaciones Explícitas (Perturbación de Parámetros): Voltear un pequeño número de bits ($k$) en los parámetros del modelo. Esto introduce cambios numéricos reales que afectan la computación incluso bajo aritmética exacta.

El proceso utiliza un procedimiento de optimización alternante, generando múltiples modelos candidatos en cada iteración para buscar una configuración que logre separar la predicación entre hardware mientras mantiene la utilidad general del modelo.

Contribuciones Clave

1. Puertas Traseras Activadas por Hardware: Introducimos un nuevo vector de ataque donde el comportamiento malicioso se activa por un hardware específico en lugar de un disparador de entrada. El comportamiento numérico del hardware actúa como un disparador latente.
2. Análisis Causal: Realizamos un análisis causal por capas utilizando el parcheo de activación entre hardware para identificar dónde surgen las diferencias inducidas por el hardware. Encontramos que las desviaciones pueden originarse en las capas iniciales (por ejemplo, los embeddings de parches en ViTs) o emerger como un efecto acumulativo a través de las capas.
3. Evaluación Empírica: Demostramos la eficacia de estas puertas traseras a través de varias arquitecturas de modelos (ResNet, EfficientNet, ViT), dispositivos de hardware (Nvidia A100, H100, A40, RTX 6000) y formatos numéricos (float32, float16, bfloat16).

Resultados Experimentales

• Tasas de Éxito: El ataque logra tasas de éxito superiores al 90% para la mayoría de los pares de hardware y arquitecturas de modelos. Por ejemplo, en float32, ResNet y EfficientNet lograron tasas de éxito del 100% en varios pares de GPU, mientras que ViT alcanzó tasas entre el 94% y el 98%.
• Sigilo: Los modelos con puerta trasera retienen una mediana del 99.8% del rendimiento del modelo original en datos limpios, asegurando que la manipulación permanezca indetectada durante la operación regular.
• Robustez: Las puertas traseras son robustas ante perturbaciones de entrada (hasta $10^3$ ULPs), variaciones de lote e inferencia de precisión mixta, aunque se degradan bajo ruido de entrada significativo.
• Múltiples Objetivos: Aunque es efectivo para objetivos únicos, la tasa de éxito disminuye a medida que aumenta el número de entradas objetivo simultáneas, cayendo por debajo del 50% para cinco objetivos debido a los objetivos de optimización conflictivos.
• Selectividad: El ataque puede ajustarse para escenarios de "uno contra el resto", activando la clasificación errónea en exactamente un dispositivo mientras mantiene las predicciones correctas en todos los demás.

Contramedidas

Evaluamos varias defensas:

• Perturbación de Entrada: Añadir ruido a las entradas puede mitigar el ataque, pero requiere una distorsión significativa para ser efectivo.
• Agrupación (Batching): Aleatorizar los tamaños de lote no es una defensa fiable, ya que solo suprime las puertas traseras en algunas configuraciones.
• Precisión Mixta: Reducir la precisión debilita el ataque, pero no lo elimina.
• Ajuste Fino (Fine-Tuning): El ajuste fino activo sobre datos limpios es la defensa más efectiva, reduciendo las tasas de éxito de la puerta trasera a casi cero en pocos pasos de gradiente.

Significado y Conclusión

Este trabajo revela que la seguridad de los sistemas de aprendizaje automático no puede aislarse del hardware subyacente. Incluso las desviaciones numéricas aparentemente insignificantes, anteriormente descartadas como artefactos benignos de la aritmética de punto flotante, constituyen una superficie de ataque viable. Nuestros hallazgos indican que la integridad de los modelos de aprendizaje automático debe considerarse en todo el stack de computación, desde los algoritmos entrenados hasta los aceleradores de hardware específicos utilizados para la inferencia. Esperamos que este trabajo anime a los profesionales a considerar las vulnerabilidades dependientes del hardware y motive el desarrollo de medidas de seguridad de extremo a extremo para el despliegue de aprendizaje automático.