Navigating the Deep: End-to-End Extraction on Deep Neural Networks

1. El Problema: Extracción de Modelos en Redes Profundas

La extracción de modelos de redes neuronales (NN) es una amenaza de seguridad donde un adversario intenta recuperar los parámetros internos de un modelo (pesos y sesgos) mediante consultas de caja negra. Aunque existen métodos anteriores, como el propuesto por Carlini et al. (CRYPTO'20) y mejorado por Canales-Martínez et al. (Eurocrypt'24), estos tienen limitaciones críticas que impiden su aplicación en redes profundas:

• Limitaciones en la Extracción de Firmas (Signature Extraction): Los métodos existentes fallan más allá de las primeras 3 capas debido a:
  • Deficiencia de rango: Los sistemas lineales utilizados para calcular las firmas se vuelven subdeterminados en capas profundas, impidiendo la recuperación única de los pesos.
  • Propagación de ruido y capas más profundas: Los puntos críticos de capas inferiores (más profundas) se interpretan erróneamente como pertenecientes a la capa objetivo, creando "componentes de ruido" que contaminan la extracción.
• Limitaciones en la Extracción de Signos (Sign Extraction):
  • Los métodos anteriores (como el "neuron wiggle") fallan en neuronas de baja confianza.
  • Para corregir estos errores, los trabajos previos recurrían a búsquedas exhaustivas, lo que resulta en una complejidad exponencial, haciendo inviable la extracción completa en redes grandes.
• Falta de ataques "End-to-End": No existía un método que pudiera recuperar todos los parámetros de una red profunda (más de 3 capas) en tiempo polinomial de principio a fin.

2. Metodología y Soluciones Propuestas

Los autores proponen un marco de trabajo completo que mejora tanto la extracción de firmas como la de signos, permitiendo un ataque end-to-end en tiempo polinomial.

A. Mejoras en la Extracción de Firmas (Signature Extraction)

Para superar las barreras de las capas profundas, se introducen dos técnicas principales:

1. Intersección de Subespacios (Subspace Intersections):
   • Cuando el sistema de ecuaciones para recuperar los pesos de un punto crítico tiene rango insuficiente (no tiene solución única), el método propone intersectar los espacios de solución de múltiples puntos críticos.
   • Al intersectar los espacios de solución de diferentes puntos críticos ($S_x \cap S_{x'}$), se reduce la dimensión del espacio de soluciones hasta obtener una línea única (hasta un factor de escala), recuperando así la firma correcta incluso con sistemas subdeterminados.
2. Filtrado de Capas Profundas (Discarding Deeper Layers):
   • Se identifica que los puntos críticos de capas más profundas pueden fusionarse erróneamente.
   • Se propone un algoritmo de dos pasos:
     • Descarte de puntos: Verificar si los puntos de intersección calculados pertenecen realmente a la hiperplano extraído o si la hiperplano se "dobla" en una capa no extraída.
     • Descarte de componentes: Utilizar métricas como la relación de ruido (proporción de fusiones con puntos de capas profundas) y el tamaño del componente para eliminar falsos positivos.
   • Además, en redes anchas, se utiliza la varianza estadística de los pesos recuperados para identificar y descartar componentes que pertenecen a capas más profundas.

B. Mejoras en la Precisión Numérica

Para evitar la acumulación de errores en redes profundas:

• Normalización de Factores de Escala: Se normalizan las columnas de las matrices de derivadas para evitar matrices mal condicionadas que amplifican errores numéricos.
• Selección de Puntos Críticos: Se evitan regiones "planas" donde los cambios en la derivada son pequeños, seleccionando solo puntos críticos con diferencias de derivada significativas para construir los sistemas lineales.

C. Extracción de Signos Confiables (Confident Sign Extraction)

Para evitar la búsqueda exhaustiva exponencial en neuronas de baja confianza:

• Combinación SOE + Neuron Wiggle: Se combina el método de Sistema de Ecuaciones (SOE) con el método de "Neuron Wiggle".
  • Se utiliza el "Neuron Wiggle" para determinar los signos de las neuronas de alta confianza.
  • Estos signos conocidos se utilizan para completar el rango del sistema SOE, permitiendo resolver los signos de las neuronas de baja confianza restantes de manera determinista o con alta probabilidad, sin necesidad de búsqueda exhaustiva.
• Estrategia de Extensión: Se busca una zona amplia en el espacio de entrada donde los patrones de activación de las capas posteriores sean constantes, permitiendo construir sistemas SOE con mayor rango y estabilidad.

3. Contribuciones Clave

1. Primera Extracción End-to-End Polinomial: Presentan el primer método capaz de extraer completamente los parámetros de redes neuronales profundas (hasta 8 capas ocultas) en tiempo polinomial, sin simplificaciones artificiales.
2. Diagnóstico y Solución de Cuellos de Botella: Identifican y resuelven las causas raíz de por qué los ataques anteriores fallaban más allá de la tercera capa (deficiencia de rango y ruido de capas profundas).
3. Nuevas Métricas de Evaluación: Introducen el concepto de "Cobertura" (Coverage), que mide la proporción del espacio de entrada donde se han recuperado todos los pesos efectivos, diferenciando entre errores por falta de información y errores numéricos.
4. Validación Empírica: Demuestran la viabilidad del ataque en arquitecturas complejas entrenadas con MNIST y CIFAR-10.

4. Resultados Experimentales

Los autores validaron su ataque en tres modelos (Modelo I, II y III) con arquitecturas de hasta 8 capas ocultas:

• Profundidad de Extracción: Mientras que los trabajos anteriores (Foerster et al., 2024) fallaban al intentar recuperar la cuarta capa, el método propuesto extrajo consistentemente al menos 8 capas de redes neuronales.
• Precisión:
  • En el Modelo I (CIFAR-10, 3072-8(8)-10), se recuperó el 99.91% de los pesos efectivos en todo el modelo.
  • En el Modelo II (MNIST, 784-8(8)-1), se logró una recuperación del 99.68%.
  • Se alcanzó una equivalencia funcional $(\epsilon, \delta)$ con un error relativo muy bajo ($\epsilon \le 3.6 \times 10^{-4}$) en el 73% del espacio de entrada.
• Eficiencia: El tiempo total de ataque para redes de 8 capas fue de aproximadamente 19-27 horas, utilizando un número de consultas manejable (alrededor de 227-229 consultas por capa), demostrando que es factible en tiempo polinomial.

5. Significado e Impacto

Este trabajo representa un avance crucial en la seguridad de la IA:

• Ruptura de la Escalabilidad: Demuestra que la profundidad de la red ya no es una barrera efectiva contra la extracción de modelos en el escenario de caja blanca (acceso a salidas de confianza).
• Amenaza Práctica: Abre la puerta a ataques prácticos contra arquitecturas de redes neuronales más grandes y complejas, lo que obliga a reevaluar las estrategias de protección de modelos desplegados como servicios en la nube.
• Fundamento para Futuras Defensas: Al identificar los puntos débiles específicos (rango, ruido, precisión), este estudio proporciona una hoja de ruta para desarrollar contramedidas más robustas, como la ofuscación de salidas o la detección de consultas maliciosas.

En resumen, el artículo cierra la brecha entre la teoría de extracción de modelos y la práctica en redes profundas, transformando un problema que antes se consideraba limitado a redes superficiales en una amenaza real para arquitecturas complejas.