Fingerprinting Deep Neural Networks for Ownership Protection: An Analytical Approach

1. Planteamiento del Problema

La propiedad intelectual (PI) de los modelos de Redes Neuronales Profundas (DNN) está amenazada por el robo y la distribución no autorizada. Los adversarios pueden robar un modelo, aplicar ataques de modificación que preservan el rendimiento (como fine-tuning, poda, o destilación de conocimiento) para alterar la frontera de decisión y evadir la detección, y luego distribuirlo como un servicio de caja negra.

Las técnicas existentes de huella digital (fingerprinting) basadas en ejemplos adversarios han demostrado ser efectivas, pero enfrentan un desafío fundamental no resuelto: la distancia óptima entre la huella digital y la frontera de decisión del modelo.

• Para garantizar la unicidad (distinguir el modelo protegido de otros entrenados independientemente), las huellas deben estar cerca de la frontera.
• Para garantizar la robustez (resistir ataques de modificación), las huellas deben estar lejos de la frontera.

Los trabajos anteriores dependen de heurísticas empíricas para elegir esta distancia, lo que a menudo resulta en huellas que violan una de las dos propiedades. No existe una solución teórica para determinar esta distancia de manera óptima.

2. Metodología: AnaFP

Los autores proponen AnaFP, un esquema de huella digital analítico que construye huellas bajo guía teórica rigurosa. El enfoque se basa en controlar la distancia de la huella a la frontera mediante un factor de estiramiento ($\tau$).

El proceso se divide en cuatro pasos principales:

A. Selección de Anclas de Alta Confianza

Se seleccionan muestras del conjunto de datos de entrenamiento con márgenes de logit (diferencia entre la puntuación de la clase correcta y la siguiente mejor) superiores a un umbral. Estas muestras, llamadas "anclas", aseguran que los modelos entrenados independientemente predigan correctamente la etiqueta original con alta probabilidad, reforzando la unicidad.

B. Cálculo de Perturbaciones Mínimas

Para cada ancla, se calcula la perturbación mínima ($\delta^*$) necesaria para que el modelo protegido cambie su predicción (cruzando la frontera de decisión). Esto se logra utilizando el ataque C&W ($\ell_2$). El punto resultante ($x_a + \delta^*$) se sitúa justo en la frontera de decisión.

C. Búsqueda del Factor de Estiramiento ($\tau$) bajo Restricciones Teóricas

Este es el núcleo de la contribución teórica. Se define un factor de estiramiento $\tau > 1$ tal que la huella final sea $x^* = x_a + \tau \delta^*$.

• Formalización de Restricciones: Se derivan matemáticamente un límite inferior ($\tau_{lower}$) para la robustez y un límite superior ($\tau_{upper}$) para la unicidad.
  • $\tau_{lower}$ depende del desplazamiento de logit máximo ($\epsilon_{logit}$) causado por ataques de modificación.
  • $\tau_{upper}$ depende del margen mínimo ($m_{min}$) de modelos independientes y su constante de Lipschitz local ($L_{uniq}$).
• Intervalo Admisible: Se establece que $\tau$ debe cumplir: $\tau_{lower} < \tau < \tau_{upper}$.
• Desafíos Prácticos y Soluciones:
  1. Conjuntos Infinitos: Como es imposible evaluar todos los modelos pirateados e independientes posibles, se aproximan mediante pools de modelos sustitutos (surrogate model pools).
  2. Estimación Conservadora: Para evitar límites demasiado estrictos que hagan inviable la generación de huellas, se utiliza una estrategia de relajación basada en cuantiles (en lugar de usar valores extremos, se usan percentiles de la distribución de parámetros en los pools sustitutos).
  3. Dependencia Circular: El límite inferior depende de $\tau$ (ya que el desplazamiento de logit se evalúa en el punto estirado). Para resolver esto, se emplea una búsqueda en cuadrícula (grid search) dentro del intervalo admisible para encontrar el valor de $\tau$ más factible que maximice el margen de seguridad respecto a ambos límites.

D. Construcción y Verificación

Se generan las huellas escalando la perturbación mínima por el $\tau$ óptimo encontrado. Durante la verificación, el propietario consulta el modelo sospechoso con las huellas; si la tasa de coincidencia supera un umbral, se confirma la propiedad.

3. Contribuciones Clave

1. Enfoque Analítico: Primera propuesta que formaliza matemáticamente la relación entre la distancia a la frontera de decisión y las propiedades de robustez/unicidad, eliminando la dependencia de heurísticas empíricas.
2. Derivación de Límites Teóricos: Establecimiento de límites superior e inferior para el factor de estiramiento, creando un intervalo admisible garantizado teóricamente.
3. Estrategia de Relajación y Búsqueda: Desarrollo de métodos prácticos (pools sustitutos, relajación por cuantiles y búsqueda en cuadrícula) para implementar la teoría en escenarios reales con conjuntos de modelos desconocidos.
4. Generalidad: El método es aplicable a diversas arquitecturas (CNN, MLP, GNN) y tipos de datos (imágenes, grafos).

4. Resultados Experimentales

Los autores evaluaron AnaFP en múltiples configuraciones (CIFAR-10/100, MNIST, PROTEINS) comparándolo con seis métodos de referencia (UAP, IPGuard, MarginFinger, AKH, GMFIP, ADV-TRA).

• Rendimiento General: AnaFP logró consistentemente el AUC (Área bajo la curva ROC) más alto en todas las arquitecturas y conjuntos de datos, superando a los métodos baselines. Por ejemplo, en CNN con CIFAR-10, alcanzó un AUC de 0.957 frente a 0.878 del siguiente mejor (ADV-TRA).
• Robustez ante Ataques: AnaFP demostró una resistencia superior ante ataques de modificación que preservan el rendimiento:
  • Fine-tuning, AT (Adversarial Training), N-finetune, P-finetune: AUC > 0.97.
  • Knowledge Distillation (KD) y Prune-KD: Ataques particularmente difíciles que alteran la estructura interna. AnaFP mantuvo un AUC de 0.756 y 0.689 respectivamente, superando significativamente a todos los competidores (que a menudo caían por debajo de 0.60).
• Análisis de Sensibilidad:
  • El método es robusto al tamaño y diversidad del pool de modelos sustitutos (requiere pocos modelos para estabilizarse).
  • La elección de los umbrales de cuantil no es crítica; una relajación moderada es suficiente para obtener un conjunto de huellas de alta calidad.
• Eficiencia: Aunque consume más memoria GPU que algunos métodos ligeros (debido a la optimización paralela de perturbaciones), su tiempo de ejecución es equilibrado y manejable en hardware moderno (ej. A100).

5. Significado e Impacto

El trabajo de AnaFP representa un avance significativo en la protección de la propiedad intelectual de la IA. Al pasar de un enfoque empírico a uno analítico y teóricamente fundamentado, resuelve la tensión fundamental entre robustez y unicidad.

• Fiabilidad: Proporciona garantías teóricas de que las huellas generadas no solo son difíciles de eliminar mediante ataques de modificación, sino que también minimizan falsos positivos con modelos independientes.
• Aplicabilidad Práctica: La capacidad de funcionar con pools de modelos sustitutos y su rendimiento en datos no euclidianos (grafos) lo hacen apto para entornos de despliegue real y diversos.
• Estándar Futuro: Establece un nuevo paradigma para el diseño de sistemas de verificación de propiedad, donde las decisiones de diseño se basan en límites matemáticos derivados de las propiedades del modelo en lugar de pruebas y errores.

En resumen, AnaFP ofrece una solución robusta, teóricamente sólida y experimentalmente superior para la verificación de propiedad de modelos de Deep Learning frente a amenazas modernas de piratería y ofuscación.