Protecting Deep Neural Network Intellectual Property with Chaos-Based White-Box Watermarking

1. Planteamiento del Problema

La rápida proliferación de Redes Neuronales Profundas (DNN) en sectores comerciales y críticos ha generado una preocupación urgente sobre la protección de la Propiedad Intelectual (PI). Los modelos entrenados representan activos valiosos que requieren grandes inversiones en datos y computación, pero son vulnerables a la copia, redistribución no autorizada y el reutilización malintencionada.

A diferencia del software tradicional, las DNN se distribuyen como archivos de pesos o grafos serializados, lo que facilita su robo sin detección. Aunque existen métodos de marca de agua (watermarking), muchos presentan limitaciones:

• Requieren modificar el proceso de entrenamiento o añadir funciones de pérdida complejas.
• Son frágiles ante ataques de ajuste fino (fine-tuning) o poda.
• Utilizan señales estáticas o manuales que pueden ser filtradas o eliminadas.
• Muchos enfoques dependen de accesos de "caja negra" (solo salidas), que son menos robustos que los de "caja blanca" (acceso a parámetros internos).

2. Metodología Propuesta

El artículo presenta un marco de trabajo de marca de agua de caja blanca que combina secuencias caóticas para la generación de la marca y algoritmos genéticos para la verificación. El enfoque se divide en dos fases principales:

A. Generación y Embebido de la Marca de Agua

1. Generación de Secuencia Caótica: Se utiliza el mapa logístico, una función caótica conocida por su alta sensibilidad a las condiciones iniciales. La ecuación es $x_{n+1} = r \cdot x_n \cdot (1 - x_n)$.
   • Los parámetros secretos son: el parámetro de control caótico ($r$), el valor inicial ($x_0$) y un factor de escala pequeño ($\epsilon$).
   • Se genera una secuencia caótica cuya longitud coincide con el número de pesos de una capa intermedia seleccionada del modelo.
2. Embebido: La secuencia caótica se inyecta en los pesos ($w_i$) de una capa intermedia preentrenada mediante una perturbación mínima:
   $$w'_i = w_i + \epsilon \cdot c_i$$
   Donde $c_i$ es el valor de la secuencia caótica y $\epsilon$ controla la fuerza de la marca.
3. Ajuste Fino (Fine-tuning): Tras la inyección, el modelo se ajusta finamente en los datos de entrenamiento originales (con una tasa de aprendizaje reducida) para mitigar cualquier degradación en la precisión predictiva y asegurar que la marca se integre sin alterar significativamente el comportamiento del modelo.

B. Verificación de Propiedad

El proceso de verificación asume acceso a los pesos del modelo sospechoso (caja blanca):

1. Extracción de la Señal: Se calcula la diferencia entre los pesos del modelo sospechoso y una referencia (o se aísla la perturbación) para obtener el vector de la marca extraída ($\Delta W$).
2. Optimización con Algoritmo Genético (GA): Dado que recuperar los parámetros originales ($r, x_0, \epsilon$) es un problema no lineal y complejo, se emplea un Algoritmo Genético.
   • Población: Se inicializa con candidatos de parámetros usando muestreo de hipercubo latino.
   • Función de Aptitud: Evalúa la similitud entre la secuencia caótica regenerada por los candidatos y la señal extraída, utilizando una combinación ponderada de Error Cuadrático Medio (MSE) y Distancia de Correlación.
   • Evolución: Se aplican selección (torneo), cruce (blend crossover) y mutación (ruido gaussiano) para evolucionar la población hacia los parámetros originales.
3. Validación: Si el GA converge a parámetros muy cercanos a los originales, se confirma la propiedad.

C. Técnicas Auxiliares

Para mejorar la interpretabilidad y fiabilidad, el estudio incluye:

• Análisis de Densidad de Pesos: Visualización de la distribución de pesos para distinguir entre modelos originales, marcados y manipulados.
• Clasificador de Regresión Logística: Un clasificador ligero entrenado con los patrones de activación interna del modelo para diferenciar entre modelos originales, marcados y ajustados finamente.

3. Contribuciones Clave

• Técnica Ligera y Post-Entrenamiento: Permite marcar modelos ya entrenados sin necesidad de reentrenar desde cero o modificar la arquitectura.
• Robustez mediante Caos: Utiliza la imprevisibilidad de los sistemas caóticos para generar marcas únicas y difíciles de forjar o eliminar.
• Recuperación mediante Algoritmos Evolutivos: Introduce un marco de verificación basado en GA que busca eficientemente los parámetros caóticos originales, incluso bajo perturbaciones de pesos.
• Validación Multinivel: Combina la recuperación numérica de parámetros con análisis visuales (densidad) y clasificación basada en activaciones para una verificación en capas.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos MNIST y CIFAR-10 utilizando modelos de clasificación de imágenes.

• Fidelidad (Precisión): El método mantiene la precisión del modelo original. En MNIST, se observó una ligera mejora (posible efecto de regularización), y en CIFAR-10, una caída mínima dentro de límites aceptables.
• Detección y Clasificación:
  • El clasificador de regresión logística logró una precisión casi perfecta, clasificando correctamente casi todas las muestras (solo 1 error en 7,920 para MNIST y 1 en 29,049 para CIFAR-10) para distinguir entre modelos originales, marcados y ajustados.
• Recuperación de Parámetros:
  • El Algoritmo Genético recuperó los parámetros ($r, x_0, \epsilon$) con una desviación mínima (ej. diferencias de ~0.001 a 0.01) en modelos marcados, incluso después de ataques de ajuste fino.
  • En modelos "aleatorios" (sin la marca correcta), el GA falló en encontrar una coincidencia, con errores significativos, demostrando resistencia a falsos positivos.
• Robustez ante Ataques: El método demostró ser resistente a ataques de ajuste fino (fine-tuning), donde un adversario intenta eliminar la marca ajustando el modelo. La marca permaneció detectable y recuperable.

5. Significado y Limitaciones

Significado:
Este trabajo ofrece una solución práctica y escalable para la protección de PI en DNNs en entornos de caja blanca. Su capacidad para funcionar después del despliegue (post-training) y su resistencia a manipulaciones comunes lo hacen muy relevante para escenarios reales donde la propiedad de los modelos es crítica. La combinación de caos y algoritmos genéticos introduce un nuevo paradigma de seguridad que es difícil de replicar sin conocer los parámetros semilla.

Limitaciones:

• Entorno de Caja Blanca: Requiere acceso a los pesos internos del modelo, lo que limita su uso en APIs comerciales o plataformas de inferencia encriptada (caja negra).
• Coste Computacional: La verificación mediante Algoritmos Genéticos puede ser costosa en tiempo para modelos muy grandes o secuencias largas.
• Arquitectura Específica: Los experimentos se centraron en CNNs para clasificación de imágenes; su aplicabilidad en Transformers, RNNs o modelos de lenguaje no ha sido validada.
• Capacidad de Carga: Actualmente embebe una secuencia continua de caos, no soporta directamente la codificación de múltiples bits de información (como metadatos complejos o identificadores de múltiples usuarios).
• Otros Ataques: No se evaluó exhaustivamente la robustez contra poda (pruning), cuantización o sobrescritura de marcas.

En conclusión, el artículo propone un marco robusto y flexible que equilibra la integración sutil de la marca con la recuperación fiable, avanzando en el estado del arte de la protección de modelos de aprendizaje profundo.