Traceable Black-box Watermarks for Federated Learning

1. El Problema: Fuga de Modelos y Falta de Trazabilidad

En el Aprendizaje Federado (FL), los clientes entrenan modelos localmente y comparten actualizaciones con un servidor central. Aunque esto protege la privacidad de los datos, existe un riesgo crítico de fuga de modelos: un cliente malicioso puede duplicar y distribuir ilegalmente el modelo global.

Los métodos actuales de protección de propiedad intelectual (IP) presentan dos limitaciones principales:

1. Limitación de acceso: Los métodos basados en parámetros requieren acceso de "caja blanca" (ver los pesos del modelo), lo cual es imposible si el modelo filtrado solo se accede mediante una API (escenario de "caja negra").
2. Falta de trazabilidad: Aunque algunos métodos de "caja negra" (basados en backdoors) pueden verificar si un modelo pertenece al sistema, no pueden identificar qué cliente específico fue el responsable de la filtración. Además, los métodos existentes suelen requerir modificar el protocolo de entrenamiento local o acceder a los datos privados de los clientes, lo que los hace vulnerables a manipulaciones.

2. Metodología: El enfoque TraMark

Los autores proponen TraMark, un método de marcas de agua (watermarking) ejecutado exclusivamente en el servidor que permite la verificación en caja negra y la identificación del culpable. Su funcionamiento se basa en tres pilares técnicos:

• Partición del Espacio de Parámetros: El servidor divide el modelo en dos regiones distintas mediante máscaras binarias:
  • Región de la Tarea Principal ($M_m$): Contiene los parámetros críticos para el rendimiento del modelo.
  • Región de la Marca de Agua ($M_w$): Un subconjunto pequeño de parámetros (aprox. 1%) destinado exclusivamente a la marca de agua.
• Agregación Enmascarada (Masked Aggregation): Para evitar que las marcas de agua de diferentes clientes se mezclen y colisionen durante la agregación (un problema común en FedAvg), el servidor realiza una agregación selectiva. Promedia las actualizaciones en la región de la tarea principal, pero preserva las actualizaciones individuales en la región de la marca de agua para cada cliente. Esto crea un "modelo global personalizado" para cada participante.
• Inyección de Marca de Agua Personalizada: El servidor entrena la región de la marca de agua de cada modelo utilizando un conjunto de datos de marca de agua ($D_w^i$) único para cada cliente. Estos conjuntos utilizan disparadores (triggers) fuera de la distribución (OOD) y distribuciones de salida predefinidas distintas, garantizando que la marca de agua de un cliente no se confunda con la de otro.

3. Contribuciones Clave

• Formalización del problema: Es el primer trabajo en definir formalmente el problema de la inyección de marcas de agua de caja negra que sean tanto verificables como trazables en entornos de FL.
• Diseño centrado en el servidor: A diferencia de otros métodos, TraMark no requiere que los clientes participen en la inyección de la marca de agua, lo que lo hace resistente a clientes maliciosos que intenten omitir o manipular el proceso.
• Prevención de colisiones: Mediante la partición de parámetros y la agregación enmascarada, el método garantiza que las marcas de agua permanezcan distintas y no se "entrelacen" durante el entrenamiento federado.

4. Resultados Experimentales

Los autores evaluaron TraMark en diversos datasets (FMNIST, CIFAR-10, CIFAR-100 y Tiny-ImageNet) bajo escenarios IID y no-IID:

• Eficacia de la Trazabilidad: TraMark alcanzó una Tasa de Verificación (VR) promedio del 99.58%, logrando identificar con éxito al cliente filtrador en casi todos los casos.
• Preservación de la Utilidad: El impacto en la precisión de la tarea principal (MA) fue mínimo, con una caída promedio de solo 0.54% en comparación con el entrenamiento estándar (FedAvg).
• Robustez ante Ataques: El método demostró ser resistente a ataques de poda (pruning) y ajuste fino (fine-tuning). Debido a que la marca de agua está acoplada a la estructura del modelo en una región específica, los intentos de eliminarla mediante la reducción de parámetros o re-entrenamiento no fueron efectivos.
• Escalabilidad: Los experimentos en Tiny-ImageNet con 50 clientes y el uso de patrones sintéticos (WafflePattern) demostraron que el método escala eficientemente sin aumentar significativamente la carga computacional del servidor.

5. Significado e Impacto

TraMark representa un avance significativo para la seguridad en el Aprendizaje Federado. Al permitir que los propietarios de modelos identifiquen con precisión la fuente de una filtración sin necesidad de acceder a los pesos del modelo sospechoso ni comprometer la privacidad de los datos de entrenamiento, proporciona una herramienta de rendición de cuentas (accountability) esencial para aplicaciones comerciales y sensibles (como salud o finanzas) donde la protección de la propiedad intelectual es vital.