Resumen Técnico: VMask – Protección de Privacidad de Etiquetas Ajustable para el Aprendizaje Federado Vertical mediante el Enmascaramiento de Capas

1. Planteamiento del Problema

El Aprendizaje Federado Vertical (VFL, por sus siglas en inglés) permite que múltiples partes colaboren en el entrenamiento de un modelo de aprendizaje automático manteniendo la privacidad de sus conjuntos de datos locales. En una configuración típica de VFL, una parte activa posee las etiquetas, mientras que las partes pasivas poseen subconjuntos de características. Aunque el VFL se considera generalmente preservador de la privacidad porque solo se intercambian representaciones de características intermedias y gradientes, estudios recientes han demostrado su vulnerabilidad ante ataques de inferencia de etiquetas.

Entre diversas superficies de ataque, el ataque de Completación de Modelo (MC) se identifica como la amenaza más poderosa y severa. En este escenario, una parte pasiva semi-honesta (honesta pero curiosa), que sigue estrictamente el protocolo de entrenamiento, puede realizar un ajuste fino (fine-tuning) de un modelo inferior entrenado localmente con una cabeza de inferencia añadida para predecir con precisión las etiquetas privadas de la parte activa. Esto es posible porque el modelo inferior aprende a generar representaciones de características que están fuertemente correlacionadas con las etiquetas privadas.

Los mecanismos de defensa existentes contra los ataques de MC enfrentan tres desafíos críticos:

1. Compromiso Subóptimo: Los métodos suelen sacrificar una utilidad significativa del modelo para lograr privacidad, o viceversa.
2. Sobrecarga Impracticable: Las soluciones basadas en criptografía (por ejemplo, Cifrado Homomórfico, Computación Multipartita Segura) ofrecen una privacidad rigurosa pero incurren en costos computacionales prohibitivos, lo que las hace inadecuadas para un despliegue a gran escala.
3. Falta de Ajustabilidad: Los métodos actuales no permiten al defensor ajustar de manera flexible el nivel de privacidad de las etiquetas basándose en restricciones de recursos específicos o requisitos de precisión.

2. Metodología: El Marco de Trabajo VMask

Los autores proponen VMask, un nuevo marco de trabajo que defiende contra los ataques de MC mediante el enmascaramiento de capas mientras preserva la utilidad del modelo y ofrece una privacidad ajustable.

Percepción Fundamental

La percepción fundamental es que la fuerte correlación entre los datos de entrada y las representaciones de características resultantes permite a los atacantes inferir las etiquetas. VMask interrumpe esta correlación aleatorizando parámetros de capas específicas dentro del modelo inferior del atacante. Al enmascarar estas capas, la capacidad del modelo para generar representaciones de características representativas se degrada, reduciendo así la precisión de la inferencia del atacante.

Componentes Clave

VMask integra dos módulos y dos procedimientos en un sistema VFL estándar:

1. Distribución de Secretos (SS) para el Enmascaramiento de Capas:

   • En lugar de simplemente eliminar capas, VMask utiliza Distribución de Secretos Aditivos para enmascarar los parámetros de las capas lineales.
   • Las partes activa y pasivas comparten los parámetros de tal manera que la parte pasiva (atacante) posee una parte aleatoria, mientras que la parte activa posee la parte complementaria (más ruido aleatorio para evitar la reconstrucción).
   • Esto preserva la integridad de las computaciones lineales (operaciones de Suma y Multiplicación) durante el entrenamiento, asegurando que la precisión de la tarea principal se mantenga alta.

2. Estrategia de Selección de Capas Críticas:

   • Enmascarar todas las capas de forma ingenua es computacionalmente costoso. VMask emplea una estrategia para seleccionar únicamente las capas críticas para el enmascaramiento.
   • Criterio: Las capas se seleccionan basándose en sus normas de gradiente acumuladas sobre el historial de entrenamiento. Las capas con gradientes más grandes se consideran más críticas para la inferencia de etiquetas.
   • Observación: Los resultados empíricos muestran que enmascarar capas críticas no adyacentes es más efectivo para reducir la precisión del ataque que enmascarar capas consecutivas.

3. Modelo Sombra para la Estimación:

   • Dado que la parte activa no puede acceder directamente a los gradientes reales del atacante, mantiene un modelo sombra (con una arquitectura idéntica al modelo inferior de la parte pasiva) entrenado sincrónicamente en un pequeño conjunto de datos auxiliar.
   • La parte activa utiliza este modelo sombra para simular localmente el ataque de MC y estimar la magnitud de la fuga de etiquetas.

4. Presupuesto de Privacidad Ajustable:

   • El marco de trabajo admite un presupuesto de privacidad ajustable ($\epsilon$). La parte activa simula el ataque en el modelo sombra; si la precisión del ataque estimada supera el presupuesto, el sistema selecciona de forma codiciosa (greedy) capas críticas adicionales para enmascarar hasta que la fuga caiga dentro del límite definido.

Flujo de Trabajo

1. Inicialización: Las partes pasivas y la parte activa inicializan los modelos. La primera capa se enmascara por defecto.
2. Enmascaramiento de Capas: Basándose en la estrategia de selección, se enmascaran capas específicas utilizando SS.
3. Actualización Segura del Modelo: El modelo VFL se entrena. Las capas enmascaradas se computan mediante distribución de secretos (propagación hacia adelante/atrás segura), mientras que las capas no enmascaradas utilizan computación en texto plano estándar.
4. Actualización del Modelo Sombra: La parte activa entrena el modelo sombra en el conjunto de datos auxiliar.
5. Selección de Capas: La parte activa simula un ataque de MC en el modelo sombra. Si la fuga > presupuesto, se añaden más capas a la lista de enmascaramiento para la siguiente época (epoch).
6. Iteración: Este proceso se repite hasta que el modelo VFL global converge.

3. Contribuciones Clave

• Marco de Trabajo Novedoso: La introducción de VMask, el primer marco que utiliza la distribución de secretos para el enmascaramiento de capas para defenderse de los ataques de MC manteniendo una alta utilidad del modelo.
• Privacidad Ajustable: El diseño de un mecanismo de presupuesto de privacidad ajustable, que permite a los defensores controlar de manera flexible el compromiso entre privacidad y utilidad basándose en requisitos reales, una característica ausente en trabajos previos.
• Estrategia de Selección Eficiente: Una estrategia de selección de capas basada en las normas de gradiente acumuladas que apunta a capas críticas y no adyacentes, reduciendo significativamente la sobrecarga de aplicar la distribución de secretos a todo el modelo.
• Evaluación Exhaustiva: Experimentos extensos en 5 arquitecturas de modelos (MLP3, LeNet5, VGG13, ResNet18, DistilBERT) y 13 conjuntos de datos (tabulares, imágenes, texto), comparando VMask contra 12 métodos de defensa existentes.

4. Resultados Experimentales

La evaluación demuestra que VMask logra el mejor compromiso entre privacidad y utilidad entre todos los métodos comparados:

• Protección de la Privacidad: VMask frustra con éxito los ataques de MC, reduciendo la precisión de la inferencia de etiquetas a un nivel de adivinación aleatoria (comparable al modelo de un atacante aleatorizado). En todos los casos probados, la precisión del ataque se redujo a niveles cercanos al azar (por ejemplo, ~10-20% dependiendo del conjunto de datos, frente al 40-90% de los modelos sin protección).
• Utilidad del Modelo: El marco preserva el rendimiento del modelo con una degradación mínima.
  • En modelos basados en Transformers (DistilBERT), la caída promedio en la precisión del modelo VFL fue de solo 0.09%.
  • En todos los modelos, la caída de precisión promedio fue de como máximo 0.34%.
• Eficiencia:
  • VMask es hasta 60,846 veces más rápido que los métodos basados en criptografía (por ejemplo, Cifrado Homomórfico).
  • Comparado con el VFL estándar, la sobrecarga de tiempo de ejecución es marginal. Para modelos grandes como DistilBERT (67 millones de parámetros), el tiempo de ejecución de VMask es solo 1.8 veces el del VFL estándar, lo cual los autores consideran generalmente aceptable.
• Ajustabilidad: El marco controla consistentemente la fuga de etiquetas dentro del presupuesto de privacidad definido a través de diferentes niveles de privacidad.

5. Significación y Reivindicaciones

El artículo afirma que VMask aborda la necesidad urgente de una defensa práctica contra el ataque de Completación de Modelo en VFL. Su significación radica en:

1. Romper el Compromiso: Logra una alta utilidad del modelo y una fuerte privacidad simultáneamente, superando las limitaciones de las defensas previas basadas en ML que a menudo sacrifican una por la otra.
2. Despliegue Práctico: Al evitar operaciones criptográficas pesadas, ofrece una solución computacionalmente factible para escenarios del mundo real, a diferencia de los enfoques criptográficos existentes.
3. Flexibilidad: Es el primero en ofrecer un presupuesto de privacidad ajustable, permitiendo a los defensores tomar decisiones informadas basadas en sus restricciones de recursos y requisitos de privacidad específicos sin necesidad de reentrenar o rediseñar el sistema.

Los autores concluyen que VMask proporciona una solución robusta, eficiente y flexible para proteger la privacidad de las etiquetas en el Aprendizaje Federado Vertical, convirtiéndolo en un candidato viable para su despliegue en dominios sensibles como las finanzas y la salud, donde la fuga de etiquetas es una preocupación crítica.