LEA: Label Enumeration Attack in Vertical Federated Learning

Este trabajo presenta LEA, un nuevo ataque de enumeración de etiquetas en el Aprendizaje Federado Vertical que, a diferencia de métodos anteriores, no requiere datos auxiliares, es aplicable en múltiples escenarios y logra reducir la complejidad computacional de n! a n³ mediante una estrategia binaria, manteniéndose eficaz incluso frente a mecanismos de defensa comunes.

Lo esencial

¡Claro que sí! Imagina que este paper es como una historia de espionaje en el mundo de la inteligencia artificial. Aquí te explico de qué trata, usando analogías sencillas y divertidas.

🕵️‍♂️ La Historia: El Secreto del "Dueño de la Etiqueta"

Imagina un grupo de amigos que quieren cocinar el plato más delicioso del mundo (un modelo de Inteligencia Artificial).

• El Amigo A (La Parte Activa): Tiene el secreto del plato: sabe exactamente qué ingredientes son "salados", "dulces" o "picantes" (tiene las etiquetas o respuestas correctas). Pero es muy celoso y no quiere compartir su receta secreta ni decir qué ingredientes son.
• Los Amigos B, C y D (Las Partes Pasivas): Tienen ingredientes increíbles (datos), pero no saben qué sabor tiene el plato final. Solo pueden ver sus propios ingredientes.

Juntos, intentan cocinar el plato sin mezclarse los ingredientes en una sola olla (esto se llama Aprendizaje Federado Vertical). La idea es que el Amigo A les diga: "¡Ese ingrediente de B quedó muy salado!" o "El de C quedó muy dulce", pero sin revelar por qué o qué es exactamente.

🚨 El Problema: El Espía (LEA)

El paper presenta a un nuevo villano: un Espía (que es uno de los amigos pasivos) que quiere descubrir el secreto del Amigo A sin que nadie se dé cuenta.

Antes, los espías necesitaban tener una "lista de compras" previa (datos auxiliares) para adivinar el secreto. Si no tenían esa lista, no podían hacer nada.

Pero este nuevo ataque, llamado LEA (Ataque de Enumeración de Etiquetas), es como un detective que no necesita una lista de compras. Solo necesita ser muy observador.

🔍 ¿Cómo funciona el ataque? (La Analogía del Rompecabezas)

Imagina que el Espía tiene un montón de piezas de un rompecabezas (sus datos) pero no sabe qué imagen forman. Sabe que hay 3 tipos de piezas: Perros, Gatos y Pájaros.

1. Agrupación (Clustering): El Espía mira sus piezas y las agrupa por similitud. "Estas piezas parecen tener pelos largos (Gatos)", "Estas tienen hocicos largos (Perros)".
2. La Adivinanza (Enumeración): Ahora, el Espía hace un truco mental. Se dice: "¿Y si a este grupo de 'Gatos' le digo que son 'Perros'?" y entrena un modelo. Luego piensa: "¿Y si son 'Pájaros'?".
   • Hace esto con todas las combinaciones posibles de etiquetas. Es como probar todas las llaves posibles en una cerradura.
3. La Prueba de Fuego (Similitud): Mientras el grupo cocina el plato real, el Espía observa cómo reacciona el Amigo A (el dueño de las etiquetas).
   • El Espía compara: "Cuando yo probé la combinación 'Gatos', ¿la reacción del Amigo A fue igual a la que obtengo cuando uso mi modelo simulado con la etiqueta 'Gatos'?"
   • Si la reacción (el gradiente, que es como el "olor" del plato) es idéntica, ¡Bingo! El Espía descubrió que ese grupo de piezas son realmente Gatos.

El truco genial: El Espía no tiene que cocinar todo el plato de nuevo. Solo necesita oler el primer intento (el primer gradiente) para saber si va por buen camino. Esto le ahorra muchísimo tiempo y energía.

⚡ La Mejora: "Binary-LEA" (El Ataque Inteligente)

Hacer todas las combinaciones posibles (si hay 10 tipos de etiquetas, son millones de combinaciones) es como intentar abrir una caja fuerte probando cada número uno por uno. ¡Tardarías años!

Los autores proponen una versión más rápida llamada Binary-LEA.

• En lugar de probar todos los animales a la vez, el Espía pregunta: "¿Es esto un Perro o un Gato?" (Sí/No).
• Luego pregunta: "¿Es esto un Pájaro o un Gato?".
• Al dividir el problema en preguntas de "Sí o No", reduce la cantidad de intentos de millones a unos pocos cientos. Es como usar un mapa en lugar de caminar a ciegas.

🛡️ ¿Hay Escudos? (Defensas)

El paper también prueba si hay formas de protegerse:

1. Ruido (Añadir "Polvo" al mensaje): Intentan enviar el mensaje con un poco de "ruido" o estática.
   • Resultado: ¡No funciona muy bien! El Espía es tan bueno que, aunque haya ruido, todavía puede oler la diferencia entre "Perro" y "Gato".
2. Compresión (Enviar solo lo importante): Envían solo la mitad del mensaje.
   • Resultado: Tampoco funciona. El Espía sigue adivinando bien.
3. La Tabla de Codificación (El Escudo Real): El Amigo A cambia los nombres de las etiquetas antes de enviarlos. En lugar de decir "Gato", dice "X".
   • Resultado: ¡Esto sí ayuda! El Espía puede adivinar que un grupo es "X", pero no sabe que "X" significa "Gato".
   • Pero cuidado: Si el Espía tiene un pequeño dato de ayuda (sabe que hay muchos "Perros" y pocos "Gatos" en la cocina), puede adivinar el código rompiendo el escudo.

💡 Conclusión Simple

Este paper nos dice: "Cuidado, el Aprendizaje Federado Vertical no es tan seguro como pensábamos".

Un espía, sin necesidad de tener datos secretos previos, puede usar la lógica y la agrupación de datos para descubrir las etiquetas privadas (como diagnósticos médicos o historiales de crédito) simplemente observando cómo reacciona el sistema durante el entrenamiento.

La moraleja: En el mundo de la privacidad de datos, no basta con ocultar los ingredientes; hay que proteger también la forma en que reaccionamos a ellos, porque un espía inteligente puede deducir el secreto solo con mirar cómo se mueve el chef.

Resumen técnico

Resumen Técnico: LEA (Ataque de Enumeración de Etiquetas)

1. El Problema

El Aprendizaje Federado Vertical (VFL) es un paradigma donde múltiples participantes colaboran para entrenar un modelo de machine learning. Cada parte posee diferentes características (features) de las mismas muestras, pero solo una parte (la "parte activa") posee las etiquetas (labels), que a menudo son información sensible (ej. historial crediticio, diagnósticos médicos).

Aunque VFL se considera seguro porque solo se intercambian valores intermedios (gradientes) y no datos crudos, existen amenazas de privacidad. Los ataques anteriores de inferencia de etiquetas en VFL tenían limitaciones significativas:

• Requerían datos auxiliares (un subconjunto de datos etiquetados) para funcionar eficazmente.
• Estaban limitados a escenarios específicos (ej. solo clasificación binaria o solo VFL tipo Split).
• No eran prácticos en aplicaciones del mundo real donde el adversario no tiene acceso a datos etiquetados.

El objetivo de este trabajo es demostrar que un participante pasivo (adversario) puede inferir las etiquetas privadas de la parte activa sin necesidad de datos auxiliares, explotando las vulnerabilidades inherentes en el proceso de entrenamiento.

2. Metodología: Ataque de Enumeración de Etiquetas (LEA)

La intuición central del ataque es que los datos locales del participante pasivo son inherentemente clasificables. El adversario utiliza algoritmos de agrupamiento (clustering) no supervisado para inferir la correspondencia entre las muestras y las etiquetas reales.

El proceso se divide en las siguientes etapas:

• A. Agrupamiento y Enumeración:

  1. El adversario agrupa sus datos locales en $n$ clústeres (donde $n$ es el número de clases/etiquetas).
  2. Genera todas las posibles permutaciones de las $n$ etiquetas ($n!$) y asigna estas etiquetas a los clústeres, creando $n!$ conjuntos de datos simulados.
  3. Duplica su modelo local $n!$ veces, entrenando cada uno con un conjunto de datos simulado diferente (una permutación de etiquetas distinta).

• B. Evaluación de Similitud del Modelo (El núcleo del ataque):

  • El desafío principal es identificar cuál de los $n!$ modelos simulados corresponde al entrenamiento real.
  • Innovación Clave: En lugar de comparar los parámetros finales del modelo (que pueden divergir debido a mínimos locales o inicializaciones aleatorias), el ataque compara la similitud coseno de los gradientes de pérdida de la primera ronda.
  • Se asume que si la asignación de etiquetas es correcta, la dirección de actualización del gradiente en la primera iteración será casi idéntica a la del modelo benigno entrenado en colaboración.
  • El modelo simulado con la mayor similitud coseno con el gradiente real se selecciona como el "modelo de ataque".

• C. Optimización Computacional: Binary-LEA:

  • Entrenar $n!$ modelos es computacionalmente prohibitivo (ej. para 10 clases, $10! \approx 3.6$ millones).
  • Para resolver esto, proponen Binary-LEA, que transforma el problema de clasificación multiclase en múltiples tareas de clasificación binaria.
  • En lugar de enumerar todas las permutaciones, se seleccionan dos clústeres a la vez y se enumeran las permutaciones de dos etiquetas. Esto reduce la complejidad computacional de $O(n!)$ a $O(n^3)$, haciendo el ataque viable para grandes $n$.

• D. Adaptabilidad:

  • El ataque funciona tanto en AggVFL (donde la parte activa usa una función de agregación no entrenable) como en SplitVFL (donde la parte activa tiene una parte entrenable del modelo). En SplitVFL, el adversario simula la parte superior del modelo (top model) para completar el entrenamiento.

3. Contribuciones Clave

1. Ataque sin datos auxiliares: Es el primer ataque de inferencia de etiquetas en VFL que no requiere que el adversario posea ningún dato etiquetado previo, basándose únicamente en la capacidad de agrupamiento de sus datos locales.
2. Métrica de similitud eficiente: Propone el uso de la similitud coseno de los gradientes de la primera ronda en lugar de la similitud de parámetros, lo que ofrece mayor precisión y eficiencia, especialmente en escenarios con múltiples mínimos locales.
3. Reducción de complejidad (Binary-LEA): Introduce una estrategia que reduce la carga computacional de exponencial ($O(n!)$) a polinomial ($O(n^3)$), permitiendo ataques en tareas de clasificación multiclase complejas.
4. Evaluación exhaustiva: Demuestra la efectividad del ataque en escenarios reales (dos y múltiples partes) y contra diferentes tipos de modelos (Regresión Logística y Redes Neuronales).

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos reales: Breast Cancer, Give-me-some-credit y MNIST.

• Precisión del Ataque:
  • En tareas binarias (Breast Cancer, Give-me-some-credit), LEA alcanzó una precisión de ataque (ASR) entre 0.90 y 0.98, superando significativamente a los ataques anteriores (como la finalización de modelos pasivos) que caían al nivel de adivinanza aleatoria sin datos auxiliares.
  • En tareas multiclase (MNIST con 3, 5 y 10 clases), el ataque mantuvo una precisión superior a 0.80, incluso con Binary-LEA.
• Comparación con el Estado del Arte: LEA demostró un aumento del 50% al 90% en precisión de ataque en comparación con los métodos más avanzados existentes que requieren datos auxiliares.
• Resistencia a Defensas:
  • Ruido en Gradientes: La adición de ruido de Laplace no logró detener el ataque a menos que fuera tan alto que degradara la utilidad del modelo original.
  • Compresión de Gradientes: La compresión de gradientes tampoco afectó significativamente la capacidad del adversario para identificar el modelo correcto.
  • Tabla de Mapeo de Etiquetas: Se propuso una defensa basada en mapear etiquetas reales a pseudo-etiquetas. Sin embargo, esta defensa falló si el adversario tenía acceso a una pequeña cantidad de datos auxiliares o si la distribución de etiquetas era muy desigual (ej. 10:1), permitiendo al adversario deducir el mapeo.

5. Significado e Impacto

Este trabajo expone una vulnerabilidad crítica y fundamental en VFL: la privacidad de las etiquetas no está garantizada solo por el intercambio de gradientes, incluso sin datos auxiliares.

• Implicaciones de Seguridad: Muestra que la suposición de que los participantes pasivos no pueden inferir etiquetas es falsa si sus datos tienen estructura intrínseca (son agrupables).
• Necesidad de Nuevas Defensas: Las defensas actuales (ruido, compresión) son insuficientes. El artículo sugiere que se necesitan mecanismos más robustos, como el mapeo de etiquetas (aunque con limitaciones) o cambios arquitectónicos en el protocolo VFL.
• Avisos para la Industria: Empresas que utilizan VFL en sectores sensibles (finanzas, salud) deben reconsiderar sus supuestos de seguridad, ya que un participante malicioso podría reconstruir el historial de etiquetas de los clientes sin violar directamente la privacidad de los datos crudos.

En conclusión, LEA redefine el panorama de las amenazas de privacidad en VFL, demostrando que la inferencia de etiquetas es posible de manera eficiente y sin recursos externos, lo que obliga a la comunidad de investigación a desarrollar contramedidas más sofisticadas.