Towards Privacy-Guaranteed Label Unlearning in Vertical Federated Learning: Few-Shot Forgetting without Disclosure

Este trabajo presenta el primer método para el olvido de etiquetas en el Aprendizaje Federado Vertical, que utiliza una mezcla de variedades a nivel de representación y optimización basada en gradientes para eliminar eficazmente la información de las etiquetas sensibles sin revelar datos ni comprometer el rendimiento en los datos retenidos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta secreta para un tipo muy especial de "olvido" en el mundo de la inteligencia artificial. Vamos a desglosarlo usando una analogía sencilla: una cocina colaborativa.

🍳 El Escenario: La Cocina Federada Vertical

Imagina que hay dos cocineros trabajando juntos para crear un plato delicioso (un modelo de Inteligencia Artificial), pero tienen reglas estrictas de privacidad:

1. El Chef Activo (Tú): Tienes la receta final y, lo más importante, sabes qué ingredientes son (por ejemplo, sabes que este plato es "Pizza" o "Sushi"). Pero no tienes los ingredientes crudos.
2. Los Ayudantes Pasivos (Los Proveedores): Ellos tienen los ingredientes crudos (las características de los datos), pero no saben qué plato están haciendo. Uno tiene la masa, otro el queso, otro el tomate.

Juntos hacen el plato sin que nadie revele sus secretos. Esto se llama Aprendizaje Federado Vertical (VFL).

🚫 El Problema: El Derecho al Olvido

A veces, un cliente dice: "¡Espera! No quiero que mi pizza (mis datos) se use más. Quiero que olvides que existí". Esto es el "Derecho al Olvido" (como el GDPR en Europa).

En el mundo de la IA, esto es difícil. Normalmente, para "olvidar" algo, tendrías que tirar toda la cocina, limpiar los fogones y volver a cocinar todo desde cero con los ingredientes restantes. ¡Es lento, caro y agotador!

Además, en este tipo de cocina vertical, hay un problema extra: si el Chef Activo le dice a los Ayudantes "Bórrame la pizza", podría revelar sin querer qué ingredientes se están borrando, rompiendo la privacidad.

💡 La Solución: El "Olvido de Few-Shot" con Manos Mágicas

Los autores de este paper proponen una forma inteligente y rápida de olvidar sin volver a cocinar todo. Lo llaman "Few-Shot Forgetting" (Olvido con pocas muestras).

Aquí está la magia, paso a paso:

1. El Truco del "Manifold Mixup" (La Mezcla de Realidad)

Imagina que tienes que borrar la pizza, pero solo tienes 40 fotos de pizzas (muy pocas). Si intentas borrar basándote en solo 40 fotos, el Chef podría confundirse y arruinar el sabor de las otras comidas (los datos que sí quieres guardar).

La solución: En lugar de usar solo las 40 fotos, usan un truco mágico llamado Manifold Mixup.

• Imagina que tomas dos fotos de pizza, las pones en una licuadora y creas miles de "pizzas fantasma" mezcladas entre sí.
• Estas pizzas fantasma no son reales, pero le dan al Chef una idea muy clara de cómo es el "sabor" de la pizza que quiere borrar, sin necesidad de tener miles de fotos reales.
• Analogía: Es como si, en lugar de leer 1000 páginas de un libro para entender un personaje, el autor te diera un resumen perfecto generado por IA que captura la esencia del personaje en una sola página.

2. El Olvido con Gradientes (El "Empujón" Inverso)

Una vez que tienen esas "pizzas fantasma", el Chef Activo hace algo muy curioso: empuja el modelo en la dirección opuesta.

• Normalmente, la IA aprende empujando hacia el sabor correcto.
• Para olvidar, el Chef le da un "empujón" fuerte hacia atrás usando esas pizzas fantasma.
• Lo genial: Los Ayudantes Pasivos (los que tienen los ingredientes) también reciben instrucciones para ajustar sus ingredientes, pero sin que el Chef les diga explícitamente qué ingredientes se borraron. Solo les dice: "Ajusten sus manos un poco hacia atrás". Así, nadie revela qué pizza se borró.

3. La Recuperación (El "Toque Final")

A veces, al empujar hacia atrás para olvidar la pizza, el Chef podría arruinar un poco el sabor del Sushi (los datos que querían guardar).

• Para arreglarlo, hacen un pequeño ajuste final usando muy pocas fotos de Sushi real.
• Esto restaura el sabor perfecto de lo que queda, asegurando que el modelo siga siendo útil para todos los demás.

🏆 ¿Por qué es tan bueno esto?

1. Es Rapidísimo: En lugar de cocinar todo de nuevo (que tardaría horas o días), este método es como un "atajo mágico" que se hace en segundos.
2. Protege la Privacidad: Nadie sabe exactamente qué se borró. Los Ayudantes solo ajustan sus manos, no saben si se borró una pizza o un sushi.
3. Funciona con Pocos Datos: No necesitas miles de ejemplos para olvidar. Con un puñado (unos 40) y el truco de la "licuadora de fotos" (Mixup), funciona perfectamente.
4. Funciona en Todo: Lo probaron con imágenes (como radiografías de tumores cerebrales o fotos de gatos) y hasta con texto (preguntas de Yahoo Answers).

En Resumen

Este paper nos dice: "No necesitas tirar la cocina entera para olvidar un ingrediente. Con un poco de magia (mezcla de datos sintéticos) y un empujón preciso, puedes borrar lo que no quieres, mantener lo que sí quieres, y hacerlo todo en un parpadeo, sin que nadie sepa qué pasó".

Es como tener un borrador de borrado instantáneo para la inteligencia artificial que respeta tu privacidad y ahorra mucho tiempo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Hacia el Olvido de Etiquetas Garantizado por Privacidad en el Aprendizaje Federado Vertical: Olvido Few-Shot sin Divulgación

1. El Problema

El Aprendizaje Federado Vertical (VFL) permite a múltiples organizaciones colaborar en el entrenamiento de modelos cuando comparten IDs de muestras pero tienen características diferentes (ej. un banco tiene datos financieros y un hospital tiene historiales médicos). Sin embargo, existe un desafío crítico y poco explorado: el olvido de etiquetas (label unlearning).

• Contexto: En VFL, la parte "activa" posee las etiquetas (que a menudo son información sensible, como el estado de salud o la aprobación de un préstamo), mientras que las partes "pasivas" poseen las características.
• Desafío: Las regulaciones como el GDPR y la CCPA otorgan el "derecho al olvido". Si un usuario solicita eliminar sus datos, el modelo debe olvidar la influencia de sus etiquetas sin reentrenar todo el sistema desde cero (lo cual es computacionalmente costoso).
• Limitaciones actuales: La mayoría de los métodos de olvido federado se centran en el aprendizaje horizontal (HFL) o en la eliminación de clientes pasivos completos en VFL. Los métodos existentes para VFL a menudo requieren reentrenamiento completo, no protegen la privacidad de las etiquetas eliminadas durante el proceso de olvido, o degradan severamente el rendimiento en los datos retenidos. Además, la sincronización estricta en VFL complica la eficiencia del olvido.

2. Metodología Propuesta

Los autores proponen un marco de olvido few-shot (pocos ejemplos) para VFL que elimina etiquetas de los modelos activos y pasivos utilizando únicamente un pequeño conjunto de datos públicos. La metodología consta de tres etapas principales:

1. Mezcla de Variedad (Manifold Mixup) Vertical:

   • Dado que el conjunto de datos para el olvido es pequeño (few-shot), el método utiliza una técnica de Manifold Mixup a nivel de representaciones.
   • En lugar de mezclar características crudas, se interpolan los embeddings (representaciones ocultas) generados por las partes pasivas.
   • La parte activa genera embeddings sintéticos mezclados ($\vec{H}$) y etiquetas mezcladas ($\vec{y}$) interpolando los embeddings de las mismas partes pasivas. Esto crea un espacio de estado más plano y rico, permitiendo que un pequeño número de muestras (ej. 40 por etiqueta) sea suficiente para guiar el olvido.

2. Olvido de Etiquetas Basado en Gradientes:

   • Parte Activa: Realiza un ascenso de gradiente (Gradient Ascent) sobre los embeddings aumentados y las etiquetas mezcladas. Esto maximiza la pérdida, forzando al modelo a "olvidar" la información de la etiqueta objetivo.
   • Partes Pasivas: La parte activa calcula los gradientes inversos y los envía a las partes pasivas. Estas actualizan sus modelos locales ($\theta_k$) utilizando estos gradientes para eliminar la representación de la etiqueta sin tener acceso a las etiquetas crudas originales.
   • Teorema de Eficacia: El artículo demuestra teóricamente que la dirección de actualización del gradiente utilizando los embeddings aumentados de datos públicos está positivamente alineada con la que se obtendría usando todo el conjunto de datos a eliminar, garantizando la eficacia del olvido.

3. Recuperación de la Precisión Retenida:

   • Para evitar que el olvido degrade el rendimiento en los datos que no se deben eliminar (datos retenidos), se introduce una fase de recuperación.
   • Utilizando un pequeño conjunto de datos con las etiquetas retenidas, se realiza un descenso de gradiente (Gradient Descent) estándar para refinar los embeddings restantes y restaurar la precisión del modelo en las clases conservadas.

3. Contribuciones Clave

• Primera aproximación al olvido de etiquetas en VFL: Es el primer trabajo que aborda específicamente la eliminación de etiquetas en configuraciones verticales, donde las etiquetas son compartidas por una sola parte pero afectan a todo el sistema.
• Eficiencia Few-Shot: Logra un olvido efectivo utilizando solo un subconjunto muy pequeño de datos públicos etiquetados (hasta 40 muestras por etiqueta), evitando el costoso reentrenamiento completo.
• Protección de Privacidad del Proceso (Process Privacy): Introduce el concepto de "privacidad del proceso" en VFL. A diferencia de métodos anteriores (como el reentrenamiento o el olvido de fronteras) que pueden revelar a las partes pasivas qué muestras o etiquetas se están eliminando, este método limita la información intercambiada a gradientes de un subconjunto público pequeño, reduciendo drásticamente la fuga de información sobre el conjunto de eliminación.
• Mecanismo de Mezcla de Variedad: Adapta el Manifold Mixup para generar señales ricas en el espacio de embeddings, facilitando el olvido con pocos datos.

4. Resultados Experimentales

Los autores validaron su método en siete conjuntos de datos diversos (MNIST, CIFAR-10/100, ModelNet, MRI de Tumores Cerebrales, Radiografía de COVID-19 y Yahoo Answers) y con diferentes arquitecturas (ResNet18, VGG16, MixText).

• Eficacia del Olvido: El método reduce la precisión en las etiquetas eliminadas ($y_u$) a niveles cercanos al azar (cercano a 0% o muy bajo), superando a métodos como Fine-Tuning (que falla en olvido) y Fisher Forgetting (que degrada el rendimiento).
• Preservación de Utilidad: Mantiene una alta precisión en los datos retenidos ($D_r$), superando consistentemente a las líneas base (como Amnesiac, UNSir, Boundary Unlearning) que sufren degradaciones significativas en datos complejos o con muchas etiquetas.
• Eficiencia Computacional: El tiempo de ejecución es extremadamente bajo (segundos), siendo entre 16x y 1200x más rápido que los métodos basados en reentrenamiento o ajuste fino, incluso con un número variable de partes pasivas.
• Resistencia a Ataques: Muestra una tasa de éxito de ataque (ASR) baja y estable, indicando que no hay fugas de información sobre los datos eliminados, a diferencia de otros métodos que pueden sufrir el "efecto Streisand" (revelar información al intentar ocultarla).
• Robustez: El método funciona bien en escenarios de una, dos y múltiples etiquetas, y es compatible con mecanismos de privacidad adicionales como Privacidad Diferencial y Compresión de Gradientes.

5. Significado e Impacto

Este trabajo establece una nueva dirección para el aprendizaje federado vertical al abordar la brecha crítica en el cumplimiento de la privacidad (derecho al olvido) sin sacrificar la utilidad del modelo ni la eficiencia.

• Viabilidad Práctica: Al requerir solo datos públicos limitados y operar en segundos, hace que el cumplimiento del GDPR/CCPA sea viable en entornos industriales reales (banca, salud) donde el reentrenamiento completo es inviable.
• Seguridad de Datos: Al garantizar que las partes pasivas no puedan inferir qué etiquetas se están eliminando, protege la confidencialidad de la parte activa durante el proceso de olvido, un aspecto ignorado en la literatura previa.
• Generalización: La capacidad de funcionar tanto en datos de imagen como de texto demuestra la versatilidad del enfoque, lo cual es crucial para aplicaciones de VFL en comercio electrónico y servicios financieros.

En resumen, el artículo presenta una solución robusta, eficiente y privada para el olvido de etiquetas en VFL, demostrando que el rediseño de técnicas de aumento de datos (como el Manifold Mixup) puede desbloquear mecanismos de olvido prácticos y que preservan la utilidad.