🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

Este trabajo introduce el Aprendizaje Lineal Federado Olvidable, un marco que aproxima las redes neuronales profundas con modelos lineales para habilitar el olvido federado certificado, eficiente y seguro sin requerir comunicación adicional con los clientes ni almacenamiento de modelos históricos.

Autores originales: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tú y un grupo de amigos están construyendo un rompecabezas gigante y colaborativo para resolver un misterio. Esto es Aprendizaje Federado (FL). En lugar de que todos envíen sus piezas a una mesa central (lo cual sería una pesadilla de privacidad), cada uno mantiene sus piezas en casa. Solo envían las instrucciones sobre cómo encajar sus piezas a un líder central. El líder combina estas instrucciones para construir una imagen mejor y luego devuelve las instrucciones actualizadas. Todos aprenden juntos sin mostrar nunca sus piezas privadas.

Pero, ¿qué sucede si un amigo trae una pieza envenenada? Quizás pintó secretamente un símbolo oculto en su pieza que hace que todo el rompecabezas parezca incorrecto cuando aparece ese símbolo. O tal vez ese amigo solo quiere abandonar el grupo y que su pieza sea completamente borrada de la imagen final (el "Derecho al Olvido").

Aquí es donde entra el Olvido Federado (FU). Es el proceso de eliminar la contribución de un amigo sin tener que tirar todo el rompecabezas y empezar de nuevo.

El problema con los métodos actuales

Actualmente, intentar eliminar la pieza de un amigo es una pesadilla:

El método "Rehacer": Podrías pedirle a todos que reconstruyan el rompecabezas desde cero sin ese amigo. Esto toma una eternidad y cuesta mucha energía (potencia de computación).
El método "Preguntar al amigo": Algunos métodos le piden al amigo que quiere irse que realice matemáticas adicionales en su propia computadora y las envíe de vuelta. Pero, ¿qué pasa si ese amigo es quien envenenó el rompecabezas? Podría mentir o negarse a cooperar.
El método "Acumulación": Algunos métodos requieren que el líder guarde una copia de cada versión individual del rompecabezas tal como se construyó, paso a paso. Esto llena la sala de almacenamiento instantáneamente.

La nueva solución: F2L2

Los autores de este artículo proponen una nueva y astuta manera llamada Aprendizaje Lineal Federado Olvidable (F2L2). Utilizan dos trucos principales para hacer que el olvido sea fácil, rápido y seguro.

Truco 1: El "Boceto Lineal" (Entrenamiento Lineal Federado)

Las redes neuronales profundas (los modelos de IA complejos utilizados hoy en día) son como nudos increíblemente enredados. Desenredar un hilo específico (eliminar los datos de una persona) es casi imposible sin deshacer todo el nudo.

El primer truco de los autores es dejar de intentar desenredar el nudo. En su lugar, utilizan un modelo preentrenado (un modelo ya entrenado con datos públicos) como punto de partida. Luego, tratan el modelo complejo como una línea recta (una "aproximación lineal") alrededor de ese punto de partida.

La analogía: Imagina que estás dibujando una compleja cordillera. Es difícil borrar solo una colina. Pero si te acercas mucho a la cima, la montaña parece una simple rampa recta. Si quieres eliminar una parte específica de esa rampa, solo puedes calcular un ajuste matemático simple. No necesitas redibujar toda la montaña; solo ajustas el ángulo de la rampa.

Esta "rampa lineal" es fácil de trabajar matemáticamente. Convierte un problema desordenado y complejo en uno simple donde solo puedes realizar un cálculo rápido para eliminar los datos de alguien.

Truco 2: El "Borrador Mágico" (FedRemoval)

Una vez que el modelo se trata como una simple "rampa", el servidor (el líder) puede realizar un Paso de Newton.

La analogía: Piensa en el modelo como una pelota que descansa en un valle. La posición de la pelota representa el modelo final. Si quieres eliminar los datos de un amigo, no necesitas pedirle que empuje la pelota o mirar fotos antiguas de la pelota. Solo necesitas saber con qué fuerza la empujó en primer lugar (su gradiente final, que ya envió durante el entrenamiento).
El servidor toma esa información de "empuje" y calcula exactamente cómo mover la pelota de regreso a donde habría estado si ese amigo nunca la hubiera empujado. Es como un borrador mágico que funciona instantáneamente en el lado del servidor.

Por qué esto es un gran avance

El artículo afirma que este nuevo método, F2L2, resuelve los tres mayores dolores de cabeza del olvido actual:

No se necesita "Preguntar al amigo": El servidor hace todo el trabajo. No necesita contactar a la persona que se va, incluso si es maliciosa o está fuera de línea.
No se necesita "Acumulación": El servidor no necesita guardar cada versión del modelo. Solo necesita las matemáticas finales del entrenamiento. Esto ahorra cantidades masivas de memoria.
Está certificado: Los autores no solo supusieron que esto funciona; lo demostraron con matemáticas. Mostraron que el resultado de su "Borrador Mágico" es casi idéntico a lo que obtendrías si hubieras tirado todo el rompecabezas y lo hubieras reconstruido desde cero sin ese amigo.

Los resultados

El equipo probó esto en todo, desde el reconocimiento simple de números (MNIST) hasta el reconocimiento complejo de imágenes (como identificar flores o coches). Incluso lo probaron en "Modelos Fundacionales" (los enormes y potentes modelos de IA de los que todo el mundo habla ahora mismo).

El resultado: En cada prueba, F2L2 eliminó con éxito los datos "envenenados" (los ataques de puerta trasera) para que el modelo dejara de comportarse mal.
La compensación: Crucialmente, eliminar los datos malos no arruinó la capacidad del modelo para hacer su trabajo. El modelo permaneció tan inteligente como antes, pero sin la mala influencia.

Resumen

En resumen, este artículo presenta una forma de olvidar en un entorno de IA grupal que es:

Rápido: No es necesario reentrenar todo el modelo.
Seguro: No depende de que la persona que se vaya coopere.
Eficiente: No requiere guardar terabytes de datos antiguos.
Probado: Matemáticamente garantizado para funcionar casi tan bien como empezar de nuevo.

Convierte la tarea imposible de "borrar un recuerdo específico de una IA compleja" en un cálculo simple de un solo paso en el servidor.

Resumen Técnico: Aprendizaje Lineal Federado Olvidable con Borrado de Datos Certificado (F2L2)

Enunciado del Problema
El Aprendizaje Federado (FL) permite el entrenamiento colaborativo de modelos preservando la privacidad de los datos, pero enfrenta desafíos significativos en cuanto al "derecho al olvido" y la eliminación de contribuciones maliciosas (por ejemplo, datos envenenados de ataques de puerta trasera). Los métodos existentes de Borrado Federado (FU) sufren limitaciones críticas que obstaculizan su adopción en el mundo real:

Dependencia del Cliente: Muchos métodos requieren la cooperación de clientes retenidos (para reentrenamiento o ajuste fino) o de clientes objetivo (para ascenso de gradiente u optimización personalizada), lo que introduce sobrecarga de comunicación y riesgos de seguridad si los clientes son maliciosos o no están disponibles.
Ineficiencia de Almacenamiento: Enfoques como FedEraser requieren almacenar todos los modelos globales históricos, incurriendo en costos de memoria prohibitivos para Redes Neuronales Profundas (DNN) a gran escala.
Falta de Certificación: Debido a la no linealidad de las DNN, la mayoría de los métodos existentes de FU carecen de garantías teóricas de que el modelo borrado sea indistinguible de uno reentrenado desde cero.

La pregunta de investigación central abordada es: ¿Cómo podemos diseñar un marco práctico de FU que garantice un borrado certificado sin requerir cooperación de clientes retenidos, participación de clientes objetivo o almacenamiento de modelos históricos?

Metodología: El Marco F2L2
Los autores proponen Aprendizaje Lineal Federado Olvidable (F2L2), un marco que integra una nueva tubería de entrenamiento con un mecanismo de borrado del lado del servidor.

Entrenamiento Lineal Federado (FLT):
- Linealización: Inspirado en el Kernel Tangente Neuronal (NTK) y sus extensiones a modelos preentrenados, FLT aproxima una DNN linealmente alrededor de un vector de pesos preentrenado $w_p^*$ . La función del modelo se aproxima como $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ .
- Pérdida Cuadrática: Esta linealización transforma la función de pérdida en una forma cuadrática (Error Cuadrático Medio), asegurando convexidad.
- Proceso de Entrenamiento: El servidor inicializa el modelo utilizando un modelo base preentrenado (FM) o un modelo entrenado en un pequeño conjunto de datos público y confiable ( $D_p$ ). Los clientes luego realizan actualizaciones estándar de Promedio Federado (FedAvg) en este modelo linealizado. Crucialmente, los parámetros del codificador preentrenado permanecen fijos (en el caso de los FMs), y solo se actualizan los pesos de la capa lineal.
FedRemoval (Borrado Certificado):
- Paso de Newton: Debido a que la pérdida es cuadrática, los pesos óptimos después de eliminar los datos de un cliente objetivo ( $D_c$ ) pueden calcularse mediante un paso de Newton de forma cerrada: $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ .
- Ejecución del Lado del Servidor: Para evitar el costo computacional de invertir la Hessiana sobre el conjunto de datos restante distribuido ( $D_-$ ), FedRemoval aproxima la Hessiana utilizando el conjunto de datos preentrenado $D_p$ (que está disponible en el servidor).
- Eficiencia: El proceso de borrado requiere únicamente los gradientes finales del cliente objetivo (ya compartidos durante el entrenamiento) y los datos locales del servidor. Implica cero comunicación adicional con los clientes y cero almacenamiento de modelos históricos. La actualización se calcula enteramente en el servidor.

Contribuciones Clave

Marco Novel: F2L2 es la primera solución de borrado federado que combina entrenamiento lineal mixto distribuido (FLT) con un mecanismo de borrado puramente del lado del servidor (FedRemoval). Elimina la necesidad de cooperación del cliente durante el borrado y el almacenamiento de modelos históricos.
Garantías Certificadas: Los autores derivan un límite superior teórico sobre la discrepancia de la norma $L_2$ entre los pesos obtenidos mediante FedRemoval y los obtenidos mediante un reentrenamiento completo. Esto proporciona una certificación rigurosa de que el proceso de borrado es efectivo.
Evaluación Exhaustiva: Se realizaron experimentos extensos en seis conjuntos de datos (MNIST, FashionMNIST, CIFAR10, ImageNet, DomainNet, Flowers) y cuatro arquitecturas de modelos, incluidos modelos base (CLIP, BLIP2) utilizando sondeo lineal.

Resultados Experimentales

Eficacia de Borrado: F2L2 elimina con éxito los ataques de puerta trasera, reduciendo la Tasa de Éxito de Puerta Trasera (BSR) a niveles comparables a una adivinanza aleatoria (por ejemplo, ~5-10% en varios conjuntos de datos), mientras mantiene la Precisión de Prueba (TA) cercana a la verdad fundamental reentrenada.
Comparación con Líneas Base: F2L2 supera a las líneas base existentes (FedEraser, EWSGA, SGA, Flipping, CF, etc.) al lograr un mejor equilibrio entre TA y BSR. A diferencia de las líneas base que a menudo requieren comunicación o almacenamiento adicional, F2L2 logra un rendimiento cercano a la verdad fundamental con cero sobrecarga adicional.
Modelos Base: El método es efectivo cuando se aplica a modelos base a gran escala (por ejemplo, CLIP en ImageNet/DomainNet), manteniendo una alta TA (~90-95%) mientras borra efectivamente a los clientes envenenados.
Escalabilidad y Estabilidad: El método permanece estable a través de números variables de clientes (de 5 a 20) y diferentes configuraciones de heterogeneidad de datos (distribuciones No-IID), aunque la BSR aumenta ligeramente con una mayor heterogeneidad, permaneciendo cerca de los niveles de adivinanza aleatoria.
Eficiencia: La aproximación de la Hessiana reduce significativamente los costos computacionales (FLOPs) y elimina la sobrecarga de comunicación durante la fase de borrado.

Significado y Afirmaciones
El artículo afirma que F2L2 representa una tubería prometedora para un Borrado Federado eficiente y confiable. Al aprovechar las propiedades matemáticas de los modelos linealizados alrededor de pesos preentrenados, los autores demuestran que es posible lograr un borrado certificado sin los compromisos tradicionales de sobrecarga de comunicación, cooperación del cliente o requisitos masivos de almacenamiento. El trabajo sugiere que las aproximaciones lineales de las DNN, particularmente en el contexto de modelos base, ofrecen un camino viable hacia sistemas federados escalables y seguros que pueden respetar los derechos de privacidad de los usuarios y mitigar amenazas de seguridad como los ataques de puerta trasera.

Los autores señalan que, aunque la aproximación lineal es efectiva, extender el marco a configuraciones de FL más amplias más allá de la clasificación, tareas generativas o regímenes altamente no lineales sigue siendo una dirección para futuras investigaciones.