Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

Imagina un mundo donde tu teléfono, tu reloj inteligente y la computadora portátil de tu vecino quieren aprender juntos para volverse más inteligentes, pero ninguno de ellos está dispuesto a compartir sus fotos o mensajes privados. Este es el corazón del Aprendizaje Federado (Federated Learning), una forma ingeniosa para que las computadoras colaboren sin llegar a ver nunca los datos brutos de los demás. En lugar de enviar una maleta gigante de archivos personales a una oficina central, solo envían de vuelta una "boleta de calificaciones" de lo que aprendieron. Pero hay un inconveniente: si la boleta de calificaciones es demasiado detallada, puede revelar accidentalmente secretos sobre la persona que la escribió. Además, en el mundo real, los dispositivos suelen quedarse sin batería o perder la conexión Wi-Fi, lo que provoca que se retiren de la clase justo cuando la lección se está poniendo buena. Este artículo aborda el complicado problema de cómo mantener esta sesión de aprendizaje grupal funcionando sin problemas, incluso cuando los estudiantes se van temprano o intentan enviar actualizaciones incorrectas, todo esto mientras se asegura de que no se filtre ningún secreto privado de nadie.

Los investigadores, un equipo de la Universidad de Ingeniería de la Policía Armada del Pueblo, proponen un nuevo sistema llamado GSE-SFD. Piensa en este sistema como un aula súper segura y resistente a las bajas para la inteligencia artificial. En una configuración estándar, si un estudiante sale del salón, el profesor podría tener que reiniciar toda la lección. En este nuevo método, la clase se divide en grupos pequeños y estrechamente unidos. Si algunos estudiantes en un grupo dejan caer sus teléfonos o pierden la conexión, el grupo aún puede terminar su parte de la tarea porque el sistema está diseñado para funcionar siempre que un cierto número de estudiantes (alrededor del 60%) permanezca allí. Es como un rompecabezas donde solo necesitas algunas piezas específicas para ver la imagen completa; si algunas piezas se pierden, las restantes son suficientes para resolverlo.

Pero, ¿qué pasa con las actualizaciones incorrectas? En este aula digital, un estudiante "envenenado" podría intentar enviar una boleta de calificaciones falsa para arruinar la calificación final. El sistema GSE-SFD tiene una defensa ingeniosa de dos pasos. Primero, utiliza un truco de "compartición de secretos". Antes de que un estudiante envíe su reporte, lo divide en muchos fragmentos diminutos y desordenados y los esconde en diferentes sobres. Ningún sobre por sí solo revela nada útil. Solo cuando se abren suficientes sobres de un mismo grupo, se puede reensamblar el reporte original. Esto significa que incluso si un hacker roba uno o dos sobres, no aprende nada. Segundo, el sistema tiene un "portero" en el servidor central. Este portero verifica si los reportes reensamblados de los diferentes grupos parecen normales. Si el reporte de un grupo es radicalmente distinto al de los demás —como un estudiante que de repente afirma que el cielo es verde—, el portero detecta la anomalía y desecha la respuesta de ese grupo antes de que pueda arruinar la lección global.

El artículo también introduce un filtro para asegurar que los estudiantes solo aprendan de cosas que realmente conocen. Dado que cada estudiante tiene datos diferentes (algunos tienen fotos de gatos, otros de perros), el sistema utiliza una herramienta matemática llamada KuLSIF para verificar si una pieza de información está "fuera de distribución". Es como un profesor que verifica si una pregunta es demasiado difícil o irrelevante para un estudiante específico antes de dejarlo responder. Si la pregunta no encaja con los datos locales del estudiante, este la salta, asegurando que el grupo solo comparta conocimiento de alta calidad y confiable.

Cuando los investigadores probaron este sistema con conjuntos de datos de imágenes famosos como MNIST (números escritos a mano), FashionMNIST (artículos de vestir) y CIFAR-10 (objetos cotidianos coloridos), los resultados fueron impresionantes. Incluso cuando hasta el 40% de los clientes se desconectaron de la red, el sistema logró combinar el conocimiento con éxito en más del 95% de las rondas. En términos de privacidad, el sistema fue una fortaleza. Cuando los atacantes intentaron realizar ingeniería inversa a los datos para ver las imágenes originales, el resultado fue ruido borroso. Las imágenes reconstruidas tuvieron una tasa de error (MSE) 2.5 veces mayor y una similitud estructural (SSIM) 2.4 veces menor en comparación con métodos anteriores, lo que significa que los atacantes casi no vieron nada reconocible.

Los autores encontraron que este enfoque no solo protege la privacidad, sino que mantiene la velocidad de aprendizaje alta. Aunque el sistema envía más datos que una versión básica debido a los fragmentos de la compartición de secretos, sigue siendo lo suficientemente eficiente para dispositivos con velocidades de internet limitadas. El estudio sugiere que este método es una solución práctica y robusta para campos sensibles como la atención médica y el IoT industrial, donde los dispositivos suelen ser poco fiables y la privacidad no es negociable. Sin embargo, el artículo señala que el sistema depende de tener un buen "conjunto de datos proxy" (un conjunto compartido de preguntas de práctica) y que la matemática detrás del filtrado puede volverse pesada si ese conjunto de datos se vuelve demasiado grande. En última instancia, GSE-SFD demuestra que se puede tener una sesión de aprendizaje grupal segura, resiliente y privada sin sacrificar la calidad del resultado final.