Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning

El artículo presenta WAFFLE, un algoritmo de detección no supervisada que utiliza representaciones comprimidas mediante la Transformada de Ondículas de Dispersión o la Transformada de Fourier en un conjunto de datos público para identificar y etiquetar a los clientes maliciosos en el Aprendizaje Federado antes del entrenamiento, mejorando así la precisión y el rendimiento del modelo sin acceder a los datos privados.

Lo esencial

Imagina que el Aprendizaje Federado (Federated Learning) es como un gran proyecto de cocina comunitaria. En lugar de que todos lleven sus ingredientes a una sola cocina central (lo cual sería un riesgo de privacidad), cada vecino cocina su propia parte de la receta en su propia casa y solo envía al jefe de cocina una "nota" sobre cómo quedó su plato. El jefe junta todas las notas para crear la receta final perfecta.

El problema es que, en un vecindario tan grande, siempre hay alguien que:

1. Tiene los sentidos dañados (sensores rotos).
2. Está borracho o confundido (datos corruptos).
3. O simplemente quiere sabotear la cena (atacantes maliciosos).

Si el jefe de cocina mezcla la nota de un vecino que echó sal en lugar de azúcar, ¡toda la receta arruina!

Aquí es donde entra el Waffle (el nombre de este nuevo método, que suena delicioso pero es un acrónimo de Wavelet and Fourier representations for Federated Learning).

¿Qué hace Waffle?

Waffle es como un inspector de seguridad que llega antes de que empiece la cocina. En lugar de esperar a que todos empiecen a cocinar y ver quién arruina el plato (lo cual es lento y gasta mucha energía), Waffle revisa a los vecinos antes de que envíen sus notas.

Pero hay un truco: Waffle no puede entrar a las casas de los vecinos ni ver sus ingredientes reales (por privacidad). Entonces, ¿cómo sabe quién es malo?

La Magia de las "Huellas Digitales de Olor"

Imagina que cada vecino envía una pequeña muestra de "olor" de su cocina en lugar de los ingredientes.

• El vecino normal: Su cocina huele a pan recién hecho, especias equilibradas y orden.
• El vecino con sensores rotos (ruido): Su cocina huele a estática, como si hubiera una tormenta eléctrica cerca.
• El vecino con datos borrosos (blur): Su cocina huele a niebla espesa, como si todo estuviera bajo el agua.

Waffle utiliza dos herramientas mágicas para analizar estos olores:

1. La Transformada de Fourier (El Analizador de Frecuencias): Es como un oído muy fino que puede escuchar si hay un zumbido extraño o una vibración inusual en el olor. Es bueno, pero a veces puede confundirse si el vecino solo tiene un poco de polvo en la cocina.
2. La Transformada de Ondecitas (Wavelet Scattering Transform - WST): Esta es la superestrella del método. Imagina que WST es como un detective de texturas. No solo escucha el ruido, sino que "toca" el olor para sentir su estructura.
   • Si el vecino tiene una foto borrosa, WST siente que la textura está "desgastada".
   • Si tiene ruido, siente que la textura es "áspera" y caótica.
   • Lo mejor: WST es como una huella digital que no se puede revertir. El jefe de cocina puede saber que el vecino es malo, pero es imposible que reconstruya la foto o los datos privados del vecino a partir de esa huella. ¡Es privacidad pura!

¿Cómo funciona el proceso?

1. Entrenamiento del Detective (Offline): Antes de que empiece la fiesta, el jefe de cocina (el servidor) entrena a Waffle en una cocina de prueba con ingredientes falsos. Le muestra miles de ejemplos de "vecinos normales" y "vecinos saboteadores" (con ruido o borrosos) para que Waffle aprenda a distinguirlos.
2. El Escaneo: Cuando llega el día de la cocina real, cada vecino calcula su propia "huella de olor" (una representación matemática comprimida) en su propio dispositivo.
3. La Decisión: Envían solo esa huella al servidor. Waffle la revisa en una fracción de segundo y dice: "¡Este vecino huele a caos! No lo dejes entrar".
4. La Cocina Limpia: Solo los vecinos "limpios" entran a cocinar. El resultado es una receta final deliciosa y segura.

¿Por qué es tan importante?

• Ahorro de Energía: En lugar de gastar horas cocinando y luego darse cuenta de que la comida está salada, Waffle evita el desperdicio de tiempo y batería (crucial para dispositivos pequeños como sensores o teléfonos).
• Seguridad Extrema: Funciona incluso si la mayoría de los vecinos son maliciosos (hasta un 90% en sus pruebas). La mayoría de los métodos antiguos fallan si hay demasiados "malos", pero Waffle sigue siendo preciso.
• Versatilidad: No solo sirve para fotos (como en las pruebas con imágenes de gatos y coches), sino que también funciona con texto (como en el ejemplo de análisis de sentimientos).

En resumen

Waffle es un guardián silencioso y eficiente que usa "olores matemáticos" (transformadas de Fourier y Ondecitas) para filtrar a los vecinos problemáticos antes de que puedan arruinar el trabajo en equipo. Gracias a él, la inteligencia artificial descentralizada puede ser más segura, rápida y privada, protegiendo nuestros datos mientras aprendemos juntos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning" (Transformada de Dispersión de Ondículas y Representación de Fourier para la Detección Offline de Clientes Maliciosos en el Aprendizaje Federado), presentado en español.

---

Título del Trabajo

Waffle: Detección Offline de Clientes Maliciosos en Aprendizaje Federado mediante Representaciones de Ondículas y Fourier.

1. Planteamiento del Problema

El Aprendizaje Federado (FL) permite entrenar modelos de IA de manera descentralizada preservando la privacidad de los datos. Sin embargo, esta arquitectura es vulnerable a dos desafíos principales:

1. Heterogeneidad de datos: Discrepancias naturales entre dispositivos.
2. Clientes maliciosos o defectuosos: Dispositivos con sensores dañados, mal calibrados o comprometidos que inyectan datos corruptos (ataques de envenenamiento de datos).

Limitaciones de los enfoques actuales:

• Detección Online: Monitorear las actualizaciones del modelo durante el entrenamiento introduce una sobrecarga computacional y de comunicación inaceptable para dispositivos IoT con recursos limitados.
• Agregación Robusta: Métodos como Krum o TrimmedMean mitigan el impacto de actualizaciones maliciosas, pero a menudo asumen que la mayoría de los clientes son benignos y no eliminan a los atacantes, lo que puede degradar el rendimiento si la proporción de atacantes es alta.
• Falta de detección temprana: No existen mecanismos eficientes para identificar y excluir a los clientes maliciosos antes de que comience el entrenamiento federado.

2. Metodología Propuesta: Waffle

Los autores proponen Waffle (Wavelet and Fourier representations for Federated Learning), un detector offline y ligero diseñado para identificar y excluir clientes con datos maliciosos antes de iniciar el entrenamiento global.

A. Representaciones Espectrales (Características Clave)

En lugar de analizar gradientes o parámetros del modelo (que requieren múltiples rondas), Waffle analiza las distribuciones de datos locales de los clientes utilizando transformadas matemáticas que generan embeddings de baja dimensión y agnósticos a la tarea:

1. Transformada de Fourier (FT):
   • Ventaja: Eficiente computacionalmente.
   • Propiedad: Lineal. Mapea perturbaciones aditivas (ruido) y convoluciones (desenfoque) directamente al dominio de la frecuencia, permitiendo detectar firmas espectrales específicas.
   • Desventaja: Es invertible (potencial riesgo de privacidad si no se maneja bien) y sensible a traslaciones.
2. Transformada de Dispersión de Ondículas (WST - Wavelet Scattering Transform):
   • Ventaja: No lineal, estable a pequeñas deformaciones locales y no invertible (mejora la privacidad, ya que es difícil reconstruir los datos originales).
   • Propiedad: Invariante a traslaciones y Lipschitz continua ante deformaciones suaves. Es ideal para capturar texturas y estructuras locales, haciéndola superior para detectar desenfoques y ruido estructurado.

B. Flujo de Trabajo

1. Entrenamiento Offline (en el Servidor):

   • Se utiliza un conjunto de datos auxiliar público (distilado) para simular escenarios de ataque.
   • Se generan clientes ficticios: algunos con datos limpios (benignos) y otros con datos perturbados (ruido aditivo o desenfoque/blur).
   • Se extraen las representaciones espectrales (FT o WST) de estos datos simulados.
   • Se entrena un clasificador ligero (detector) para distinguir entre clientes benignos y maliciosos basándose en estas firmas espectrales.

2. Detección y Filtrado (Pre-entrenamiento):

   • Cada cliente real en la federación calcula localmente su vector de representación (usando PCA y luego FT o WST) sobre sus propios datos.
   • Envía solo este vector de baja dimensión (embedding) al servidor. No se comparten datos crudos ni PCA.
   • El servidor utiliza el detector pre-entrenado para clasificar a los clientes.
   • Los clientes clasificados como maliciosos son excluidos antes de que comience la agregación de modelos.

3. Contribuciones Clave

• Propuesta de Waffle: Un nuevo detector offline que introduce el uso de la Transformada de Dispersión de Ondículas (WST) para la detección de anomalías en FL.
• Marco Teórico: Demostración matemática de que eliminar clientes maliciosos mejora la estimación del modelo global (reduciendo el sesgo y la varianza en la agregación), incluso cuando la mayoría de los clientes son maliciosos.
• Privacidad y Eficiencia: El método es agnóstico al modelo, no requiere acceso a datos crudos ni a múltiples rondas de entrenamiento, y minimiza la comunicación.
• Versatilidad: Funciona como una capa de defensa complementaria que puede combinarse con cualquier algoritmo de agregación robusta (como FedAvg, Krum, etc.).

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos estándar (FashionMNIST, CIFAR-10, CIFAR-100) y una tarea de Procesamiento de Lenguaje Natural (NLP).

• Rendimiento de Detección:

  • La variante WST superó consistentemente a la variante FT en precisión y puntuación F1.
  • En escenarios extremos con 90% de clientes maliciosos, Waffle-WST logró una precisión del 100% en todos los conjuntos de datos, evitando falsos positivos (no penalizar a clientes benignos).
  • La variante FT mostró una mayor sensibilidad (recall) pero menor precisión.

• Impacto en el Modelo Global:

  • Al filtrar clientes maliciosos, Waffle permite que el modelo global alcance un rendimiento cercano al óptimo (entrenado solo con datos limpios).
  • En CIFAR-10, la precisión mejoró de ~48.7% (sin detector) a ~49.6% (con Waffle-WST), acercándose al límite superior de 50.3% (caso limpio).
  • Superó a métodos de agregación robusta tradicionales (Krum, GeoMed, TrimmedMean) y a detectores online recientes (FLDetector, VAEDetector), especialmente bajo ataques no gaussianos (bloques aleatorios de píxeles negros).

• Prueba de Concepto en NLP:

  • En una tarea de clasificación de sentimientos con embeddings GloVe, Waffle-WST recuperó la precisión del modelo de un 38.53% (atacado) a un 42.71%, muy cerca del escenario ideal del 44.81%.

5. Significado e Impacto

• Seguridad Proactiva: Waffle cambia el paradigma de "reaccionar" a los ataques durante el entrenamiento a "prevenir" la participación de nodos corruptos.
• Escalabilidad para IoT: Al ser un proceso offline y ligero, es ideal para redes masivas de dispositivos IoT donde la energía y el ancho de banda son limitados.
• Privacidad Mejorada: El uso de WST, al ser no invertible, ofrece una capa adicional de protección de privacidad, ya que los embeddings enviados al servidor no permiten reconstruir los datos originales del cliente.
• Resiliencia ante Ataques Complejos: Demuestra eficacia no solo contra ruido gaussiano, sino también contra perturbaciones estructurales (desenfoque, dropout de píxeles) y ataques compuestos en texto.

En conclusión, Waffle establece un nuevo estándar para la defensa en Aprendizaje Federado, proporcionando una solución eficiente, privada y altamente precisa para limpiar el pool de clientes antes de iniciar el entrenamiento, garantizando así la integridad y fiabilidad de los sistemas de inteligencia descentralizada.