Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning

O artigo apresenta o WAFFLE, um algoritmo de detecção pré-treinamento que utiliza representações comprimidas via Transformada de Espalhamento de Wavelet ou Transformada de Fourier para identificar clientes maliciosos em Aprendizado Federado sem acesso aos dados brutos, oferecendo uma alternativa eficiente e de baixo custo computacional às estratégias online existentes.

O essencial

Imagine que você está organizando uma grande festa de culinária (o Federated Learning ou Aprendizado Federado). O objetivo é criar o melhor prato do mundo (o modelo de inteligência artificial) combinando receitas de milhares de cozinheiros espalhados pelo mundo.

A regra é simples: cada cozinheiro fica na sua própria cozinha, usa os ingredientes dele e envia apenas a receita (os ajustes do modelo) para o chefe. Ninguém precisa mostrar os ingredientes reais (os dados privados), o que garante privacidade.

O Problema: Os Cozinheiros "Bagunceiros"
O problema é que, entre esses milhares de cozinheiros, alguns podem estar com problemas:

1. O Cozinheiro Desatento: Tem um sensor de temperatura quebrado e joga sal demais ou de menos (dados com "ruído").
2. O Cozinheiro Sonolento: Esqueceu de misturar bem a massa, deixando tudo borrado (dados "borrados").
3. O Vândalo: Alguém que quer estragar o prato de propósito.

Se o chefe misturar as receitas de todos sem pensar, o prato final vai ficar horrível. O desafio é: como identificar quem está estragando a receita sem entrar na cozinha deles e ver os ingredientes?

A Solução: O "Waffle" (O Chefe Detetive)
Os autores do artigo criaram um novo sistema chamado Waffle (que significa "Waffle", mas é um acrônimo para Wavelet and Fourier representations for Federated Learning). Pense no Waffle como um detetive de receitas superinteligente que trabalha antes da festa começar.

Aqui está como ele funciona, usando analogias simples:

1. A "Fotografia" da Receita (Sem Ver o Prato)

Em vez de pedir para os cozinheiros mostrarem seus ingredientes (o que quebraria a privacidade), o Waffle pede que eles tirem uma "fotografia espectral" da qualidade da receita.

• A Analogia da Música: Imagine que a receita é uma música.
  • O Transformada de Fourier (uma das ferramentas usadas) é como um equalizador de som. Ele mostra quais notas (frequências) estão presentes. Se alguém adicionou um ruído estranho, o equalizador mostra um pico estranho.
  • O Transformada de Onda (Wavelet Scattering) é como um analisador de textura e ritmo. Ele não só ouve a nota, mas percebe como a nota é tocada. Se a música está "borrada" ou com um ritmo quebrado, ele detecta isso instantaneamente.

2. O Treinamento do Detetive (A Cozinha de Teste)

Antes da festa real, o Waffle se treina em uma cozinha de simulação.

• O chefe cria receitas falsas e, de propósito, estraga algumas delas (adicionando ruído ou borrando).
• Ele ensina o Waffle a olhar para a "fotografia espectral" dessas receitas e dizer: "Isso aqui está estragado!" ou "Isso aqui está perfeito!".
• O Waffle aprende a reconhecer os "sinais de alerta" de um cozinheiro defeituoso sem nunca ter visto um ingrediente real.

3. A Festa Real (Detecção Offline)

Chegou o dia da festa. Antes de começar a cozinhar de verdade:

1. Cada cozinheiro real processa seus próprios ingredientes em silêncio.
2. Eles enviam apenas a "fotografia espectral" (um resumo matemático pequeno e seguro) para o chefe.
3. O Waffle analisa essas fotos rapidamente.
4. O Veredito: Se o Waffle diz "Ei, essa receita tem um ruído estranho ou está borrada demais", esse cozinheiro é excluído da festa antes mesmo de começar.

Por que isso é genial?

• Privacidade Total: O chefe nunca viu os ingredientes, apenas a "assinatura" da qualidade.
• Velocidade: Como o Waffle já treinou antes, ele não precisa esperar a festa começar para descobrir quem está errado. Ele limpa a lista de convidados antes de acender o fogão.
• Precisão: O artigo mostra que o Waffle é tão bom que consegue identificar os cozinheiros ruins mesmo se 90% deles estiverem tentando estragar a festa!

A Diferença entre as Ferramentas

O artigo compara duas ferramentas de análise:

• Fourier (O Equalizador): É bom, mas às vezes confunde coisas. É como tentar identificar um cantor apenas pelo volume da voz.
• Wavelet (O Analisador de Ritmo e Textura): É muito mais esperto. Ele entende que, se a textura da receita mudou (como um borrão), é um sinal de problema, mesmo que o "volume" (a média) pareça normal. O Waffle usa essa ferramenta mais avançada para ser mais preciso.

Resumo Final

O Waffle é um filtro de segurança preventivo. Em vez de tentar consertar o prato depois que ele ficou ruim (o que é difícil e custoso), ele impede que os cozinheiros defeituosos entrem na cozinha. Isso garante que o prato final (o modelo de IA) seja delicioso, rápido de fazer e seguro, mesmo em um mundo cheio de dados imperfeitos e dispositivos com defeito.

É como ter um guarda-costas que cheira a "mau cheiro" na porta da festa e não deixa ninguém entrar se o perfume estiver estragado, garantindo que a festa seja um sucesso!

Resumo técnico

Título: Waffle: Transformada de Espalhamento de Wavelet e Representação de Fourier para Detecção Offline de Clientes Maliciosos em Aprendizado Federado

1. O Problema

O Aprendizado Federado (FL) permite treinar modelos de machine learning em dispositivos descentralizados (como IoT) sem compartilhar dados brutos, preservando a privacidade. No entanto, o FL é vulnerável a clientes maliciosos ou defeituosos (ex: sensores com falha, dados corrompidos ou ataques de envenenamento de dados).

• Desafio Principal: Detectar e isolar esses clientes antes que eles degradem o modelo global, sem acessar os dados brutos dos clientes (devido à privacidade) e sem sobrecarregar o sistema com comunicação excessiva.
• Limitações das Soluções Atuais:
  • Métodos de agregação robusta (ex: Krum, Trimmed Mean) muitas vezes assumem que a maioria dos clientes é benigna e podem falhar se houver muitos atacantes.
  • Detectores online (que monitoram durante o treinamento) introduzem latência e custo computacional elevado, além de só identificarem ameaças após o dano ter começado.
  • Ataques sutis, como ruído de sensor ou desfoque (blur), são difíceis de detectar apenas analisando gradientes do modelo.

2. Metodologia: O Algoritmo Waffle

Os autores propõem o Waffle (Wavelet and Fourier representations for Federated Learning), um detector offline e leve que identifica clientes maliciosos antes do início do treinamento federado.

A. Representações Espectrais (A Base Técnica)
O método utiliza representações de baixa dimensão e agnósticas à tarefa, calculadas localmente pelos clientes e enviadas ao servidor:

1. Transformada de Fourier (FT): Analisa o espectro de frequência. É linear e eficiente, mas é invertível (o que pode ser um risco de privacidade) e menos robusto a deformações locais.
2. Transformada de Espalhamento de Wavelet (WST): Uma representação não linear, hierárquica e não invertível.
   • Vantagens da WST: É estável a pequenas deformações (como deslocamentos) e a perturbações aditivas. Sua não invertibilidade oferece uma camada extra de privacidade, pois é difícil reconstruir os dados originais a partir dos coeficientes de espalhamento.

B. Fluxo de Funcionamento

1. Treinamento Offline (no Servidor):
   • O servidor utiliza um conjunto de dados público e distilado ($D_{aux}$) para simular cenários de ataque (ruído e desfoque).
   • Cria "clientes fictícios" com dados limpos e dados atacados.
   • Aplica PCA (Análise de Componentes Principais) e as transformações espectrais (FT ou WST) para extrair vetores de características ($\phi_k$).
   • Treina um classificador leve (detector) para distinguir entre clientes benignos e maliciosos baseando-se nessas características espectrais.
2. Detecção e Filtragem (Pré-Treinamento FL):
   • Antes da rodada de FL, cada cliente real processa seus dados locais, calcula sua representação espectral ($\phi_k$) e envia apenas este vetor compacto ao servidor.
   • O servidor usa o detector pré-treinado para classificar os clientes.
   • Clientes classificados como maliciosos são excluídos imediatamente. Apenas os clientes benignos participam do treinamento do modelo global.

3. Contribuições Principais

• Novo Paradigma de Detecção: Introdução de um detector offline que atua como uma primeira linha de defesa, sanitizando o pool de clientes antes do treinamento custoso começar.
• Aplicação da WST no FL: Pioneirismo no uso da Transformada de Espalhamento de Wavelet para detec de anomalias em FL, explorando suas propriedades de estabilidade e não invertibilidade.
• Fundamentação Teórica: Provas matemáticas demonstrando que a remoção de clientes maliciosos reduz a variância do estimador do modelo global e elimina o viés, resultando em uma convergência mais precisa comparada ao FedAvg padrão.
• Agnosticismo e Modularidade: O Waffle é independente do modelo de aprendizado e pode ser combinado com qualquer algoritmo de agregação robusta existente.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados de benchmark (FashionMNIST, CIFAR-10, CIFAR-100) e uma tarefa de Processamento de Linguagem Natural (NLP).

• Desempenho de Detecção:
  • A variante WST superou consistentemente a variante FT e outros métodos, alcançando 100% de precisão em cenários extremos com 90% de clientes maliciosos.
  • O método manteve alta eficácia mesmo contra ataques não-Gaussianos complexos (ex: "Random Block Attack", onde 50% dos pixels são zerados aleatoriamente).
• Desempenho do Modelo Global:
  • Ao filtrar clientes maliciosos, o Waffle permitiu que o modelo global alcançasse acurácias próximas ao cenário ideal (sem ataques), superando significativamente métodos de agregação robusta isolados (como Krum, GeoMed).
  • No experimento de NLP, o uso do Waffle elevou a acurácia de 38,53% (sem detector) para 42,71%, aproximando-se do ideal de 44,81%.
• Comparação com Baselines: O Waffle superou detectores online existentes (como FLDetector e VAEDetector) em cenários de ataque não-Gaussianos e com alta proporção de atacantes.

5. Significado e Impacto

• Segurança Proativa: Ao mover a detecção para a fase offline (pré-treinamento), o Waffle evita o desperdício de recursos computacionais e de comunicação com clientes comprometidos.
• Eficiência para IoT: A natureza leve do detector e a baixa sobrecarga de comunicação (envio apenas de vetores espectrais) tornam a solução ideal para dispositivos de borda com recursos limitados.
• Privacidade Aprimorada: O uso da WST, por ser não invertível, garante que o servidor não possa reconstruir os dados sensíveis dos clientes a partir das estatísticas enviadas.
• Escalabilidade: A capacidade de lidar com cenários onde a maioria dos clientes é maliciosa (até 90%) resolve uma limitação crítica de muitos algoritmos de tolerância a falhas bizantinas atuais.

Em resumo, o Waffle oferece uma arquitetura de segurança em camadas, onde a detecção de integridade de dados baseada em processamento de sinal (Wavelets/Fourier) complementa as defesas de agregação de modelos, criando um ecossistema de Aprendizado Federado mais robusto, eficiente e seguro.