Resumo Técnico: Veneno para Detecção: Detecção de Overfitting Direcionado em Aprendizado Federado

1. Declaração do Problema

Este artigo aborda uma ameaça específica e subexplorada no Aprendizado Federado (FL), conhecida como overfitting direcionado (targeted overfitting), orquestrada por um servidor central malicioso (orquestrador). Embora o FL seja projetado para preservar a privacidade mantendo os dados locais, o processo de agregação é vulnerável à manipulação.

Neste modelo de ameaça, o orquestrador desvia dos protocolos padrão (ex: FedAvg) ao realizar uma dupla agregação:

1. Agregação Benigna: Uma agregação padrão de todas as atualizações dos clientes é enviada para os clientes não visados.
2. Agregação Maliciosa: Uma agregação enviesada é realizada utilizando apenas as atualizações de um subconjunto de clientes visados. Esta atualização maliciosa é enviada apenas aos clientes visados.

Consequências:

• Overfitting Direcionado: Os modelos dos clientes visados divergem do objetivo global, sofrendo overfitting às suas distribuições de dados locais.
• Vazamento de Privacidade: Este overfitting aumenta significativamente a suscetibilidade a ataques de privacidade, especificamente Ataques de Inferência de Membros (MIA), Ataques de Reconstrução de Dados e Ataques de Inversão de Modelo. O artigo demonstra que, sob agregação maliciosa, o gap de generalização pode aumentar em até 17,7×, e as pontuações AUC de MIA aumentam substancialmente (ex: de ~0,51 para ~0,97 no PATHMNIST).
• Sigilo: Diferente do envenenamento direto de modelos ou reescrita de parâmetros, o overfitting direcionado é difícil de detectar porque depende da exclusão legítima de atualizações, em vez de anomalias sintáticas. O drift de modelo resultante mimetiza a variabilidade natural causada por dados não-IID (não independentes e identicamente distribuídos).

Restrições do Modelo de Ameaça:

• O orquestrador é o único ator malicioso com controle sobre a agregação.
• Sem comunicação entre clientes: Os clientes não podem cooperar ou compartilhar informações para detectar o ataque; a detecção deve ser autônoma e do lado do cliente.
• Os clientes adotam uma postura de "acreditar, mas ser cauteloso", participando do treinamento enquanto buscam verificar a integridade da agregação.

2. Metodologia

Os autores propõem três técnicas de detecção do lado do cliente que permitem aos clientes identificar autonomamente o overfitting direcionado dentro de 1 a 2 rodadas de treinamento. Esses métodos envolvem "envenenar" o processo local do cliente com um sinal detectável para verificar se a agregação global preserva ou dilui esse sinal.

A. Envenenamento por Inversão de Rótulo (Label Flipping Poisoning)

• Mecanismo: O cliente identifica a classe menos frequente em seu conjunto de dados local e inverte uma pequena fração ($\alpha$) dessas amostras para uma classe diferente (ciclicamente).
• Lógica de Detecção:
  • Agregação Honesta: O modelo global agrega atualizações de muitos clientes. O sinal "envenenado" (os rótulos invertidos) deve ser diluído pela agregação, fazendo com que a precisão do modelo global na subseção envenenada caia significativamente em comparação ao modelo local.
  • Agregação Maliciosa: Se o orquestrador agregar seletivamente apenas a atualização do cliente visado, o modelo global reterá o sinal envenenado, mantendo uma alta precisidade na subseção de rótulos invertidos.
• Métrica: Pontuação de Eficácia do Veneno (PES) = $Acc(M_{local}, D_{flip}) - Acc(M_{agg}, D_{flip})$. Um PES baixo indica que o sinal foi preservado (ataque detectado).

B. Injeção de Gatilho de Backdoor (Backdoor Trigger Injection)

• Mecanismo: O cliente injeta um padrão de gatilho predefinido (ex: um patch branco) em um subconjunto de dados locais, associando-o a um rótulo alvo específico.
• Lógica de Detecção:
  • Agregação Honesta: A influência do gatilho deve ser diluída no modelo global.
  • Agregação Maliciosa: Se o orquestrador favorecer o cliente visado, o padrão do gatilho persistirá no modelo global.
• Métrica: Pontuação de Influência do Gatilho ($S$) = A fração de entradas de gatilho no modelo global que predizem o rótulo alvo. Um $S$ alto indica overfitting direcionado.
• Limiar (Thresholding): Os limiares são definidos via limites estatísticos (distribuição Binomial) ou quantis empíricos de rodadas benignas.

C. Fingerprinting de Gradiente/Peso (Gradient/Weight Fingerprinting)

• Mecanismo: O cliente injeta um vetor secreto e específico do cliente ($s$) em sua atualização de gradiente ou peso local: $\tilde{g} = g + \alpha s$.
• Lógica de Detecção:
  • Agregação Honesta: O vetor de impressão digital (fingerprint) é diluído pelas atualizações de outros clientes, resultando em um produto escalar ou similaridade de cosseno baixo com a atualização global recebida.
  • Agregação Maliciosa: Se o orquestrador agregar apenas o cliente visado (ou um pequeno subconjunto que o inclua), a força da impressão digital permanece alta.
• Métrica: Força da Impressão Digital (Fingerprint Strength) = $\langle G, s \rangle$ (produto escalar) ou similaridade de cosseno.
• Adaptação: O método se adapta ao otimizador global (FedAvg usa pesos; FedSGD usa gradientes).

3. Principais Contribuições

1. Identificação de Ameaça: Formalização do "overfitting direcionado" como um vetor de ataque distinto, onde o orquestrador induz o overfitting via agregação seletiva, diferenciando-se do envenenamento de modelo padrão.
2. Frameworks de Detecção: Proposta de três mecanismos de detecção autônomos do lado do cliente (Inversão de Rótulo, Gatilhos de Backdoor, Fingerprinting) que operam sem cooperação entre clientes.
3. Avaliação Empírica: Avaliação abrangente em cinco conjuntos de dados (MNIST, CIFAR-10/100, PATHMNIST, EUROSAT) sob dois cenários:
   • Cenário I: Visando um único cliente específico.
   • Cenário II: Visando um subconjunto fixo de clientes.
4. Análise de Utilidade: Demonstração de que os mecanismos de detecção incorrem em custos mínimos de utilidade (degradação de precisão) quando ativos, contrastando com os trade-offs permanentes em defesas como a Privacidade Diferencial.

4. Resultados Experimentais

A avaliação foi conduzida em configurações cross-silo (pequena contagem de clientes) e experimentos de escalabilidade (até 50 clientes).

• Cenário I (Alvo Único):
  • Fingerprinting: Alcançou a maior confiabilidade, detectando ataques em 1–2 rodadas com F1 scores de até 1,0 na maioria dos datasets.
  • Inversão de Rótulo: Altamente eficaz (F1 até 1,0), detectando ataques precocemente (Rodada 1).
  • Gatilhos de Backdoor: Eficaz, mas mostrou um pouco mais de variabilidade (F1 0,52–0,98).
• Cenário II (Múltiplos Alvos):
  • Fingerprinting: O desempenho degradou significamente. Quando múltiplos clientes são visados, suas impressões digitais diluem umas às outras durante a agregação, tornando a detecção pouco confiável sem coordenação entre clientes.
  • Inversão de Rótulo e Gatilhos de Backdoor: Mantiveram-se eficazes, embora a detecção tenha se tornado um pouco mais lenta e exigido um ajuste cuidadoso de limiar devido à diluição do sinal entre o grupo visado.
• Escalabilidade:
  • A eficácia da detecção é influenciada pela composição da coorte e tipos de otimizadores.
  • A Inversão de Rótulo permaneceu robusta para cenários de alvo único mesmo com 50 clientes.
  • O Fingerprinting exigiu calibração cuidadosa da força de injeção ($\alpha$) para manter a visibilidade do sinal contra o ruído de agregação em coortes maiores.
• Impacto na Utilidade:
  • Clientes detectores únicos causaram degradação insignificante na precisão.
  • Com 10 clientes detectores, a Inversão de Rótulo (com $\alpha$ alto) mostrou um gap de precisão persistente de ~2%, enquanto o Fingerprinting e os Gatilhos de Backdoor mostraram impacto insignificante.

5. Significância e Alegações

O artigo afirma que o teste de integridade do lado do cliente fornece uma defesa viável, precoce e escalável contra ameaças de privacidade impulsionadas pelo orquestrador.

• Proativo vs. Reativo: Ao contrário das defesas que previnem ataques (ex: Privacidade Diferencial) impondo um trade-off permanente entre utilidade e privacidade, esses mecanismos de detecção permitem que os clientes verifiquem a integridade apenas quando necessário, evitando custos de utilidade durante a operação benigna.
• Autonomia: Os métodos funcionam sem exigir confiança no servidor ou cooperação entre clientes, abordando uma lacuna crítica na segurança de FL onde os clientes são frequentemente isolados.
• Alerta Precoce: A capacidade de detectar o overfitting direcionado em 1–2 rodadas permite que os clientes se desengajem antes que ocorra um vazamento de privacidade significativo (memorização).
• Limitações Reconhecidas: Os autores observam que, embora eficaz para ataques de alvo único, o método de fingerprinting tem dificuldades quando múltiplos clientes são visados simultaneamente sem coordenação. Eles também reconhecem que técnicas de agregação robustas (ex: Krum) podem sinalizar esses sinais de detecção como maliciosos, potencialmente excluindo clientes honestos, sugerindo a necessidade de trabalhos futuros sobre fingerprints "esteganográficos".

O estudo conclui que, embora o overfitting direcionado seja uma ameaça sutil e perigosa, ele deixa rastros detectáveis que os clientes podem explorar para salvaguardar sua privacidade sem centralizar dados ou depender de terceiros de confiança.