Resumo Técnico: FL-OA – Um Framework de Aprendizado Federado com Robustez Bizantina e Auditoria Terceirizada

1. Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em dispositivos inteligentes sem o compartilhamento de dados brutos. No entanto, sua natureza distribuída o torna vulnerável a ataques bizantinos, onde dispositivos maliciosos enviam atualizações corrompidas para degradar o desempenho do modelo global. Os mecanismos de defesa existentes enfrentam três limitações primárias:

1. Premissas Fortes: Muitos métodos estatísticos (ex: Krum, Mediana) assumem que os dispositivos benignos constituem a maioria (>50%), uma condição frequentemente violada em cenários do mundo real.
2. Restrições de Disponibilidade de Dados: Métodos que dependem de um "dataset raiz" (ex: FLTrust) exigem que o servidor possua um conjunto de dados limpo que corresponda à tarefa de treinamento. Devido às regulamentações de privacidade e silos de dados, os servidores raramente têm acesso direto a tais dados.
3. Desafios Práticos:
   • Divergência: Dados Não-IID (heterogêneos) fazem com que as atualizações benignas divirjam significativamente, tornando difícil distinguir a divergência natural de ataques maliciosos usando métricas padrão como distância euclidiana ou similaridade de cosseno.
   • Maldição da Dimensionalidade: À medida que as arquiteturas de modelos se expandem, as atualizações tornam-se vetores de alta dimensão. Em espaços de alta dimensão, as métricas de distância perdem o poder discriminativo (a "maldição da dimensionalidade"), tornando a auditoria padrão ineficaz.

2. Metodologia: O Framework FL-OA

Os autores propõem o FL-OA, um framework que utiliza auditoria terceirizada para superar as limitações acima. O sistema compreende três entidades: um Servidor de Tarefa (TS), um Servidor Terceirizado (OS) e dispositivos inteligentes.

A. Arquitetura do Sistema e Fluxo de Trabalho

• Auditoria Terceirizada: O TS colabora com um OS terceiro que detém um dataset raiz adicional. O OS audita as atualizações dos dispositivos sem que o TS precise possuir os dados raiz diretamente.
• Processo:
  1. Sincronização: O TS seleciona os dispositivos e distribui o modelo global.
  2. Treinamento Local: Os dispositivos e o OS realizam o treinamento local.
  3. Auditoria: O TS encaminha as atualizações dos dispositivos para o OS. O OS as compara com sua atualização do modelo raiz e retorna pontuações de confiança (trust scores) e atualizações normalizadas.
  4. Agregação: O TS agrega as atualizações com base nas pontuações de confiança fornecidas pelo OS.

B. Componentes Técnicos Principais

1. Mitigação da Divergência no Treinamento Local

Para abordar a divergência das atualizações benignas causada por dados Não-IID, o FL-OA modifica o processo de otimização local (Algoritmo 2) com dois mecanismos específicos:

• Passo de Ascensão de Gradiente (GAS): Em vez de apenas gradiente descendente, o método introduz um passo de ascensão de gradiente para guiar a otimização em direção a mínimos planos, reduzindo a nitidez das soluções locais e melhorando a consistência das atualizações.
• Termo de Correção (CT): Um termo de correção é introduzido para neutralizar o "deslocamento local" (a desviação entre o ótimo local e o global). Este termo atua como um acumulador de momentum dos deslocamentos locais históricos, alinhando as atualizações locais mais proximamente com a trajetória global.

2. Alívio da Maldição da Dimensionalidade na Auditoria

Para tratar a ineficiência de comparar vetores de alta dimensão, o OS emprega uma estratégia de Extração de Parâmetros Críticos (Algoritmo 3):

• Indicador de Importância de Parâmetro (PII): Uma métrica é definida para medir a importância de cada parâmetro com base em sua magnitude absoluta e seu desvio em relação à magnitude mediana entre todos os dispositivos.
• Mascaramento: Os $\kappa$% de parâmetros com os maiores escores de PII são selecionados para formar uma máscara binária.
• Auditoria em Parâmetros Críticos: As pontuações de confiança são calculadas usando similaridade de cosseno apenas nesses parâmetros críticos (atualizações mascaradas) em vez do vetor completo. Isso reduz a dimensionalidade enquanto preserva a informação mais significativa para detectar anomalias.
• Normalização: As atualizações são normalizadas para corresponder à magnitude da atualização raiz para evitar que dispositivos maliciosos dominem através de grandes magnitudes de atualização.

3. Agregação Robusta

O TS agrega as atualizações normalizadas ponderadas pelas pontuações de confiança ($s_k$) fornecidas pelo OS:
$$W^{t+1} = W^t + \mu \frac{1}{\sum s_k} \sum s_k \tilde{u}_k$$
onde $\tilde{u}_k$ é a atualização normalizada e $\mu$ é a taxa de aprendizado global.

3. Análise Teórica

O artigo fornece garantias teóricas para o FL-OA:

• Convergência: Sob suposições padrão (convexidade forte, continuidade Lipschitz), prova-se que o desvio entre o modelo global aprendido pelo FL-OA e o modelo ótimo é limitado, mesmo sob ataques bizantinos.
• Dinâmica do Termo de Correção: A análise teórica mostra que o termo de correção estima e compensa efetivamente os deslocamentos locais, garantindo que a inconsistência das atualizações seja independente da taxa de aprendizado local e dos coeficientes de importância sob condições específicas.

4. Resultados Experimentais

Experimentos foram conduzidos no CIFAR-10, CIFAR-100, SVHN, CINIC e Tiny-ImageNet sob várias distribuições de dados (IID, Dirichlet Não-IID) e tipos de ataque (Gaussian, Neurotoxin, Focused-Flip).

• Robustez: O FL-OA supera as linhas de base existentes (Krum, FLTrust, FL-Auditor, AlignIns, FLgym) em todos os datasets e cenários de ataque. Notavelmente, ele mantém alta precisão mesmo quando 50% a 70% dos dispositivos são maliciosos, um regime onde métodos estatísticos (como o Krum) falham completamente.
• Fidelidade: Na ausência de ataques, o FL-OA alcança precisão comparável à média padrão (FedAvg), demonstrando que seus mecanismos de defesa não sacrificam o desempenho do modelo.
• Consistência: O FL-OA reduz significativamente a divergência entre atualizações benignas em comparação com outros esquemas, validando a eficácia da Ascensão de Gradiente e do Termo de Correção.
• Estudos de Ablação: A remoção de qualquer um dos componentes, seja o Passo de Ascensão de Gradiente ou o Termo de Correção, degrada o desempenho, confirmando que ambos são necessários. Da mesma forma, auditar apenas parâmetros críticos (ex: os 30% superiores) produz melhores resultados do que usar todos os parâmetros, validando a abordagem de redução de dimensionalidade.
• Escalabilidade e Estabilidade: O framework demonstra desempenho estável conforme o número de dispositivos aumenta (100 a 200) e mantém a robustez sob altas porcentagens de atores maliciosos.

5. Significância e Alegações

O artigo afirma que o FL-OA representa um avanço significativo no FL com robustez bizantina ao:

1. Eliminar Suposições Fortes: Ele remove a necessidade de o servidor assumir que os dispositivos benignos são a maioria ou possuir um dataset raiz diretamente. Ao terceirizar a auditoria para um terceiro, ele preenche a lacuna entre a robustez teórica e as restrições práticas de privacidade de dados.
2. Abordar Desafios Práticos: Ele lida explicitamente com a divergência de atualizações benignas e a maldição da dimensionalidade, dois problemas críticos frequentemente negligenciados em trabalhos anteriores que limitam a eficácia da defesa em ambientes heterogêneos do mundo real.
3. Viabilidade Prática: Os autores argumentam que a colaboração entre provedores de serviço (TS e OS) é razoável na prática. Embora a introdução de um OS adicione overhead de comunicação, o artigo demonstra que isso é aceitável em cenários de Rede de Longa Distância (WAN) e que a pegada de memória é gerenciável.

Limitações Reconhecidas pelos Autores:

• O framework assume que o OS é honesto e não comprometido. Os autores reconhecem o risco de colusão entre o OS e dispositivos maliciosos e sugerem trabalhos futuros envolvendo múltiplos OSs independentes para mitigar isso.
• O framework atualmente não integra mecanismos de preservação de privacidade (ex: Privacidade Diferencial) para proteger contra ataques de inferência em atualizações de modelos, apontando isso como uma direção futura necessária.
• O desempenho degrada significativamente em cenários de mudança extrema de distribuição onde o dataset raiz e os dados dos dispositivos possuem conjuntos de classes completamente disjuntos (ex: dados Não-IID de duas classes), indicando que o framework depende de algum grau de sobreposição de distribuição.