Resumo Técnico: Inferência Federada Robusta

Formulação do Problema

O artigo aborda a lacuna crítica na robustez dentro da Inferência Federada, um paradigma onde um servidor central agrega previsões de múltiplos modelos mantidos por clientes (por exemplo, via aprendizado federado de um único disparo, conjuntos na borda ou conjuntos federados) sem acessar dados locais ou pesos do modelo. Embora a literatura existente se concentre na precisão desses conjuntos, ela negligencia em grande parte sua vulnerabilidade a falhas bizantinas e saídas envenenadas.

Os autores formalizam o problema da Inferência Federada Robusta da seguinte forma:

• Configuração: Um sistema de $n$ clientes, cada um possuindo um classificador local com valores de probit $h_i$ mapeando entradas para um simplex de probabilidade $\Delta_K$.
• Modelo de Ameaça: Até $f < n/2$ clientes (com identidades ocultas) podem retornar vetores de probit arbitrariamente corrompidos no momento da inferência.
• Objetivo: Projetar um esquema de agregação $\psi$ que minimize o risco de inferência federada robusta ($R_{adv}$), definido como o erro de previsão no pior caso sobre todos os padrões possíveis de corrupção de tamanho $f$, mantendo a precisão na distribuição global de dados.

O artigo distingue dois tipos de agregadores:

1. Linear (baseado em média): O servidor calcula uma média robusta dos probits dos clientes (por exemplo, Média Recortada por Coordenada - CWTM) antes de tomar o argmax.
2. Não linear (aprendido): O servidor usa um agregador de rede neural treinado para combinar probits dos clientes, o que demonstrou desempenho superior em configurações não corrompidas, mas carece de garantias de robustez.

Metodologia

1. Análise de Agregadores Baseados em Média

Os autores analisam primeiro esquemas de média robusta (como CWTM) como linha de base. Eles demonstram que, embora a média robusta garanta que a saída esteja próxima da média dos probits honestos na norma $\ell_2$, essa proximidade não garante classificação correta devido à descontinuidade do operador argmax.

• Insight Teórico: Eles derivam um certificado de robustez mostrando que o erro do agregador depende de três fatores:
  1. A fração de corrupções ($f/n$).
  2. A dissimilaridade entre as saídas dos clientes honestos ($\sigma_x$).
  3. A margem entre as duas classes previstas principais.
• Conclusão: A média robusta é insuficiente quando a margem é pequena ou os modelos dos clientes são altamente dissimilares, mesmo que a agregação seja robusta em um sentido estatístico.

2. Inferência Robusta como Problema de Aprendizado Adversarial

Para agregadores não lineares, os autores enquadram o problema como um problema de aprendizado adversarial sobre o espaço de vetores de probit.

• Desafio: O treinamento adversarial padrão é computacionalmente intratável porque o conjunto de subconjuntos adversariais possíveis (escolhendo $f$ clientes maliciosos entre $n$) tem alta cardinalidade ($\binom{n}{f} \times f!$).
• Solução (DeepSet): Os autores propõem o uso de uma arquitetura DeepSet (Zaheer et al., 2017), que é invariante à permutação. Essa propriedade permite reduzir o espaço de busca de permutações para combinações ($\binom{n}{f}$), tornando o problema mais tratável.
• Aproximação: Em vez de enumerar todos os subconjuntos adversariais, eles amostram um pequeno número $N$ de configurações aleatórias de adversários durante o treinamento ($N \ll \binom{n}{f}$) e aplicam o Método de Sinal de Gradiente Rápido Multi-etapa (FGSM) para perturbar os probits dos adversários selecionados.

3. A Composição DeepSet-TM

Para aprimorar ainda mais a robustez, os autores introduzem uma composição inovadora de Treinamento Adversarial e Média Robusta no momento da inferência:

• Arquitetura: Um modelo DeepSet onde os probits de entrada são primeiro processados por um operador de média robusta (CWTM) antes de serem alimentados no agregador de rede neural.
• Estratégia de Treinamento: O modelo é treinado adversarialmente nos probits brutos (sem CWTM) para aprender características robustas.
• Estratégia de Inferência: No momento do teste, a média robusta (CWTM) é aplicada às entradas dos clientes antes da inferência do DeepSet. Isso desacopla o custo do treinamento do mecanismo de robustez no momento da inferência, impedindo que o processo de treinamento se torne proibitivamente caro.

Principais Contribuições

1. Formalização: A primeira definição formal e análise de robustez do problema de Inferência Federada sob corrupções bizantinas.
2. Limites Teóricos: Derivação de certificados formais de robustez para agregadores lineares (média) e não lineares (DeepSet), ligando taxas de erro a frações de corrupção, dissimilaridade de modelos e margens de previsão.
3. Inovação Algorítmica: A proposta do DeepSet-TM, um método que combina redes neurais invariantes à permutação com treinamento adversarial e média robusta no momento do teste. Essa abordagem aborda a intratabilidade computacional do treinamento contra subconjuntos arbitrários de adversários.
4. Novo Ataque: Introdução do Ataque Invertido Mais Forte (SIA), um novo ataque de caixa branca e caixa preta que explora a segunda classe mais provável para inverter decisões de agregação, usado para avaliar rigorosamente as defesas.

Resultados Experimentais

Os autores avaliam sua abordagem no CIFAR-10, CIFAR-100 e AG-News usando diversas famílias de modelos (ResNet-8, ViT-B/32, DistilBERT) e níveis variados de heterogeneidade de dados ($\alpha \in \{0.3, 0.5, 0.8\}$).

• Desempenho: O DeepSet-TM supera consistentemente as linhas de base de agregação robusta existentes (CWTM, CWMed, Média Geométrica) e defesas state-of-the-art (COPUR, Projeção de Variedade).
• Melhoria: O método alcança uma melhoria de 4,7% a 22,2% em pontos de precisão no pior caso em diversos benchmarks e tipos de ataque.
• Robustez a Ataques Fortes: Sob os ataques SIA e PGD-cw propostos, os métodos de linha de base frequentemente sofrem quedas de precisão de 35–40 pontos, enquanto o DeepSet-TM limita as quedas a 20–30 pontos. No AG-News, o DeepSet-TM mantém 83,2% de precisão sob PGD-cw, comparado a ~53% para as linhas de base.
• Escalabilidade: A abordagem escala efetivamente com o número de clientes ($n=10, 17, 25$) e adversários ($f=3, 4, 5$), mantendo desempenho superior à medida que o sistema cresce.
• Eficiência: Embora o treinamento adversarial incorra em um custo único (aproximadamente 1,5 horas), a latência de inferência permanece baixa (aproximadamente 0,3 ms por lote), tornando-a adequada para configurações cross-silo.

Significado e Alegações

O artigo afirma que a Inferência Federada Robusta é um problema distinto e crítico que não pode ser resolvido simplesmente aplicando técnicas de treinamento robusto a falhas bizantinas existentes ou métodos de purificação (como COPUR), que frequentemente falham no espaço de probit ou sob ataques fortes.

O significado do trabalho reside em:

1. Preenchendo a Lacuna: Fornece o primeiro framework abrangente para garantir a inferência federada, um paradigma crescente para alavancar modelos proprietários (incluindo LLMs) sem centralizar dados.
2. Composição Inovadora: Ao combinar treinamento adversarial (da literatura de aprendizado adversarial) com média robusta (da literatura de estatística robusta/Aprendizado de Máquina Bizantino), os autores demonstram que esses dois campos podem ser combinados sinergicamente para alcançar robustez state-of-the-art.
3. Praticidade: O DeepSet-TM proposto oferece uma solução prática que equilibra alta robustez contra ataques sofisticados com sobrecarga computacional aceitável, especificamente adaptado para cenários cross-silo onde os clientes são estáticos, mas as solicitações de inferência são dinâmicas.

Os autores concluem que seu método estabelece um novo estado da arte para inferência federada, prevenindo efetivamente que vantagens tecnológicas se tornem vulnerabilidades significativas na presença de agentes maliciosos.