Improving Parameter-Efficient Federated Learning with Differentially Private Refactorization

Resumo Técnico: Melhorando o Aprendizado Federado Eficiente em Parâmetros com Refatorização Diferencialmente Privada

1. Declaração do Problema

O artigo aborda uma vulnerabilidade crítica no Aprendizado Federado (FL) quando aplicado a Modelos de Linguagem de Grande Escala (LLMs) usando Adaptação de Baixo Rango (LoRA) sob restrições de Privacidade Diferencial (DP). Embora o LoRA permita um ajuste fino eficiente atualizando apenas matrizes de baixo rango ($A$ e $B$) em vez de todos os parâmetros do modelo, combiná-lo com DP Global (onde um servidor confiável adiciona ruído para proteger os dados dos clientes) introduz uma degradação severa da utilidade.

A questão central decorre de uma incompatibilidade matemática na agregação:

• Agregação Ideal: A média federada verdadeira das atualizações de peso deve ser a média dos produtos: $\text{Média}(B_i \cdot A_i)$.
• Agregação Padrão do FedLoRA: Os métodos existentes promediam independentemente os módulos de baixo rango: $\text{Média}(B_i) \cdot \text{Média}(A_i)$.
• O Conflito: Como a média dos produtos não é igual ao produto das médias, o FedLoRA padrão introduz erros matemáticos de "termo cruzado". Quando o ruído de DP é injetado nesses módulos incompatíveis, o ruído interage multiplicativamente com esses erros, amplificando o impacto negativo e levando a uma precisão do modelo subótima. Tentativas existentes de mitigar isso (por exemplo, congelar um módulo LoRA) restringem a expressividade do modelo e a convergência.

2. Metodologia: FedPower e PowerDP

Os autores propõem o FedPower, um framework que remodela o pipeline de agregação no lado do servidor para eliminar erros estruturais, e um mecanismo inovador chamado PowerDP para refatorização de baixo rango privada.

Fluxo de Trabalho do FedPower:

1. Lado do Cliente: Os clientes realizam treinamento local padrão em seus módulos LoRA ($A_i, B_i$) e enviam essas atualizações leves ao servidor.
2. Reconstrução no Lado do Servidor: Em vez de promediar $A$ e $B$ separadamente, o servidor reconstrói explicitamente as atualizações equivalentes de rango completo ($\Delta W_i = B_i A_i$) para cada cliente.
3. Corte e Agregação: O servidor corta essas matrizes de rango completo para limitar a sensibilidade e calcula a média exata ($\Delta W_{global} = \text{Média}(\Delta W_i)$). Esta etapa elimina os erros matemáticos de termo cruzado inerentes ao FedLoRA padrão.
4. Refatorização Privada: A atualização de rango completo agregada é projetada de volta para um espaço de baixo rango usando PowerDP.

Mecanismo PowerDP:
O PowerDP é um algoritmo de fatorização de baixo rango diferencialmente privado projetado para evitar as armadilhas da perturbação de saída ingênua (adicionar ruído às matrizes finais), que frequentemente sobrecarrega os sinais em subespaços de baixo rango.

• Injeção de Ruído no Processamento: Em vez de perturbação post-hoc, o PowerDP integra a injeção de ruído diretamente em uma sequência de iteração de subespaço simultânea (iteração de potência).
• Processo:
  1. Inicializar uma matriz de projeção aleatória $Q$.
  2. Projetar iterativamente a matriz de rango completo $W$ nos espaços de linhas e colunas, ortonormalizando a cada passo para garantir a convergência para os vetores singulares dominantes.
  3. Etapa Crucial: Ruído gaussiano calibrado é injetado nas matrizes de projeção não normalizadas ($\tilde{B}$ e $\tilde{A}$) antes da ortonormalização final.
  4. A ortonormalização final (Gram-Schmidt) é aplicada após a injeção de ruído.
• Benefício: Ao injetar ruído antes da normalização estrutural final, o mecanismo preserva a ortogonalidade das matrizes resultantes e absorve o ruído na orientação do subespaço, em vez de destruir a magnitude dos valores singulares.

3. Principais Contribuições

1. Framework FedPower: Um novo framework de FL que resolve a incompatibilidade estrutural de agregação no FedLoRA padrão, deslocando a agregação para o espaço de rango completo antes da refatorização privada, eliminando assim erros de termo cruzado e prevenindo a acumulação de ruído de DP.
2. Algoritmo PowerDP: Um mecanismo de refatorização de baixo rango diferencialmente privado que incorpora ruído gaussiano calibrado na sequência de iteração de potência. Isso preserva os vetores singulares principais e os sinais do modelo, ao mesmo tempo que satisfaz garantias rigorosas de DP.
3. Garantias Teóricas: O artigo fornece provas rigorosas estabelecendo limites apertados de sensibilidade $\ell_2$ para projeções de subespaço. Demonstra que o FedPower satisfaz tanto a Privacidade Diferencial $(\epsilon, \delta)$ ao nível de amostra quanto ao nível de cliente.
4. Validação Empírica: Experimentos extensivos em quatro tarefas de referência GLUE (MNLI, SST-2, QQP, QNLI) usando RoBERTa-large mostram que o FedPower supera as bases existentes de DP-FedLoRA (incluindo FFA-LoRA) em precisão em vários orçamentos de privacidade ($\epsilon \in \{3, 6, 9\}$) com sobrecarga computacional negligenciável.
5. Robustez de Privacidade: A avaliação contra três ataques de inferência de associação (Modelo Sombra, Baseado em Perda e Calibração) confirma que o FedPower reduz as taxas de sucesso do ataque ao nível de um chute aleatório, protegendo efetivamente os dados dos clientes.

4. Resultados Experimentais

• Precisão: Em configurações não privadas, o FedPower supera o FedLoRA padrão em ~1,47 pontos e o FFA-LoRA em ~0,71 pontos em média. Em configurações privadas (por exemplo, $\epsilon=3$), o FedPower mantém uma precisão média de 85,18%, superando significativamente o FedLoRA (83,53%) e o FFA-LoRA (84,98%).
• Convergência: O FedPower converge mais rápido que as bases, atingindo a precisão alvo em menos rodadas de comunicação e com menos bits transferidos.
• Comparação de Injeção de Ruído: O estudo compara o PowerDP com Perturbação de Entrada (ruído antes da fatorização) e Perturbação de Saída (ruído após a fatorização). A perturbação de saída resultou em falha catastrófica de precisão (por exemplo, 60,59% em $\epsilon=3$), enquanto o PowerDP manteve alta precisão ao preservar a integridade do sinal durante a fatorização.
• Sobrecarga: A sobrecarga computacional da refatorização no lado do servidor é mínima (menos de 10% de aumento no tempo de execução), e os clientes não incorrem em custo adicional.

5. Significado e Alegações

O artigo afirma que o FedPower conecta com sucesso a lacuna entre eficiência (via LoRA), privacidade (via DP Global) e precisão. Ao desacoplar o espaço de otimização (baixo rango nos clientes) do espaço de limitação de privacidade (rango completo no servidor), o framework evita os erros matemáticos que tipicamente afligem o DP-FL com LoRA.

Os autores afirmam que sua abordagem fornece uma defesa comprovadamente segura contra ataques de inferência de associação a jusante, mantendo a alta utilidade necessária para o ajuste fino prático de LLMs. O trabalho é posicionado como uma solução para FL de silo cruzado (por exemplo, saúde, finanças), onde a sensibilidade dos dados é alta, e sugere aplicabilidade futura ao FL de dispositivo cruzado e distribuições de dados heterogêneas (não-IID), embora estas sejam notadas como direções para trabalho futuro e não como conquistas atuais.