Resumo Técnico: DP-Muon

Declaração do Problema

A Privacidade Diferencial (DP) é o framework padrão para treinar modelos em dados sensíveis, com o DP-SGD servindo como a linha de base dominante. No entanto, a interação entre o recorte de gradientes por exemplo, a injeção de ruído gaussiano, o momento e a ortogonalização não linear em otimizadores de valor matricial não foi analisada sistematicamente. Especificamente, o Muon, um otimizador recente que atualiza pesos de camadas ocultas usando momento seguido de ortogonalização Newton–Schulz para produzir uma matriz de momento ortogonalizada, carece de uma análise formal de privacidade. Não está claro como o mapa não linear Newton–Schulz interage com o ruído de privacidade e se os modelos de contabilidade padrão do DP-SGD se aplicam a tais atualizações de valor matricial. Além disso, otimizadores privados existentes frequentemente sofrem de problemas de viés (por exemplo, o DP-Adam colapsando para uma forma de DP-SGD reescalada) quando o ruído de privacidade é introduzido sem correção explícita.

Metodologia

O artigo formula o DP-Muon, uma variante com privacidade diferencial do otimizador Muon. O procedimento central envolve:

1. Recorte por Matriz: Para cada bloco de matriz de camada oculta $W$, os gradientes por exemplo são recortados para um limite de norma de Frobenius $C_W$.
2. Liberação Conjunta: Os gradientes recortados são médios sobre o minibatch amostrado (lote), e ruído gaussiano é adicionado a essa média. Crucialmente, o ruído é calibrado à sensibilidade da liberação conjunta de todos os blocos de matriz no lote, em vez de tratar os blocos como mecanismos de subamostragem independentes.
3. Pós-processamento: A média ruidosa sofre acumulação de momento e uma iteração Newton–Schulz de passos finitos para produzir a direção de atualização. Essas etapas são tratadas como pós-processamento, o que significa que não incorrem em custo adicional de privacidade.

Para abordar o viés introduzido pelo mapa não linear Newton–Schulz atuando sobre entradas ruidosas, os autores propõem o DP-MuonBC. Esta variante aplica uma etapa de pós-processamento de correção de viés. Ao analisar o modelo de "caminho recortado congelado", os autores identificam que o ruído de privacidade induz um viés de "suavização térmica" na saída do mapa Newton–Schulz (um termo de curvatura de valor matricial). O DP-MuonBC cancela o termo de viés líder $O(\rho^2)$ usando uma média de sondas antitéticas: ele avalia o mapa Newton–Schulz no momento ruidoso mais e menos sondas gaussianas independentes, e então extrapola de volta para a direção não suavizada.

Contribuições Principais

1. Garantias de Privacidade

O artigo prova que o DP-Muon herda a garantia de privacidade do contador gaussiano de subamostragem do mesmo lote correspondente.

• Contabilidade Conjunta: A análise de privacidade conta o mecanismo gaussiano de produto conjunto de todos os blocos de matriz liberados em um único passo, em vez de somar custos de privacidade independentes.
• Invariância de Pós-processamento: A atualização de momento e a ortogonalização Newton–Schulz são provadas ser operações de pós-processamento com privacidade diferencial, não adicionando custo de privacidade adicional à liberação do gradiente com ruído adicionado.

2. Teoria de Otimização

Os autores estabelecem um limite de estacionariedade de horizonte finito para o DP-Muon sob recorte por matriz. O limite separa quatro fontes de erro distintas:

• Erro de Otimização: Termos padrão relacionados à taxa de aprendizado e ao horizonte.
• Resíduo de Recorte: O viés introduzido pelo recorte de gradientes (capturado por $B_T(C)$).
• Ruído de Privacidade: Erro estocástico da amostragem de minibatch e do ruído gaussiano, escalado pela média de momento.
• Erro de Aproximação Newton–Schulz: O erro de usar um número finito de iterações ($q$) em vez de um fator SVD/polar exato, capturado por um fator de qualidade $\chi_q$.

Sob uma condição de cauda leve nas normas dos gradientes, o artigo mostra que a medida média de estacionariedade desaparece como $O(T^{-1/4}\sqrt{\log T})$ com o ajuste adequado da taxa de aprendizado, do momento e do limite de recorte.

3. Correção de Viés (DP-MuonBC)

O artigo identifica que o viés primário no DP-Muon não surge no buffer de momento linear, mas após o mapa não linear Newton–Schulz, onde o ruído gaussiano induz um efeito de suavização térmica.

• Mecanismo: O DP-MuonBC usa sondas gaussianas antitéticas para estimar e subtrair o termo de viés de segunda ordem líder de suavização térmica.
• Privacidade: Como a correção usa apenas sondas independentes dos dados aplicadas a gradientes já privatizados, o DP-MuonBC satisfaz a mesma garantia exata de DP $(\epsilon, \delta)$ que o DP-Muon.

Resultados Experimentais

Os autores avaliaram os métodos em dois benchmarks de geração de tabela para texto, E2E e DART, ajustando finamente um modelo GPT-2 sob um orçamento de privacidade alvo de $\epsilon \approx 8$.

• Muon vs. Linhas de Base: O DP-Muon superou significativamente tanto o DP-SGD quanto o DP-Adam. No E2E, o DP-Muon melhorou a Negativa Log-Verossimilhança (NLL) de avaliação de 0,4961 (DP-Adam) para 0,4553 e aumentou o BLEU de 18,49 para 32,91.
• Impacto da Correção de Viés: O DP-MuonBC melhorou ainda mais a linha de base do DP-Muon sem aumentar o orçamento de privacidade. No E2E, alcançou a melhor NLL (0,4490) e BLEU (34,92). No DART, o DP-MuonBC alcançou os melhores resultados em todas as três métricas (NLL: 0,4460, BLEU: 7,50, ROUGE-L: 34,42).
• Dinâmica de Treinamento: Os métodos baseados em Muon consistentemente alcançaram NLL mais baixo que o DP-SGD e o DP-Adam durante todo o treinamento, com o DP-MuonBC mostrando ganhos particulares nas etapas posteriores da otimização.

Significado e Alegações

O artigo alega que atualizações de matriz no estilo Muon são eficazes para ajuste fino privado, oferecendo uma alternativa promissora aos otimizadores baseados em vetores convencionais no regime de privacidade diferencial. O trabalho fornece a primeira análise sistemática da interação entre ortogonalização de matriz e privacidade diferencial.

O significado do DP-MuonBC reside em sua capacidade de melhorar a utilidade corrigindo o viés específico induzido pela etapa de ortogonalização não linear, mantendo ao mesmo tempo exatamente o mesmo orçamento de privacidade que a versão não corrigida. Os autores enquadram isso como um passo em direção a entender como alavancar estruturas avançadas de otimizadores (como atualizações de valor matricial) em configurações de preservação de privacidade sem sacrificar garantias teóricas.

O artigo conclui observando que estender a teoria para trajetórias totalmente adaptativas de múltiplos blocos e avaliar modelos maiores permanecem direções futuras naturais.