Resumo Técnico: FIBER – Um Otimizador com Privacidade Diferencial e Correção de Viés de Inovação Consciente de Filtro

1. Declaração do Problema

O treinamento com Privacidade Diferencial (DP) protege dados individuais adicionando ruído aos gradientes. No entanto, esse ruído injetado interage de forma não trivial com otimizadores adaptativos como o AdamW. No DP-Adam padrão, o acumulador de gradientes ao quadrado ($v_t$) agrega gradientes privatizados. Como o ruído DP tem média zero mas variância positiva, a operação não linear de quadratura converte esse ruído em um viés positivo persistente na estimativa do segundo momento. Essa "inflação do pré-condicionador" reduz os tamanhos de passo efetivos e degrada a adaptatividade ao longo do tempo.

Abordagens recentes tentam mitigar isso aplicando filtragem temporal (por exemplo, filtros passa-baixa) aos gradientes privatizados para reduzir a variância do ruído. No entanto, os autores identificam um modo de falha crítico: a filtragem altera as estatísticas do ruído DP vistas pelo estado interno do otimizador. Especificamente, a filtragem temporal atenua a variância do ruído DP antes que ele atinja o acumulador do segundo momento. Consequentemente, correções de viés padrão (que subtraem a variância total do ruído $\sigma_w^2$) tornam-se mal calibradas quando há filtragem presente, levando a subcorreção ou supercorreção. Métodos existentes que aplicam filtragem não modelam nem corrigem essa atenuação dentro do estado do otimizador adaptativo.

2. Metodologia: FIBER

Os autores propõem o FIBER (OtimizER com Correção de Viés de Inovação Consciente de Filtro), um otimizador DP projetado especificamente para gradientes privatizados filtrados temporalmente. O FIBER integra três componentes principais:

A. Filtragem no Espaço de Inovação

Diferentemente de métodos anteriores (como o DiSK) que aplicam suavização de Média Móvel Exponencial (EMA) diretamente ao estado do gradiente, o FIBER filtra o fluxo residual (inovação).

1. Definição de Resíduo: A inovação é definida como a diferença entre o gradiente privatizado atual e a estimativa filtrada anterior: $\nu_t = g_t - \tilde{g}_{t-1}$.
2. Recursão: O fluxo residual é suavizado usando um parâmetro de ganho $\omega$: $r_t = (1-\omega)r_{t-1} + \omega \nu_t$.
3. Integração: A estimativa de gradiente desruidada é formada integrando o residual suavizado: $\tilde{g}_t = \tilde{g}_{t-1} + r_t$.
   Essa abordagem corresponde a uma recursão de segunda ordem (análoga a um filtro de Kalman de velocidade constante) em vez de uma EMA de primeira ordem. Ela permite que o otimizador rastreie dinâmicas não estacionárias (deriva) no gradiente latente de forma mais eficaz do que a simples suavização de estado, particularmente sob regimes de alto ruído.

B. Controle Desacoplado de Hiperparâmetros

O FIBER separa explicitamente a geometria de observação de dois pontos da força de desruidamento temporal:

• Geometria de Observação: Determinada pelos parâmetros $(\kappa, \gamma)$ usados na construção do gradiente de dois pontos ($u_t(\xi)$), que define a mistura de gradientes atuais e de previsão.
• Ganho de Desruidamento: Determinado por $\omega$, que controla a suavização do fluxo residual.
  Em formulações anteriores de ganho único, alterar o parâmetro de suavização alterava inerentemente a geometria de estimativa do gradiente. O desacoplamento do FIBER permite o ajuste independente do comportamento de extrapolação do estimador e de sua força de suavização temporal.

C. Calibração do Segundo Momento Consciente de Filtro

A contribuição teórica central é a derivação do fator de atenuação preciso para a variância do ruído DP sob o filtro de inovação.

• Fator de Atenuação: Para um filtro linear estável com ganho $\omega$, a variância do ruído DP filtrado é reduzida por um fator $A(\omega)$. Os autores derivam isso em forma fechada para o filtro de inovação:
  $$A(\omega) = \frac{2 - \omega}{4 - 3\omega}$$
  onde $A(\omega) \in [0.5, 1]$.
• Correção: Em vez de subtrair a variância total do ruído $\sigma_w^2$ (como no DP-Adam padrão) ou a variância não modelada, o FIBER subtrai a contribuição atenuada:
  $$\bar{v}_t = \max(\hat{v}_t - A(\omega)\sigma_w^2, \epsilon_v)$$
  Isso garante que o pré-condicionador seja corretamente calibrado às estatísticas de ruído pós-filtro, prevenindo a inflação ou deflação dos tamanhos de passo.

3. Principais Contribuições

1. Filtragem no Espaço de Inovação Principiada: Uma abordagem de desruidamento no espaço residual que usa uma recursão de segunda ordem leve e fundamentada teoricamente para rastrear dinâmicas não estacionárias sob ruído DP.
2. Controle Desacoplado de Hiperparâmetros: A primeira separação explícita dos parâmetros de geometria de observação $(\kappa, \gamma)$ do ganho de inovação $\omega$, permitindo ajuste independente para otimização prática.
3. Primeira Calibração DP-AdamW Consciente de Filtro: Uma análise rigorosa e derivação do fator de atenuação preciso $A(\omega)$ para filtros lineares estáveis, levando a uma correção de viés que leva em conta a redução de variância induzida pelo filtro.
4. Validação Empírica Extensa: Demonstração de melhorias consistentes em benchmarks de visão e linguagem sob orçamentos de privacidade rigorosos.

4. Resultados Experimentais

Os autores avaliaram o FIBER em um conjunto diversificado de tarefas, incluindo MNIST, CIFAR-10/100, ImageNet-1k e tarefas de NLP GLUE/E2E.

• Desempenho: O FIBER supera consistentemente as bases de referência mais avançadas, incluindo DP-AdamW, DiSK (uma base de filtragem temporal) e MF-DP-FTRL (uma base de ruído correlacionado).
• Regimes de Privacidade: As melhorias são mais substanciais sob orçamentos de privacidade rigorosos (baixo $\epsilon$), onde o ruído DP domina. Por exemplo, no ajuste fino do CIFAR-100 com ViT-small, o FIBER melhorou a precisão em +2,0 a +5,1 pontos percentuais sobre o DiSK à medida que $\epsilon$ variou de 1 a 8.
• Estudos de Ablação:
  • Inovação vs. EMA: A filtragem de inovação supera significativamente a suavização de estado de gradiente EMA em regimes de alto ruído (por exemplo, $\epsilon=0,5$), mas a lacuna diminui à medida que o ruído diminui.
  • Desacoplamento: O ajuste independente de $\omega$ e $(\kappa, \gamma)$ produz desempenho ótimo, confirmando o valor de separar a geometria do desruidamento.
  • Necessidade de Correção: Remover a correção consciente de filtro (usando correção de viés padrão) degrada o desempenho, validando a necessidade de subtrair a variância atenuada $A(\omega)\sigma_w^2$.
• Eficiência Computacional: Embora o FIBER exija duas avaliações de gradiente por passo (como o DiSK), resultando em um sobrecarga de tempo real de aproximadamente 1,79x em comparação com o DP-AdamW de passo único, ele alcança precisão significativamente maior por unidade de sobrecarga computacional, especialmente em configurações de privacidade estritas.

5. Significado e Alegações

O artigo afirma que o FIBER aborda uma lacuna crítica na otimização com privacidade diferencial: a incompatibilidade entre as estatísticas de gradiente filtradas e as correções de viés usadas em otimizadores adaptativos. Ao modelar rigorosamente como a filtragem temporal atenua a variância do ruído DP, o FIBER fornece uma calibração "consciente de filtro" que restaura a estabilidade e a adaptatividade do AdamW sob restrições de privacidade.

Os autores posicionam o FIBER como uma solução prática para treinamento de longo horizonte e ajuste fino de grandes modelos, onde o ruído DP tipicamente degrada a utilidade. O trabalho demonstra que combinar desruidamento no espaço de inovação com calibração estatística precisa produz desempenho de última geração em tarefas de visão e linguagem, particularmente quando os orçamentos de privacidade são rigorosos. O artigo conclui que, embora o custo computacional de gradientes de dois pontos seja não desprezível, os ganhos substanciais em utilidade e estabilidade justificam a sobrecarga, especialmente em cenários onde o DP-Adam padrão falha ou converge mal.