Laplace-Bridged Randomized Smoothing for Fast Certified Robustness

1. Formulação do Problema

O artigo aborda dois gargalos críticos que impedem a implantação prática do Alisamento Aleatório (Randomized Smoothing - RS), um método líder para fornecer garantias formais de robustez $\ell_2$ para redes neurais profundas:

1. Dependência de Treinamento com Aumento de Ruído: Embora o RS seja teoricamente agnóstico ao modelo, alcançar robustez certificada não trivial na prática geralmente exige que o classificador base seja treinado com aumento de ruído. Isso aumenta os custos de treinamento, frequentemente degrada a precisão em dados limpos e mina o valor do RS como defesa "post-hoc" (ou seja, certificar modelos prontos sem retreinamento).
2. Ineficiência Computacional: O RS padrão depende de amostragem de Monte Carlo (MC) no espaço de entrada de alta dimensão. Para obter certificados estatisticamente válidos, requer dezenas de milhares de passagens forward ruidosas por entrada. Isso torna a certificação proibitivamente cara para grandes conjuntos de dados e impossível de implantar em dispositivos de borda com recursos limitados (por exemplo, Raspberry Pi, Jetson Nano), onde memória e capacidade de processamento são restritos.

2. Metodologia: Alisamento Ponte-Laplace (Laplace-Bridged Smoothing - LBS)

Os autores propõem o Alisamento Ponte-Laplace (LBS), uma reformulação analítica do RS que desloca a estimativa estocástica do espaço de entrada de alta dimensão para um espaço de probabilidade de baixa dimensão.

Mecanismo Central:

1. Linearização Local & Aproximação Gaussiana:

   • Em vez de amostrar entradas $x + \epsilon$, o LBS analisa a distribuição dos logits do modelo ($z$) sob ruído.
   • Assume-se que o extrator de características $\phi(x)$ pode ser linearizado localmente via uma expansão de Taylor de primeira ordem: $\phi(x+\epsilon) \approx \phi(x) + J_\phi(x)\epsilon$.
   • Ao combinar isso com uma Aproximação de Laplace (LA) da distribuição posterior dos pesos da camada final, a distribuição resultante de logits $Z$ é aproximada como uma Gaussiana multivariada: $Z \sim \mathcal{N}(\mu_z, \Sigma_z)$.
   • A média $\mu_z$ e a covariância $\Sigma_z$ são derivadas analiticamente usando o Jacobiano do extrator de características e a Hessiana inversa da função de perda (capturando a incerteza dos pesos).

2. Ponte Gaussiana–Dirichlet (Ponte de Laplace):

   • O classificador suavizado prevê a classe com a maior probabilidade após aplicar o Softmax aos logits ruidosos: $p = \text{softmax}(Z)$.
   • Amostragem direta da distribuição de $\text{softmax}(Z)$ é difícil. O LBS utiliza a Ponte de Laplace (LB) para mapear a distribuição Gaussiana de logits para uma distribuição Dirichlet no simplex de probabilidade: $p \sim \text{Dir}(\alpha)$.
   • Os parâmetros Dirichlet $\alpha$ são computados em forma fechada usando os parâmetros Gaussianos ($\mu_z, \Sigma_z$) via um mapeamento de pseudo-inversa.

3. Certificação Eficiente:

   • Amostragem: Em vez de executar a rede neural milhares de vezes, o LBS extrai $N$ amostras diretamente da distribuição Dirichlet de baixa dimensão (dimensão $K$, onde $K$ é o número de classes).
   • Limitação: Estima o limite inferior da probabilidade da classe principal ($p_A$) usando um quantil Beta de um lado (intervalo de Clopper-Pearson) sobre as amostras Dirichlet.
   • Cálculo do Raio: Este limite inferior é inserido na fórmula padrão de raio do RS: $R = \sigma \Phi^{-1}(p_A)$.

Garantia Teórica:
O artigo fornece uma análise teórica (Teorema 4.2) mostrando que a divergência de Kullback-Leibler (KL) entre a distribuição suavizada verdadeira e o substituto Dirichlet escala linearmente com a norma da covariância dos logits ($\|\Sigma_z\|_F$). Isso garante que a aproximação seja precisa quando a posterior está concentrada ou o mapa softmax é localmente plano — condições típicas em certificação robusta.

3. Contribuições Principais

1. Reformulação Analítica: Introdução do LBS, que substitui a amostragem MC no espaço de entrada de alta dimensão por amostragem Dirichlet eficiente de baixa dimensão via uma ponte Gaussiana–Dirichlet.
2. Fundação Teórica: Derivação de um mapeamento em forma fechada de estatísticas de logits Gaussianos linearizados para parâmetros Dirichlet, estabelecendo a validade da distribuição substituta e limitando o erro de aproximação.
3. Capacidade Post-Hoc: Demonstração de que o LBS alcança robustez certificada forte sem exigir treinamento com aumento de ruído, permitindo certificar modelos padrão treinados em dados limpos.
4. Implantação em Borda: Validação do método em hardware com recursos limitados, provando sua viabilidade para aplicações reais de IA em borda.

4. Resultados Experimentais

Os autores avaliaram o LBS no CIFAR-10 e ImageNet usando várias arquiteturas (ResNet, ViT, DenseNet, EfficientNet) e compararam com variantes de RS do estado da arte.

• Precisão Certificada: O LBS alcança robustez certificada mais forte do que o RS padrão e outros métodos de aceleração (por exemplo, ISS, ADRE, Betting CS) em múltiplos raios $\ell_2$. Notavelmente, mantém alta precisão mesmo sem treinamento com aumento de ruído, cenário onde outros métodos frequentemente falham ou exigem retreinamento.
• Eficiência Computacional:
  • Lado do Servidor: O LBS reduz o tempo de certificação em quase uma ordem de magnitude (por exemplo, ~0,7s vs. ~9,8s por amostra no CIFAR-10).
  • Dispositivos de Borda: A aceleração é dramática em hardware restrito.
    • NVIDIA Jetson Orin Nano: Até 33× de aceleração.
    • Raspberry Pi 4: Até 494× de aceleração (reduzindo o tempo de certificação de ~690s para ~1,4s para SqueezeNet).
• Generalização: O método também foi testado em modelos de ameaça $\ell_1$ e $\ell_\infty$, mostrando desempenho consistente e estabilidade em diferentes normas e arquiteturas de modelos.

5. Significado

Este trabalho representa um salto significativo em robustez certificada ao resolver o trade-off "eficiência vs. precisão" que tem afligido o Alisamento Aleatório.

• Implantação Prática: Ao reduzir a carga computacional de $O(n \cdot C_f)$ (onde $n$ é o número de amostras e $C_f$ é o custo da passagem forward) para $O(K + N)$, o LBS torna as garantias formais de robustez viáveis para aplicações em tempo real e em dispositivos (por exemplo, veículos autônomos, robótica, dispositivos médicos) onde métodos anteriores eram muito lentos.
• Viabilidade Post-Hoc: Ao desacoplar a certificação do treinamento com aumento de ruído, o LBS restaura a natureza "post-hoc" do RS, permitindo que organizações certifiquem modelos existentes e prontos para produção sem o custo e a penalidade de precisão do retreinamento.
• Escalabilidade: A abordagem analítica elimina a necessidade de paralelismo massivo, tornando a robustez certificada acessível em computadores de placa única de baixo consumo de energia.