Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

Resumo Técnico: Treinamento Adversarial com Restrições de Variedade para Robustez em Distribuições de Cauda Longa via Alinhamento Geométrico

1. Formulação do Problema

As redes neurais profundas, embora bem-sucedidas no reconhecimento visual, permanecem vulneráveis a perturbações adversariais. Embora o treinamento adversarial (AT) seja uma defesa líder, sua eficácia degrada-se significativamente sob distribuições de classe de cauda longa (onde as classes principais são abundantes e as classes de cauda são escassas). Em tais cenários, o AT padrão sofre de dois mecanismos de falha acoplados:

1. Desalinhamento Geométrico: A otimização dominada pelas classes principais comprime o espaço de características, reduzindo as margens interclasse para as classes de cauda e criando fronteiras de decisão frágeis e instáveis.
2. Deriva Adversarial Fora da Variedade: Devido à escassez de amostras de cauda, a otimização adversarial não restrita explora regiões de baixa densidade e semanticamente não suportadas do espaço de características. Isso faz com que exemplos adversariais se desviem do suporte real dos dados, levando a fronteiras de decisão espúrias e ao colapso das margens robustas para as classes de cauda.

As abordagens existentes tratam isso principalmente por meio de reponderação de perda, reequilíbrio de margens ou destilação de conhecimento. No entanto, elas frequentemente falham em regular explicitamente a geometria das representações aprendidas ou garantir a validade semântica dos exemplos adversariais.

2. Metodologia: Treinamento Adversarial com Restrições de Variedade (MCAT)

Os autores propõem o MCAT, um framework unificado que aborda tanto o desequilíbrio geométrico quanto a validade semântica por meio de dois mecanismos complementares:

A. Restrições de Variedade Semântica Condicionais à Classe
Para evitar a deriva adversarial para regiões de baixa densidade, o MCAT restringe as perturbações a permanecerem próximas das variedades semânticas condicionais à classe ($\mathcal{M}_y$) no espaço de características.

• Implementação: Em vez de recuperar explicitamente as variedades, o método emprega geradores leves condicionais à classe $\{G_y\}$ (MLPs) treinados para mapear códigos latentes para o espaço de características de cada classe. Esses geradores são pré-treinados em características limpas e congelados durante o treinamento adversarial.
• Penalidade: Uma métrica de desvio fora da variedade $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ é calculada para um embedding $u$. Essa penalidade é subtraída da perda durante o passo de maximização interna, guiando a busca adversarial para regiões de alta densidade e semanticamente válidas.
• Otimização: A maximização interna é resolvida usando PGD Suportado por Variedade (MS-PGD), que projeta as perturbações de volta ao orçamento $\ell_\infty$ enquanto viésa a direção de busca através do gradiente da variedade.

B. Regularização Geométrica Inspirada em ETF
Para combater a compressão das margens das classes de cauda, o MCAT impõe uma geometria equilibrada nos pesos do classificador.

• Implementação: A matriz de pesos do classificador $W$ é regularizada em direção a uma estrutura de Quadro Apertado Equiangular de Simplex (ETF). Isso é alcançado penalizando desvios da matriz de Gram $W^\top W$ da forma $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$.
• Efeito: Isso incentiva uma separação angular uniforme entre todos os vetores de classe, maximizando o ângulo interclasse mínimo ($\theta_{\min}$) e impedindo que as classes principais dominem a geometria do espaço de características.

C. Objetivo Unificado
O objetivo de treinamento combina a perda robusta padrão, a penalidade de variedade e a regularização geométrica:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
onde $\lambda$ controla a consistência semântica e $\beta$ controla o equilíbrio geométrico.

3. Análise Teórica

O artigo fornece dois resultados teóricos chave:

1. Separação Geométrica Implica Margem Robusta: Os autores provam que um maior ângulo interclasse mínimo ($\theta_{\min}$) implica diretamente um limite inferior na margem robusta certificável. Como a estrutura ETF maximiza $\theta_{\min}$, ela fornece uma garantia provável de robustez, particularmente para classes de cauda cujas margens são de outra forma comprimidas.
2. Restrição de Variedade Controla o Risco Robusto: Os autores mostram que o objetivo do MCAT limita superiormente o risco robusto verdadeiro em regiões semânticas de alta densidade. A penalidade de variedade suprime a deriva fora da variedade, garantindo que a robustez seja aprendida dentro de regiões semanticamente válidas e não em artefatos de baixa densidade.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks padrão de cauda longa (CIFAR-10-LT, CIFAR-100-LT, Tiny-ImageNet-LT) com várias razões de desequilíbrio (IR).

• Robustez Geral: O MCAT supera consistentemente as linhas de base padrão de AT (TRADES, MART, AWP) e os métodos robustos de cauda longa mais avançados (RoBal, REAT, TAET, Auto-Distilação) em todos os conjuntos de dados e tipos de ataque (PGD-20, AutoAttack).
• Desempenho de Cauda e Equilibrado: Crucialmente, o MCAT alcança melhorias significativas na robustez de classes de cauda e na robustez equilibrada (precisão média por classe) sem sacrificar a precisão limpa. Por exemplo, no CIFAR-100-LT (IR=100), o MCAT melhorou a robustez Tail-AA de ~16% (Auto-Distilação) para 20,0%.
• Estudos de Ablação:
  • Adicionar apenas a restrição de variedade aumenta significativamente a robustez de cauda ao reduzir a deriva fora da variedade.
  • Adicionar apenas o alinhamento geométrico melhora as métricas equilibradas ao corrigir o viés geométrico.
  • A combinação produz os melhores resultados, confirmando a necessidade de abordar ambas as questões.
• Verificação de Mecanismo: Diagnósticos empíricos confirmam que o MCAT preserva ângulos interclasse maiores e reduz significativamente a deriva fora da variedade em comparação com as linhas de base, alinhando-se com as previsões teóricas.

5. Significado e Alegações

O artigo alega que alcançar robustez adversarial sob distribuições de cauda longa requer uma abordagem dual: corrigir a geometria do espaço de decisão e garantir a validade semântica dos exemplos adversariais.

• Novidade: Diferentemente de trabalhos anteriores que focam no design de perda ou heurísticas de otimização, o MCAT regula explicitamente a geometria da representação e restringe exemplos adversariais a variedades semânticas.
• Insight: Os autores identificam o "desalinhamento geométrico" e a "deriva adversarial fora da variedade" como as causas fundamentais da falha de robustez em cenários de cauda longa.
• Impacto: Ao integrar regularização inspirada em ETF com restrições de variedade, o MCAT estabiliza as fronteiras de decisão e melhora substancialmente a confiabilidade e a equidade de modelos robustos para classes de cauda, abordando uma lacuna crítica em cenários de implantação do mundo real onde o desequilíbrio de dados é prevalente.