GRAPE: Guided Parameter-Space Evolution for Compact Adversarial Robustness

Resumo Técnico: GRAPE (Guided Parameter-Space Evolution)

Declaração do Problema
O Treinamento Adversário (AT) é a abordagem padrão para aumentar a robustez de redes neurais, mas tipicamente opera sob a premissa de que o espaço de parâmetros otimizável permanece fixo durante todo o processo de treinamento. Embora capacidades maiores de modelos frequentemente correlacionem-se com uma melhor precisão robusta, pesquisas anteriores indicam que a robustez não aumenta monotonicamente com a contagem de parâmetros. Além disso, métodos existentes frequentemente assumem que o número total estático de parâmetros definido antes do treinamento determina exclusivamente a capacidade robusta do modelo. Este artigo desafia a suposição implícita de que todo o espaço de parâmetros deve ser exposto desde o início do treinamento. Ele postula que a ordem na qual o espaço de parâmetros é exposto e expandido durante o treinamento pode influenciar significativamente a solução robusta final, mesmo que a arquitetura final da rede permaneça inalterada.

Metodologia: GRAPE
Os autores propõem o GRAPE (Guided Parameter-Space Evolution), um framework de treinamento projetado para alcançar robustez adversarial compacta ao tratar o aprendizado robusto como um processo dinâmico de exposição, estabilização e expansão do espaço de parâmetros. O GRAPE consiste em dois componentes primários:

1. Estabilização do Espaço de Parâmetros: Tomando emprestado técnicas de suavização local como AWP e ISEAT, este componente estabiliza o processo de otimização local dentro do atual espaço de parâmetros. Ele utiliza um termo de suavização adaptativo à instância ($L_{stab}$) no objetivo de treinamento para reduzir paisagens de perda agudas, garantindo trajetórias de otimização robusta estáveis antes e depois da expansão da capacidade.
2. Expansão Oculta Progressiva Guiada: Ao contrário do AT de estrutura fixa, o GRAPE libera progressivamente novas dimensões otimizáveis durante o treinamento.
   • Mecanismo: O framework começa com uma capacidade oculta reduzida (inicialmente 0,25× a largura padrão) e expande blocos residuais específicos ao longo do tempo. Novos canais ocultos são inicializados para produzir uma saída próxima de zero (via projeções de saída inicializadas com zero) para preservar a função do modelo imediatamente após o crescimento, garantindo uma transição suave.
   • Estratégia de Guia: Para determinar onde expandir a capacidade, o GRAPE utiliza um Score de Utilização Espectral Adversária. Este score é computado nas saídas pós-atalho (post-shortcut) de blocos residuais usando o rank efetivo (derivado da entropia espectral dos valores singulares) das representações adversárias. O score ($u_l$) representa a dimensão efetiva adversária suportada por unidade de capacidade oculta. Blocos com scores mais altos (indicando maior pressão de capacidade) são selecionados para expansão.

O objetivo de treinamento evolui de um espaço de parâmetros menor $\Theta_0$ para um maior $\Theta_T$ ($\Theta_0 \subset \Theta_1 \subset \dots \subset \Theta_T$), guiado pelo score de utilização espectral para alocar nova capacidade a módulos de alta pressão.

Principais Contribuições

• Reconceitualização da Capacidade Robusta: O artigo argumenta que a capacidade robusta de um modelo não deve ser explicada apenas pela contagem estática de parâmetros, mas deve considerar a exposição progressiva e o caminho de expansão do espaço de parâmetros durante o treinamento.
• O Framework GRAPE: Um novo método de treinamento que combina a estabilização local do espaço de parâmetros com a expansão oculta progressiva guiada, permitindo que o modelo absorva novos graus de liberdade gradualmente, em vez de buscar um espaço de alta dimensão total desde o início.
• Validação Empírica do Caminho de Exposição: Através de uma variante de "Crescimento Sequencial Estabilizado" (que preserva a arquitetura final ResNet-18, mas expande os blocos em uma ordem fixa), os autores demonstram que o ganho em robustez não se deve apenas a diferenças arquiteturais, mas está intrinsecamente ligado ao caminho de exposição do espaço de parâmetros.
• Compactação e Eficiência: O método alcança maior precisão robusta com menos parâmetros sob um orçamento de computação correspondente (FLOPs), sugerindo que a evolução guiada pode formar configurações de parâmetros mais compactas e robustas.

Resultados Experimentais
Experimentos foram conduzidos no conjunto de dados CIFAR-10 sob o modelo de ameaça padrão $\ell_\infty$ ($\epsilon = 8/255$) usando backbones ResNet-18.

• Desempenho: Comparado ao ResNet-18 de estrutura fixa (baseline de precisão PGD-20: 51,70%), o GRAPE alcançou 56,94% de precisão robusta PGD-20. Isso representa uma melhoria relativa de aproximadamente 10,1%.
• Eficiência: Esta melhoria foi alcançada com um orçamento de computação quase equivalente (razão de FLOPs de 1,009×) enquanto reduzia a contagem de parâmetros em aproximadamente 21,4% (Razão de Parâmetros: 0,786×).
• Insights de Ablação:
  • Stabilized Seq-Grow: Uma variante que expande os blocos sequencialmente (B1 a B8) sem o guia de score, mas preserva a arquitetura final ResNet-18, alcançou 56,52% de precisão. Isso confirma que o próprio caminho de exposição progressiva contribui para o ganho, independentemente da forma final da arquitetura.
  • Guia por Score: O GRAPE (guiado por score) superou a variante de crescimento sequencial, indicando que alocar capacidade para módulos de alta pressão baseando-se na utilização espectral aumenta ainda mais a eficiência e a robustez.
  • Estabilização: A combinação de estabilização e crescimento guiado (GRAPE) mostrou-se superior ao crescimento guiado isolado (AT-Grow).

Significância e Alegações
O artigo afirma que a capacidade robusta de modelos treinados adversariamente não é meramente uma função da arquitetura estática final ou da contagem total de parâmetros. Em vez disso, é significativamente influenciada por como o espaço de parâmetros é organizado, exposto e expandido durante o processo de treinamento. Ao mimetizar o princípio de alto nível da plasticidade do desenvolvimento — onde caminhos representacionais são progressivamente formados e estabilizados — o GRAPE demonstra que uma configuração de espaço de parâmetros mais compacta e robusta pode ser formada sob orçamentos de computação equivalentes. O trabalho sugere que o "caminho de liberação de capacidade" é um fator crítico na otimização adversária, oferecendo uma nova perspectiva além do simples aumento da capacidade do modelo ou modificação do objetivo adversário.

Os autores observam limitações, incluindo o foco em CIFAR-10 e ResNet-18, a necessidade de estudos sistemáticos de hiperparâmetros e a falta de uma análise teórica profunda sobre como a evolução do espaço de parâmetros altera a geometria da otimização adversária. Eles enfatizam que o objetivo não é a redução de parâmetros por si só, mas a formação de uma configuração robusta mais eficiente através da evolução dinâmica.