Resumo Técnico: Repensando Paradigmas de Avaliação em Treinamento Certificado baseado em IBP

Declaração do Problema

Redes neurais profundas (DNNs) alcançam alto desempenho em tarefas de aprendizado supervisionado, mas permanecem vulneráveis a perturbações adversárias. Embora a verificação de redes neurais forneça garantias de robustez matematicamente rigorosas, ela é computacionalmente dispendiosa (NP-completo). Técnicas de treinamento certificado, particularmente aquelas baseadas em Propagação de Limites de Intervalo (IBP - Interval Bound Propagation), visam otimizar a robustez verificável durante o treinamento. No entanto, esses métodos induzem um trade-off fundamental entre acurácia natural (desempenho em dados limpos) e acurácia certificada (desempenho em entradas provadamente robustas).

O paradigma de avaliação atual no campo é falho: pesquisadores tipicamente relatam uma única configuração (um único ponto no espaço de trade-off) determinada por ajuste manual ou busca em grade (grid search). Essa prática é problemática porque:

1. Viés: A comparação de configurações únicas é altamente dependente do ponto de trade-off específico escolhido, levando a conclusões enviesadas sobre o estado da arte.
2. Subajuste (Under-tuning): Trabalhos anteriores frequentemente falham em explorar o espaço completo de hiperparâmetros, potencialmente perdendo configurações superiores que dominam os resultados relatados.
3. Falta de Padronização: Não existe um procedimento não enviesado e padronizado para posicionar novos métodos contra os existentes em todo o espectro de robustez-acurácia.

Metodologia

Os autores propõem uma mudança de paradigma da avaliação de ponto único para a avaliação baseada na fronteira de Pareto. Em vez de otimizar para um único objetivo (ex: maximizar a acurácia certificada), eles tratam o problema como uma tarefa de otimização multiobjetivo para descobrir o conjunto de configurações não dominadas (a fronteira de Pareto).

Abordagem Central

1. Otimização de Hiperparâmetros Multiobjetivo (MO-HPO): Os autores empregam otimização Bayesiana multiobjetivo usando substitutos de processo Gaussiano e a função de aquisição de Melhoria de Hipervolume Esperado (EHVI). Isso permite a otimização simultânea da acurácia natural e da acurácia certificada.
2. Design do Espaço de Busca: Para garantir uma comparação imparcial, o espaço de busca é abrangente, incluindo:
   • Hiperparâmetros gerais de aprendizado profundo (taxa de aprendizado, otimizadores como Adam/AdamW/RAdam, cronogramas de decaimento).
   • Parâmetros específicos do método (ex: $\kappa$ para IBP/CROWN-IBP, $\alpha$ para MTL-IBP, $\tau$ para SABR).
   • Parâmetros de cronograma de treinamento (épocas de warm-up, épocas de ramp-up, fatores de escala de $\epsilon$).
   • Parâmetros de ataque (passos de PGD, tamanho do passo, reinicializações).
   • Crucialmente, o espaço de busca inclui parâmetros frequentemente fixos ou ignorados na literatura anterior (ex: permitir transições de $\kappa$, variar comprimentos de warm-up), possibilitando a descoberta de configurações anteriormente inexploradas.
3. Proxy de Avaliação Eficiente: Como a verificação completa (exigida para a acurácia certificada final) é computacionalmente proibitiva para cada tentativa, o loop de otimização utiliza verificação incompleta (IBP, CROWN, CROWN-IBP) como um objetivo proxy.
4. Verificação Final: Uma vez identificadas as configurações Pareto-otimizadas via proxy, elas são reavaliadas usando verificação completa de última geração (especificamente $\alpha\beta$-CROWN) para estabelecer a fronteira de Pareto final. Para gerenciar custos, o agrupamento de ligação simples (single-linkage clustering) é usado para filtrar configurações redundantes antes da verificação completa.
5. Orçamento Padronizado: Todos os métodos são avaliados sob um orçamento computacional fixo (100 tentativas por semente, 3 sementes por método) para garantir uma comparação justa.

Principais Contribuições

1. Novo Padrão de Avaliação: O artigo estabelece um protocolo de avaliação multiobjetivo padronizado que substitui as comparações de ponto único pela análise da fronteira de Pareto. Isso permite uma avaliação matizada onde os pesquisadores podem selecionar métodos com base em seus requisitos específicos (ex: priorizar acurácia limpa vs. garantias certificadas).
2. Descoberta de Configurações Subajustadas: Ao explorar sistematicamente o espaço de hiperparâmetros, os autores demonstram que muitos resultados anteriormente relatados como "estado da arte" são dominados pela Pareto por configurações encontradas através de sua otimização automatizada. Isso revela um "subajuste" significativo na literatura existente.
3. Benchmarking Abrangente: O estudo fornece a primeira comparação multiobjetivo abrangente dos principais métodos de treinamento certificado baseados em IBP (IBP, CROWN-IBP, SABR, MTL-IBP) em CIFAR-10 e Tiny ImageNet com variados raios de perturbação ($\epsilon$).
4. Insights de Hiperparâmetros: Usando fANOVA, os autores identificam que interações complexas entre hiperparâmetros (ex: a transição de $\kappa$ durante o ramp-up, escala de $\epsilon$ e duração do warm-up) são críticas para alcançar os melhores trade-offs, insights frequentemente perdidos no ajuste manual.

Resultados

• Desempenho Superior: A avaliação proposta descobre configurações que dominam os resultados anteriores. Por exemplo, no CIFAR-10 com $\epsilon = 2/255$, o SABR alcança ganhos de mais de 1% tanto em acurácia limpa quanto certificada em comparação com a literatura. No Tiny ImageNet, o MTL-IBP mostra melhorias de ~2% em ambas as métricas.
• Complementaridade de Métodos: Nenhum método domina uniformemente.
  • SABR geralmente se destaca ao alcançar alta acurácia natural.
  • MTL-IBP tende a fornecer as garantias certificadas mais fortes, particularmente em raios de perturbação menores.
  • IBP e CROWN-IBP permanecem competitivos, especialmente quando acurácias naturais mais altas são desejadas ou em raios de perturbação maiores ($\epsilon = 8/255$), desafiando a suposição de que são obsoletos.
• Estagnação do Progresso em Grandes Raios: A análise sugere que o progresso em raios de perturbação maiores estagnou, com métodos mais antigos contribuindo significativamente para a fronteira de Pareto combinada.
• Validação vs. Ajuste no Conjunto de Teste: Os autores demonstram que ajustar hiperparâmetros diretamente no conjunto de teste (uma prática comum, mas problemática) leva a fronteiras de Pareto que dominam estritamente aquelas obtidas via ajuste no conjunto de validação, indicando que avaliações anteriores provavelmente superestimaram o desempenho de generalização.
• Eficiência Computacional: O estudo mostra que, embora a verificação completa seja cara, reduzir o tempo limite de verificação (ex: de 1000s para 100s no CIFAR-10) preserva a forma da fronteira de Pareto enquanto reduz os custos computacionais em uma ordem de magnitude.

Significância e Alegações

O artigo alega que o estado da arte atual no treinamento certificado tem sido significativamente subestimado devido ao ajuste inadequado de hiperparâmetros e metodologias de avaliação falhas. Ao adotar uma perspectiva multiobjetivo:

• Reavaliação do Estado da Arte: Avanços recentes são menos pronunciados do que anteriormente assumido, particularmente para raios de perturbação maiores.
• Insights Acionáveis: O trabalho fornece orientação concreta para a comunidade, destacando que interações complexas entre hiperparâmetros (frequentemente negligenciadas) são essenciais para o desempenho ideal.
• Direção Futura: Os autores defendem uma mudança em direção a protocolos de avaliação multiobjetivo padronizados. Eles sugerem que a comunidade deve focar em estratégias de "verificação barata" em vez de depender de tempos de limite de verificação cada vez maiores para distinguir métodos, já que tempos de limite menores são frequentemente suficientes para identificar a fronteira de Pareto.

Em última análise, o artigo argumenta que uma avaliação justa exige a exploração de todo o espaço de trade-off, permitindo o desenvolvimento de modelos certificados que sejam tanto robustos quanto praticáveis, ao mesmo tempo em que evita conclusões enganosas derivadas de comparações de configuração única.