🤖 machine learning

Large-scale Testing Global Optimization Methods with Black-box Adversarial Attacks

Este artigo propõe ataques adversários de caixa-preta como um benchmark moderno e de larga escala para otimização global para abordar as limitações das suítes de funções analíticas existentes, que são de pequena escala e obsoletas, demonstrando a eficácia de vários algoritmos evolucionários e metaheurísticas na resolução desses desafios de alta dimensão.

Autores originais: Wojciech Zarzecki, Jarosław Arabas

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wojciech Zarzecki, Jarosław Arabas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer animais. Você mostra a ele milhares de fotos de cavalos, gatos e cães até que ele fique muito bom em adivinhar. Mas e se alguém pudesse enganar o robô? E se alguém pudesse adicionar um minúsculo e invisível grão de "ruído" a uma foto de um cavalo e, de repente, o robô pensasse que está olhando para um gato? Isso é chamado de ataque adversarial. É como um truque de mágica para computadores: o olho humano vê um cavalo, mas o cérebro do computador vê um gato por causa de um empurrão matemático secreto.

Para descobrir como fazer esses truques funcionarem (ou como impedi-los), os cientistas precisam testar diferentes "estratégias de busca". Imagine que você está em uma cordilheira gigante e enevoada procurando pelo vale mais profundo. Algumas estratégias de busca são como caminhar em linha reta até bater em uma parede; outras são como enviar um enxame de abelhas para explorar cada canto e fresta. Por décadas, os cientistas testaram essas estratégias usando montanhas simples e artificiais (funções matemáticas) que eram fáceis de desenhar, mas que talvez não se parecessem com o mundo real. A grande questão é: esses testes antigos e simples são bons o suficiente para nos dizer qual estratégia de busca é realmente a melhor para o mundo complexo e bagunçado da IA moderna?

Este artigo, escrito por Wojciech Zarzecki e Jarosław Arabas, da Universidade Tecnológica de Varsóvia, diz "Não, eles não são". Os autores argumentam que o problema de enganar uma IA (o ataque adversarial) é, na verdade, um teste perfeito do mundo real para essas estratégias de busca. Eles tratam o ataque como um grande quebra-cabeça: encontrar a mudança mais pequena e invisível em uma imagem que enganará o computador. Eles testaram vários diferentes métodos de busca de "enxame" (como Algoritmos Evolutivos e Otimizadores de Lobo Cinzento) para ver qual deles resolvia esse quebra-cabeça melhor.

Aqui está o que eles descobriram:

O Quebra-Cabeça é Complicado
Primeiro, os autores quiseram provar que este não é um quebra-cabeça simples com apenas uma resposta. Eles usaram um método de busca local (uma estratégia que olha apenas para a vizinhança imediata) em milhares de imagens. Eles descobriram que, quando começavam de pontos aleatórios diferentes, acabavam com "soluções" diferentes. Algumas soluções alteravam alguns pixels aqui, outras alteravam alguns pixels ali. Isso provou que o cenário é "multimodal", o que significa que possui muitos vales e picos, não apenas um. Não é um escorregador suave até o fundo; é uma cordilheira irregular e confusa onde você pode ficar preso em uma pequena depressão que não é a mais profunda. Isso confirma que você precisa de métodos de busca "globais" poderosos para encontrar a melhor estratégia.

Os Buscadores
A equipe colocou vários algoritmos de busca à prova em dois conjuntos de dados de imagens famosos: CIFAR-10 (imagens pequenas de 32x32 pixels) e ImageNet (imagens enormes de alta resolução). Eles deram a cada algoritmo um orçamento de quantas vezes ele poderia "espiar" a imagem para ver se ela havia sido enganada.

Os Buscadores "Gananciosos": Alguns métodos, como o otimizador INFO, agiam um pouco como uma busca local gananciosa. Eles encontravam soluções rapidamente, mas frequentemente ficavam presos com truques mais fracos (taxas de sucesso menores).
Os Buscadores de "Enxame": Métodos como DE (Evolução Diferencial), GEN (Algoritmo Genético) e SHADE foram muito melhores. Eles exploraram o espaço de forma mais minuciosa. Por exemplo, no conjunto de dados CIFAR-10, quando o "ruído" permitido (perturbação) foi definido em 0,2, o método GEN enganou o computador 97,40% das vezes, enquanto o SHADE o fez 89,61% das vezes.
O "Lobo" Teve Dificuldades: O GWO (Otimizador de Lobo Cinzento) teve dificuldades quando as regras eram rígidas. Sem uma configuração de "regularização" especial (uma regra para manter o ruído pequeno), ele teve sucesso apenas cerca de 10–15% das vezes. No entanto, quando os autores adicionaram uma regra específica para equilibrar o ruído, o GWO alcançou o nível dos outros e teve um desempenho muito melhor.

O Tamanho Importa
O tamanho da imagem fez uma diferença enorme. Nas imagens menores do CIFAR-10, até mesmo uma pequena quantidade de ruído permitido (0,01) era quase impossível de usar; os algoritmos falharam quase completamente. Mas nas imagens massivas do ImageNet, esse mesmo ruído minúsculo foi ainda mais difícil de usar (0% de sucesso para todos). No entanto, assim que permitiram um pouco mais de ruído (0,1 ou 0,2), os algoritmos tornaram-se muito eficazes. No ImageNet com ruído de 0,2, o algoritmo DE alcançou uma taxa de sucesso de 100%, o que significa que ele conseguiu enganar o computador em todas as imagens que tentou.

A Conclusão
O artigo sugere que usar esses ataques adversariais de "caixa preta" é uma forma fantástica de testar o quão bons são os métodos de otimização global realmente. É um desafio mais difícil e realista do que os antigos problemas matemáticos simples. Os resultados mostram que, embora alguns métodos sejam melhores que outros, o campo ainda está aprendendo. Os autores não alegaram ter encontrado o algoritmo "perfeito"; em vez disso, forneceram um novo parquinho onde pesquisadores podem testar suas ferramentas. Eles também observaram que, no futuro, podem querer testar não apenas o ato de deixar o computador confuso, mas sim fazê-lo escolher uma resposta errada específica, e podem usar uma maneira diferente de medir o "ruído" que se pareça mais com o que o olho humano notaria.

Em resumo, os autores mostraram com sucesso que enganar uma IA é uma escalada de montanha complexa e com múltiplos picos, e embora algumas equipes de busca (como GEN e SHADE) sejam atualmente as melhores alpinistas, ainda há muito território para explorar.

Resumo Técnico: Métodos de Otimização Global de Teste em Larga Escala com Ataques Adversários de Caixa-Preta

Definição do Problema
Os autores identificam um estagnação no desenvolvimento de métodos de otimização global devido à dependência de conjuntos de testes compostos por um número limitado de funções analíticas, muitas datadas das décadas de 1970 e 1980 (ex: Ackley, Griewank, Rosenbrock). Esses problemas "sintéticos" correm o risco de enviesar o desenvolvimento de métodos. O artigo propõe que os Ataques Adversários de Caixa-Preta (BBAA, do inglês Black-Box Adversarial Attacks) em modelos de classificação de imagens sirvam como um benchmark robusto de otimização global de alta dimensionalidade.

Em um cenário de BBAA, um atacante busca encontrar um vetor de perturbação $\delta$ adicionado a uma imagem de entrada $x$ tal que a classificação do modelo mude (classificação incorreta), enquanto a perturbação permanece imperceptível para humanos. O problema é formulado como uma minimização com restrição de limite, onde a função objetivo $L(\delta)$ combina o logaritmo negativo da probabilidade da classe real com um termo de regularização $L_2$ para minimizar a magnitude da perturbação:
$L(\delta) = -\log p_{c(x)}(x + \delta) - \alpha\|\delta\|_2^2$
O conjunto viável é um hipercubo $[-\epsilon, \epsilon]^n$ , onde $n$ corresponde ao número de pixels (ex: 3.072 para CIFAR-10, 150.528 para ImageNet).

Metodologia
Para validar o BBAA como um problema de otimização global, os autores primeiro demonstraram sua multimodalidade. Eles empregaram um método de busca local, Ataque de Crescimento Estocástico com Refinamento de Busca Binária (SGA-BSR), através de 100 execuções independentes com diferentes sementes aleatórias por imagem. Os resultados mostraram que as execuções independentes convergiram para diferentes vetores de perturbação com variados valores de objetivo, confirmando a existência de inúmeros ótimos locais e a necessidade de estratégias de busca global.

A fase experimental central envolveu o teste de vários algoritmos de otimização global metaheurísticos em tarefas de BBAA utilizando dois conjuntos de dados: CIFAR-10 e ImageNet. Os modelos utilizados foram um ResNet-18 pré-treinado padrão para ImageNet e uma arquitetura customizada do tipo VGG para CIFAR-10. Os algoritmos de otimização testados incluíram:

Algoritmo Evolucionário Clássico (GEN)
Variantes de Evolução Diferencial: DE, JADE, SADE, SHADE
Otimizador de Lobo Cinzento (GWO)
INFO (Otimizador Eficiente baseado na Média Ponderada de Vetores)

Os experimentos foram conduzidos com variados hiperparâmetros:

$\epsilon$ (Perturbação máxima): 0.01, 0.1, 0.2
$\alpha$ (Peso de regularização): 0.0, 0.1, 1.0, 10.0, 100.0
Orçamento (Budget): Tamanho de população de 500 e 500 iterações por execução.

Principais Resultados
Os experimentos geraram as seguintes observações:

Multimodalidade: A busca local SGA-BSR produziu soluções diversas entre as execuções, confirmando que o cenário de BBAA é altamente multimodal.
Impacto dos Hiperparâmetros:
- O limite de perturbação $\epsilon$ foi o fator mais decisivo. Em $\epsilon=0.01$ , a maioria dos otimizadores falhou em ter sucesso em ambos os conjuntos de dados. As taxas de sucesso aumentaram significamente em $\epsilon=0.1$ e $\epsilon=0.2$ .
- O peso de regularização $\alpha$ teve um efeito não monotônico. Um valor moderado ( $\alpha=0.1$ ) geralmente melhorou o desempenho ao equilibrar a travessia da fronteira de decisão com a minimização da perturbação.
Desempenho dos Algoritmos:
- GEN (Algoritmo Genético) e SHADE alcançaram consistentemente altas taxas de sucesso mantendo baixa força de perturbação (norma $L_2$ ).
- GWO apresentou desempenho insatisfatório sem regularização (sucesso próximo de zero em baixos valores de $\epsilon$ ), mas melhorou significativamente com $\alpha=0.1$ , alcançando outros métodos baseados em população.
- INFO comportou-se como uma busca local gananciosa (greedy), estagnando em taxas de sucesso mais baixas, mas demonstrando eficiência de consulta (query efficiency).
- DE e GWO tenderam a derivar para os cantos da área admissível, provavelmente devido à falta de mecanismos de autoadaptação encontrados no SADE, JADE ou SHADE.
Comparação de Conjuntos de Dados: Os ataques foram uniformemente mais fáceis no ImageNet do que no CIFAR-10 em configurações equivalentes de $(\epsilon, \alpha)$ . Os autores atribuem isso à maior dimensionalidade de entrada e ao maior conjunto de rótulos do ImageNet, o que estatisticamente reduz a margem para a classe concorrente mais próxima.

Significância e Contribuições
O artigo afirma dar um passo para alinhar a pesquisa de otimização global com os desafios do aprendizado de máquina moderno. Suas principais contribuições são:

Proposta de Benchmark: Estabelecer o BBAA como um benchmark de otimização global de alta dimensionalidade valioso, que vai além das funções sintéticas tradicionais.
Validação Empírica: Demonstrar que o BBAA é um problema multimodal que requer capacidades de busca global, verificado através de experimentos de busca local.
Linha de Base de Desempenho (Baseline): Fornecer uma análise comparativa de eficiência de várias metaheurísticas (incluindo EAs clássicos, variantes de DE, GWO e INFO) em tarefas de BAAA sem ajuste extensivo de parâmetros.
Framework Aberto: Liberar um framework para permitir que a comunidade teste novos métodos de otimização contra esses desafios adversários.

Os autores concluem que, embora os métodos atuais mostrem promessa, o trabalho futuro deve envolver o ajuste desses métodos para maior eficiência, a expansão do portfólio de otimizadores e, potencialmente, a reformulação da função objetivo para incluir termos de perda perceptual que reflitam melhor a distorção visível ao olho humano.

Mais como este