Contract And Conquer: How to Provably Compute Adversarial Examples for a Black-Box Model?

O artigo apresenta o método "Contract And Conquer" (CAC), que utiliza conhecimento destilado e contração do espaço de busca para garantir a geração provável de exemplos adversariais para modelos de caixa preta, superando os métodos atuais de ponta no conjunto de dados ImageNet.

O essencial

Imagine que você tem um robô superinteligente (uma Inteligência Artificial) que decide se uma foto é de um "gato" ou de um "cachorro". Esse robô é um "caixa-preta": você pode mostrar fotos para ele e ele te diz o resultado, mas você não sabe como ele pensa por dentro, quais são seus segredos ou como ele toma decisões.

O problema é que esse robô pode ser enganado. Se você mudar um pouquinho a foto (algo que o olho humano nem percebe), ele pode achar que um gato é um cachorro. Isso é chamado de ataque adversário.

Até agora, tentar enganar esse robô sem saber como ele funciona era como tentar abrir um cofre no escuro: você girava a fechadura, tentava de novo, e torcia para funcionar. Não havia garantia de que você conseguiria abrir o cofre, mesmo que tentasse muito.

Este artigo apresenta uma nova estratégia chamada "Contrair e Conquistar" (Contract And Conquer). Vamos explicar como funciona usando uma analogia simples:

A Analogia do "Treinador de Espelho"

Em vez de tentar adivinhar como o robô original (o alvo) pensa, os autores criam um robô "espelho" (um modelo substituto) que tenta imitar o original.

1. O Espelho (Distilação de Conhecimento):
   Imagine que você quer aprender a dançar igual a um mestre de balé, mas não pode entrar no estúdio dele. Então, você contrata um professor de dança (o robô espelho) e pede para ele observar o mestre e copiar cada movimento dele.

   • No começo, o professor observa apenas algumas fotos aleatórias.
   • Se o professor errar na imitação, você mostra a foto correta para ele e diz: "Olha, o mestre disse que isso é um gato, não um cachorro".
   • O professor aprende e ajusta seus movimentos.

2. O Ataque no Espelho (Ataque de Caixa Branca):
   Agora que o professor (o robô espelho) está muito bom em imitar o mestre, você tenta enganar o professor. Como você conhece todos os segredos do professor (ele é um "caixa branca"), é fácil encontrar um truque para fazê-lo errar. Você cria uma foto modificada que faz o professor gritar "Cachorro!" quando é um gato.

3. O Grande Truque: "Contrair" o Espaço (A Conquista):
   Aqui está a mágica. Você testa essa foto modificada no robô original (o mestre).

   • Cenário A: O mestre também erra! Parabéns, você venceu.
   • Cenário B: O mestre não erra. Ele continua vendo o gato.

   Se o mestre não errar, o método não desiste. Ele faz duas coisas inteligentes:

   • Aprendizado: Ele mostra a foto que enganou o professor para o mestre, anota o que o mestre disse e ensina isso ao professor. Agora o professor sabe mais um detalhe sobre o mestre.
   • Contrair o Espaço: O método diz: "Ok, a gente não precisa tentar enganar o mestre em qualquer lugar da foto. Vamos focar apenas na área bem pertinho da foto que já tentamos". É como se você estivesse procurando uma agulha no palheiro, mas em vez de revirar todo o palheiro, você vai encolhendo o círculo onde a agulha pode estar, ficando cada vez mais específico.

Por que isso é revolucionário?

A grande inovação deste trabalho é a garantia matemática.

• Métodos Antigos: Eram como jogar dardos no escuro. "Talvez eu acerte, talvez não". Não havia garantia de que você encontraria o ponto fraco do robô, mesmo que tentasse por horas.
• Método "Contrair e Conquistar": Funciona como um jogo de "Quente e Frio" com regras matemáticas rígidas. O artigo prova que, se você seguir esses passos de "contrair" o espaço de busca e ensinar o espelho, você é garantido de encontrar um jeito de enganar o robô em um número fixo de tentativas.

Resumo em uma frase

É como se você tivesse um mapa que, passo a passo, garante que você vai encontrar a saída de um labirinto, em vez de apenas correr aleatoriamente pelas paredes esperando bater na porta certa.

Por que isso importa?

Isso é crucial para a segurança. Se queremos confiar em carros autônomos ou diagnósticos médicos feitos por IA, precisamos saber se eles são frágeis. Este método permite que os desenvolvedores provem, com certeza matemática, onde seus sistemas falham, permitindo que eles consertem essas falhas antes que alguém seja prejudicado. É como fazer um teste de colisão em um carro novo: você quer saber exatamente onde ele quebra para torná-lo mais seguro.

Resumo técnico

Resumo Técnico: Contract And Conquer (CAC)

1. O Problema

A robustez de redes neurais profundas contra perturbações maliciosas (ataques adversariais) é uma questão crítica, especialmente em aplicações de segurança como medicina e sistemas autônomos.

• Limitação dos Métodos Atuais: A maioria dos ataques de "caixa-preta" (black-box) é empírica. Embora eficazes na prática, eles não oferecem garantias teóricas de que um exemplo adversarial será encontrado para um modelo específico dentro de um número finito de iterações ou consultas.
• Desafio Regulatório: Com o surgimento de regulamentações de IA (como o AI Act da UE), há uma necessidade crescente de verificar a conformidade dos modelos com padrões de robustez. Métodos de "robustez certificada" (que provam matematicamente a ausência de exemplos adversariais) existem, mas são computacionalmente caros, limitam arquiteturas de modelos ou degradam o desempenho em dados benignos.
• A Lacuna: Existe uma necessidade de um método que possa garantir a não-robustez de um modelo de caixa-preta (ou seja, provar que um exemplo adversarial existe e encontrá-lo) de forma eficiente e com garantias de convergência, sem os custos excessivos da robustez certificada.

2. Metodologia: Contract And Conquer (CAC)

O CAC é um método iterativo baseado em transferência de aprendizado e conhecimento distilado, projetado para calcular exemplos adversariais para modelos de caixa-preta com garantias de convergência. O algoritmo alterna entre dois processos principais:

1. Distilação de Conhecimento (Surrogate Model):

   • Um modelo substituto (surrogate) $S$ é treinado para imitar o modelo alvo de caixa-preta $T$.
   • O conjunto de dados de distilação começa com uma amostra aleatória e o ponto alvo $x$.
   • Em cada iteração, se o ataque falhar na transferência, o novo ponto adversarial encontrado no modelo substituto (e sua resposta do modelo alvo) é adicionado ao conjunto de dados de treinamento, expandindo o conhecimento do modelo $S$ sobre a região de interesse.

2. Ataque de Caixa-Branca e Contração do Espaço de Busca:

   • O modelo substituto $S$ é atacado usando um ataque de caixa-branca (MI-FGSM) dentro de uma vizinhança do ponto alvo.
   • Se o exemplo adversarial $z_j$ encontrado em $S$ não for transferível para $T$ (ou seja, $T(z_j) = T(x)$), o algoritmo não apenas adiciona o dado ao conjunto de treinamento, mas também contrai o espaço de busca.
   • A nova região de busca $U_{\delta}(x)_j$ é definida como a interseção do espaço original com uma vizinhança menor ao redor do último ponto adversarial $z_j$. A distância de contração $\rho_j$ é calculada com base na distância entre os pontos adversariais consecutivos.

Garantia de Convergência:
O artigo prova teoricamente (Lema 3.4) que, sob suposições moderadas (gradientes limitados e capacidade de aprendizado do modelo substituto), o algoritmo encontrará um exemplo adversarial transferível para o modelo alvo $T$ em um número fixo de iterações. A prova baseia-se na redução progressiva do espaço de busca até que a discrepância entre o modelo substituto e o alvo seja superada dentro da vizinhança restrita.

3. Contribuições Principais

• Novo Algoritmo Iterativo: Proposta do método Contract And Conquer (CAC), que combina distilação de conhecimento em um conjunto de dados expansivo com a contração controlada do espaço de busca de exemplos adversariais.
• Garantia Teórica: Demonstração formal de que o método é garantido para produzir um exemplo adversarial para o modelo de caixa-preta dentro de um número limitado de iterações, resolvendo a incerteza dos métodos empíricos atuais.
• Desempenho Superior: Evidência experimental de que o CAC supera os métodos de última geração (SOTA) em benchmarks de imagem (ImageNet e CIFAR-10), incluindo modelos baseados em Transformers (ViT).

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados CIFAR-10 e ImageNet, com modelos alvo ResNet-50 e Vision Transformer (ViT-B), em configurações de rótulo duro (hard-label) e suave (soft-label).

• Taxa de Sucesso (ASR): O CAC alcançou consistentemente 100% (1.00) de taxa de sucesso de ataque em todos os cenários testados, superando ou igualando os melhores métodos existentes (como HopSkipJump, Sign-OPT, GeoDA, SquareAttack).
• Eficiência de Consultas (AQN): O CAC frequentemente requer menos consultas ao modelo alvo do que os métodos concorrentes para encontrar um exemplo adversarial. Por exemplo, no ImageNet (ResNet-50), o CAC usou ~488 consultas, enquanto o HopSkipJump usou ~500.
• Qualidade do Exemplo (Distância): O CAC produz exemplos adversariais significativamente mais próximos do ponto original (menor distância $l_\infty$ e $l_2$) do que os métodos de base. Isso indica que o CAC encontra vulnerabilidades mais sutis e "invisíveis".
  • Exemplo: No ImageNet (ViT-B, hard-label), o CAC obteve uma distância média $l_\infty$ de 0.165, enquanto o HopSkipJump obteve 0.685.
• Robustez em Arquiteturas Diversas: O método demonstrou eficácia tanto em CNNs tradicionais (ResNet) quanto em arquiteturas modernas baseadas em atenção (ViT), superando métodos específicos para Transformers como AdvViT.

5. Significado e Impacto

• Validação de Robustez: O CAC fornece uma ferramenta poderosa para avaliar a segurança de sistemas de IA em cenários de caixa-preta, oferecendo uma garantia matemática de que, se o modelo não for robusto, o ataque encontrará uma falha.
• Conformidade Regulatória: Ao fornecer garantias de convergência, o método ajuda a atender às exigências de regulamentações emergentes de IA que demandam verificações rigorosas de robustez, sem a necessidade de implementar defesas certificadas computacionalmente proibitivas.
• Mudança de Paradigma: O trabalho desloca o foco de "ataques heurísticos" para "ataques prováveis", estabelecendo um novo padrão para a avaliação de vulnerabilidades em modelos de aprendizado de máquina.

Em resumo, o Contract And Conquer preenche uma lacuna crítica entre a eficácia prática e a garantia teórica na segurança de IA, oferecendo um método robusto, eficiente e matematicamente fundamentado para expor falhas em modelos de caixa-preta.