🤖 machine learning

Enhancing Adversarial Transferability through Block Stretch and Shrink

Este artigo propõe o FRO, um método de transformação de entrada orientado à resposta de frontend que aumenta a transferibilidade adversarial ao empregar operadores de estiramento e encolhimento por blocos e deformação de perspectiva para enriquecer as respostas de frontend do modelo através de uma perspectiva de ensemble implícita.

Autores originais: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Publicado 2026-07-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando colar um adesivo minúsculo e invisível na lente de uma câmera de segurança. Se você o colocar no lugar certo, a câmera pode ficar confusa e pensar que uma placa de pare é uma placa de limite de velocidade. É isso que os hackers fazem com "ataques adversários" em IAs. Mas aqui está a parte complicada: se você projetar seu adesivo para enganar a Câmera A, ele pode não funcionar na Câmera B, mesmo que elas sejam idênticas.

Por muito tempo, pesquisadores tentaram fazer esses adesivos funcionarem em qualquer câmera, pegando a imagem, distorcendo-a, esticando-a ou girando-a de formas aleatórias antes de mostrá-la à IA. A ideia era: "Se mostrarmos várias versões diferentes do adesivo para a IA, talvez ela aprenda um truque que funcione para todos".

Mas um novo artigo de Quan Liu e sua equipe sugere que estávamos olhando para o problema da maneira errada. Eles argumentam que simplesmente fazer a imagem parecer diferente não é a chave mágica. Em vez disso, o verdadeiro segredo reside em como a "porta da frente" da IA (sua fase inicial de processamento) reage a essas mudanças.

O Mistério da "Porta da Frente"

Pense em um modelo de IA como uma casa de dois andares.

A Porta da Frente (Frontend): É onde a IA vê a imagem pela primeira vez. É como um segurança checando identidades. Ele observa formas, bordas e texturas.
A Sala de Estar (Backend): É onde a IA toma sua decisão final, como "Isso é um gato!" ou "Isso é um cachorro!".

Estudos anteriores pensavam que, se você apenas fizesse a imagem parecer estranha (diversidade), o segurança ficaria confuso e o truque funcionaria em outras casas também. Mas a equipe de Liu diz: "Espere um pouco". Só porque a imagem parece diferente para você, não significa que o segurança a veja de forma diferente. Se o segurança da Casa A e o segurança da Casa B reagirem da mesma forma a uma imagem distorcida, seu truque falha.

O artigo sugere que, para criar um adesivo que funcione para todos, você precisa mexer com a reação do segurança de uma forma específica. Você precisa criar mudanças de "Resposta do Frontend" que sejam únicas o suficiente para serem interessantes, mas semelhantes o suficiente para que outros seguranças também as notem.

Conheça o FRO: O Truque do Trapaceiro de Dupla Ação

Para resolver isso, a equipe criou um novo método chamado FRO (Frontend Response-Oriented — Orientado à Resposta do Frontend). Em vez de apenas distorcer a imagem aleatoriamente, o FRO usa dois movimentos específicos para cutucar a porta da frente da IA nos pontos certos:

O Operador de Escalonamento Local (O Movimento do "Bloco Elástico"): Imagine que a imagem é feita de blocos de Lego. Este operador agarra alguns blocos aqui e ali e os estica ou encolhe. Ele altera a textura local e o tamanho de pequenos detalhes sem arruinar a imagem inteira. É como dar zoom em uma parte específica de um rosto para ver os poros e, depois, dar o zoom para fora novamente, mas fazendo isso apenas em uma bochecha.
O Operador de Projeção (O Movimento do "Espelho de Parque de Diversões"): Este pega a imagem inteira e dá a ela um desvio de perspectiva suave e coerente, como olhar para um edifício de um ângulo estranho. Ele altera a forma global e como as coisas estão organizadas no espaço, mas mantém toda a cena parecendo uma visão única e lógica.

Ao combinar esses dois movimentos, o FRO cria um conjunto de "visões transformadas". É como perguntar à IA: "E se a orelha deste gato fosse esticada? E se o gato inteiro estivesse inclinado para o lado?". A IA tem que processar todas essas versões ligeiramente diferentes e combinar suas reações para descobrir a melhor maneira de enganá-la.

Funcionou? Os Números Não Mentem

A equipe testou o método em um subconjunto do famoso conjunto de dados ImageNet. Eles não apenas adivinharam; eles rodaram os números.

A Configuração: Eles usaram um modelo "white-box" (um modelo onde podiam ver o interior) para gerar os ataques e, em seguida, testaram em modelos "black-box" (modelos que não podiam ver por dentro).
A Competição: Eles compararam o FRO contra outros métodos populares como DeCoWA, CWT, SIA, SID e OPS.
O Resultado: O FRO superou consistentemente os outros. Quando testado em uma mistura de diferentes arquiteturas de IA (incluindo CNNs e Vision Transformers), o FRO alcançou as taxas de sucesso mais altas em 6 de 11 modelos alvo.
- Por exemplo, contra um modelo chamado ResNet-50, o FRO atingiu uma taxa de sucesso de 95,6%, enquanto o segundo melhor chegou a 93,2%.
- Contra o Inception-v3, atingiu 96,3%, superando o segundo colocado com 96,2%.
- Mesmo contra modelos complicados e defendidos (IAs que foram treinadas para resistir a ataques), o FRO conseguiu romper 96,2% das vezes contra um modelo defendido específico, superando todos os outros.

O Que Eles Descartaram

O artigo é muito claro sobre o que não funciona como explicação principal.

Não é apenas "Diversidade de Imagem": Os autores argumentam que apenas fazer a imagem parecer diferente não é suficiente. Se a porta da frente da IA não reagir de forma diferente, o truque falha.
Não é apenas "Preservação Semântica": Embora manter o significado da imagem (como manter um gato parecendo um gato) seja importante, não é a razão pela qual o ataque funciona. A razão é como a porta da frente lida com as mudanças.
Não é "Aumentação do Espaço de Hipótese": Eles sugerem que simplesmente adicionar mais possibilidades à matemática não é a chave; a chave é a resposta específica da porta da frente.

O Quão Certos Eles Estão?

O artigo é bastante confiante, mas é cuidadoso com as palavras. Eles demonstraram esses resultados através de experimentos em um subconjunto do ImageNet. Eles não apenas simularam; eles realmente executaram os ataques e mediram as taxas de sucesso.

Eles também introduziram uma nova forma de medir as coisas chamada "tamanho de ensemble implícito unificado" (vamos chamar de N). Eles descobriram que o número de visões transformadas importa. Quando testaram diferentes números (como N = 10, 17, 21, 26, 37 e 101), o FRO permaneceu forte mesmo com números menores, sugerindo que seu método é eficiente.

Os autores sugerem que sua abordagem funciona porque visa os "fatores de frontend compartilhados" que tanto as CNNs (a IA antiga) quanto as ViTs (a nova IA) utilizam. Eles mostraram que o FRO reduz a "lacuna" na forma como diferentes modelos de IA reagem a essas transformações, tornando o ataque mais transferível.

A Conclusão

Este artigo sugere que, para hackear o cérebro de uma IA, você não deve apenas lançar distorções aleatórias contra ela. Você precisa entender como a sua "porta da frente" processa informações. Ao usar uma mistura inteligente de estiramento local e mudanças de perspectiva global, o FRO cria uma "chave universal" que serve para muitas fechaduras de IA.

Os autores propõem que esta perspectiva de "Resposta do Frontend" é a peça que faltava no quebra-cabeça. Embora não tenham resolvido o problema da segurança da IA para sempre (e não aleguem isso), eles mostraram uma maneira significativamente melhor de criar esses ataques, provando que entender as reações iniciais da IA é o verdadeiro ingrediente secreto.

Resumo Técnico: Transformação de Entrada Orientada à Resposta do Frontend para Ataques Adversários Transferíveis (FRO)

Declaração do Problema
Redes Neurais Profundas (DNNs) são vulneráveis a exemplos adversários, nos quais perturbações imperceptíveis causam classificação incorreta. Embora ataques de caixa branca sejam eficazes, eles frequentemente sofrem de transferibilidade limitada para modelos-alvo de caixa preta. Ataques baseados em transformação de entrada tentam melhorar a transferibilidade agregando gradientes sobre múltiplas visões transformadas de uma entrada. No entanto, as explicações existentes para sua eficácia — como diversidade de imagem, preservação semântica, variância de atenção ou aumento do espaço de hipóteses — focam primariamente em características de nível de imagem ou respostas de alto nível do modelo. Essas abordagens negligenciam o papel crítico do frontend do modelo (codificação de características iniciais). Transformações visualmente distintas não induzem necessariamente diferenças úteis ou transferíveis após a codificação do frontend; se múltiplas visões produzem respostas de frontend quase idênticas, os gradientes resultantes permanecem redundantes. Além disso, as comparações existentes entre métodos de transformação carecem de justiça porque variam no número de visões transformadas (tamanho do ensemble), confundindo os benefícios do design da transformação com os benefícios de simplesmente aumentar a escala do ensemble.

Metodologia
O artigo propõe o FRO (Frontend Response-Oriented input transformation), um método fundamentado em uma perspectiva de ensemble implícito.

Formulação de Ensemble Implícito: Os autores reinterpretam ataques baseados em transformação de entrada como um ensemble funcional implícito. Dado um modelo de origem $f_s$ e transformações $\{T_i\}$ , o ataque otimiza sobre um conjunto de membros compostos $\{f_s \circ T_i\}$ . Diferente de ensembles convencionais que utilizam diferentes parâmetros de modelo, este ensemble implícito utiliza o mesmo modelo de origem, mas diferentes operadores pré-modelo. A diversidade deste ensemble é determinada não pelos parâmetros do modelo, mas pela diversidade de resposta do frontend induzida pelas transformações.
Perspectiva de Resposta do Frontend: Os autores argumentam que, para a transferibilidade, as transformações devem induzir diferenças de resposta no frontend da origem que não sejam puramente específicas da origem, mas que sejam parcialmente compartilhadas com arquiteturas de alvo heterogêneas (ex: CNNs e Vision Transformers).
Fatores de Frontend Compartilhados: Através de uma análise preliminar, os autores identificam dois fatores comuns a ambos os frontends de CNN e ViT que as transformações devem visar:
- Amostragem de Conteúdo Local: Como a escala local, a densidade de textura e as posições de borda são apresentadas aos campos receptivos ou tokens de patch.
- Organização Espacial: Geometria global, forma do objeto e layout espacial.
Operadores FRO: Para perturbar esses fatores, o FRO emprega dois operadores complementares:
- Operador de Escalonamento Local: Particiona a imagem em blocos e aplica operações aleatórias de estiramento e compressão (stretch-and-shrink) a blocos individuais. Isso altera a escala local, a densidade de textura e as posições de borda, preservando o tamanho global da imagem.
- Operador de Projeção: Aplica uma deformação de perspectiva globalmente coerente (variações de inclinação e distância focal) a toda a imagem. Isso modifica a geometria global, a forma do objeto e o layout espacial.
- Processo de Geração: Em cada iteração, $N$ visões transformadas são geradas através da amostragem sequencial dos operadores de Escalonamento Local e de Projeção. Os gradientes dessas visões são agregados para atualizar a perturbação adversária.
Tamanho de Ensemble Implícito Unificado ( $N$ ): Para garantir comparações justas, os autores definem $N$ como o número unificado de visões transformadas utilizadas para a agregação de gradientes. Isso permite que as diferenças de desempenho sejam atribuídas ao design da transformação, em vez da escala do ensemble.
Métrica de Avaliação (T-FRDM): Para quantificar a consistência entre arquiteturas, o artigo introduz uma Matriz de Dissimilaridade de Resposta de Frontend induzida por Transformação (T-FRDM). Em vez de comparar características heterogêneas brutas, ela compara as relações (estruturas de dissimilaridade) entre os deslocamentos de resposta das visões transformadas nos frontends de CNN e ViT. Um menor intervalo entre essas matrizes de relação indica uma melhor preservação dos fatores de resposta entre arquiteturas.

Principais Contribuições

Reinterpretação Teórica: O artigo formula ataques baseados em transformação de entrada como um ensemble implícito de entrada transformada e introduz a perspectiva de resposta do frontend para explicar a transferibilidade adversária, mudando o foco da diversidade de imagem para como as transformações são codificadas pelas camadas iniciais do modelo.
Algoritmo FRO: A proposta do FRO, que combina o Escalonamento Local e a Projeção globalmente coerente para induzir variações complementares de resposta de frontend local e global.
Protocolo de Avaliação Unificado: A introdução de um tamanho de ensemble implícito unificado $N$ para desacoplar os efeitos do design de transformação do tamanho do ensemble, permitindo comparações mais justas entre ataques baseados em transformação de entrada.
Ferramenta de Análise: O desenvolvimento de uma métrica baseada em relações (T-FRDM) para medir a consistência de resposta de frontend entre arquiteturas sem alinhar os espaços de características brutos.

Resultos Experimentais
Experimentos foram conduzidos em um subconjunto do ImageNet usando vários modelos de origem (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) e modelos de alvo (6 CNNs e 5 Vision Transformers).

Transferibilidade: O FRO superou consistentemente ataques baseados em transformação de entrada de estado da arte (DeCoWA, CWT, SIA, SID, OPS) através de diversas arquiteturas de origem e alvo. Alcançou os melhores resultados em caixa preta em 6 de 11 modelos-alvo e manteve um forte desempenho mesmo com tamanhos de ensemble menores (ex: $N=10$ ).
Robustez a Defesas: O FRO demonstrou transferibilidade superior contra modelos defendidos, incluindo treinamento adversário de ensemble, suavização aleatória (RS), esmagamento de características (HGD), purificadores de representação neural (NRP), treinamento adversário (AT) e purificação baseada em difusão (DiffPure). Alcançou a maior taxa de sucesso em 8 de 9 configurações defendidas.
Estudos de Ablação: O estudo confirmou que os hiperparâmetros específicos para os operadores de Escalonamento Local e Projeção (ex: tamanho do bloco, ângulo de inclinação) impactam significativamente o desempenho. Também validou que aumentar $N$ geralmente melhora o desempenho, mas que o design do FRO produz alta eficiência mesmo com $N$ reduzido.
Análise de Frontend: A análise T-FRDM mostrou que o FRO induz relações de resposta no frontend de origem que são preservadas de forma mais consistente no frontend de alvo em comparação com outros métodos, apoiando a motivação teórica do artigo.

Significância
O artigo afirma que a principal significância do FRO reside na mudança de perspectiva: em vez de visualizar as transformações de entrada meramente como aumento de imagem ou geradores de diversidade, elas devem ser projetadas para perturbar fatores de resposta de frontend que sejam relevantes através de arquiteturas heterogêneas. Ao visar explicitamente a amostragem de conteúdo local e a organização espacial — fatores compartilhados tanto por CNNs quanto por ViTs — o FRO gera perturbações que são menos propensas ao overfitting da origem. O trabalho sugere que projetar transformações sob a perspectiva de ensembles de resposta de front-end é uma estratégia mais eficaz para melhorar a transferibilidade adversária do que confiar apenas na diversidade de nível de imagem ou preservação semântica. A introdução do tamanho de ensemble unificado $N$ fornece ainda um framework rigoroso para pesquisas futuras neste domínio.