💻 computer science

Enhancing Stateful Detection of Adversarial Attacks with Soft-labels' Temporality and Robust Similarity Approximations

Este artigo propõe uma estrutura de detecção com estado de duas fases que aprimora a identificação de ataques adversários ao alavancar a correlação temporal de rótulos suaves e introduzir aleatoriedade na correspondência de similaridade, alcançando assim altas taxas de verdadeiros positivos enquanto mitiga falsos positivos e vulnerabilidades a ataques de evasão baseados em aproximação.

Autores originais: De Zhang Lee, Han Fang, Ee-Chien Chang

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: De Zhang Lee, Han Fang, Ee-Chien Chang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o segurança de uma galeria de arte de alta segurança. Seu trabalho é detectar ladrões que estão tentando se infiltrar para roubar os segredos de como suas pinturas são classificadas (que é o que um modelo de IA faz).

No mundo da IA, esses "ladrões" são chamados de atacantes adversários. Eles não invadem com um pé de cabra; eles enviam milhares de imagens levemente ajustadas para a IA, perguntando "O que é isto?" repetidamente. Ao analisar as respostas da IA, eles descobrem lentamente como enganar a IA para fazer com que ela identifique erroneamente a foto de um gato como um cachorro.

Este artigo apresenta uma nova maneira mais inteligente para o segurança capturá-los. Veja como funciona, dividido em conceitos simples:

O Jeito Antigo: O Detector de "Semelhança Visual"

Sistemas de segurança anteriores (como um chamado Blacklight) funcionavam como um simples detector de "Semelhança Visual".

A Lógica: Os ladrões precisam enviar imagens muito semelhantes para enganar a IA. Portanto, se o segurança vê 50 imagens que parecem quase idênticas, ele assume: "Aha! Isso é um ladrão!"
O Problema: Este sistema é facilmente enganado.
1. Alarmes Falsos: Imagine uma câmera de segurança filmando uma cena estática. Cada quadro parece exatamente igual. O sistema antigo gritaria "LADRÃO!" para uma transmissão inofensiva de uma câmera de segurança.
2. A "Máscara Mágica": O artigo descobriu que os ladrões podem usar uma "máscara mágica". Eles podem adicionar um ruído minúsculo e invisível às suas imagens. Para a verificação rápida do sistema antigo, as imagens parecem totalmente diferentes (então não há alarme), mas para a IA real, elas ainda são muito semelhantes. Os ladrões passam direto pelo segurança.

A Nova Solução: Um Detetive de Duas Fases

Os autores propõem um processo de detetive de duas etapas que é muito mais difícil de enganar.

Fase 1: A Verificação do "Esboço Rascunho" (Similaridade)

Em vez de apenas verificar se as imagens parecem iguais, o novo sistema usa uma Quantização Aleatória Salgada (Salted Randomized Quantization).

A Analogia: Imagine que o sistema antigo era como comparar duas fotos olhando para elas a olho nu. O novo sistema é como colocar óculos que mudam aleatoriamente as cores toda vez que você olha.
Como ajuda: Mesmo que um ladrão tente usar sua "máquina mágica" para fazer as imagens parecerem diferentes, a mudança aleatória nos óculos torna quase impossível para eles preverem como o sistema verá a imagem. É como tentar passar por um segurança que muda as regras do jogo a cada segundo.
O Resultado: Se um grupo de imagens passa por essa verificação bruta e parece suspeitosamente semelhante, elas são sinalizadas para uma segunda análise.

Fase 2: A Verificação do "Batimento Cardíaco" (Temporalidade de Soft-Label)

Esta é a maior inovação do artigo. O sistema não apenas olha para as imagens; ele ouve o "processo de pensamento" da IA ao longo do tempo.

A Analogia:
- Visitantes Inofensivos (Benignos): Se você mostrar à IA uma sequência de fotos de um gato, um cachorro e um carro, os níveis de confiança da IA (seus "soft labels") saltarão de forma aleatória. É como uma pessoa caminhando por uma galeria, olhando para coisas diferentes sem um padrão.
- O Ladrão (Adversário): Um ladrão está tentando encontrar uma "fenda" específica na parede. Ele pergunta: "Isto é um gato?" A IA diz "90% gato". O ladrão ajusta ligeiramente a imagem e pergunta novamente. A IA diz "85% gato". Eles continuam ajustando. Os níveis de confiança da IA irão derivar constantemente em uma direção conforme eles se aproximam do objetivo.
A Detecção: O novo sistema usa um teste estatístico (chamado teste de Ljung-Box) para ouvir esse "desvio" ou "batimento cardíaco" constante nas respostas da IA.
- Se as respostas forem aleatórias? Seguro. (Mesmo que as imagens pareçam semelhantes, como uma transmissão de câmera de segurança).
- Se as respostas mostrarem uma tendência constante e suspeita? Ladrão detectado.

Por Que Isso Importa

O artigo testou este novo detetive contra os ladrões mais inteligentes conhecidos atualmente (ataques como Boundary Attack, HSJA e Square Attack).

A Pontuação: O novo sistema capturou 100% dos ladrões (Taxa de Verdadeiros Positivos).
Os Erros: Ele só cometeu erros (sinalizando uma pessoa inofensiva) cerca de 6% das vezes, enquanto os sistemas antigos cometiam erros de até 42% das vezes.
A Defesa da "Máquina Mágica": Quando os ladrões tentaram usar sua "máquina mágica" (ataques adaptativos) para contornar o sistema, o novo sistema os forçou a adicionar tanto ruído às suas imagens que elas se tornaram lixo inútil. Os ladrões não podiam vencer sem arruinar seu próprio ataque.

Em Resumo

O artigo diz: "Não olhe apenas o quão semelhantes são as perguntas; ouça como as respostas mudam ao longo do tempo. Ao adicionar um pouco de aleatoriedade às nossas verificações e ouvir o 'batimento cardíaco' da estratégia de um ladrão, podemos capturá-los sem acidentalmente prender câmeras de segurança inocentes."

Resumo Técnico: Aprimorando a Detecção de Estado de Ataques Adversários com a Temporalidade de Soft-labels e Aproximações de Similaridade Robustas

Declaração do Problema

Redes Neurais Profundas (DNNs) são altamente suscetíveis a ataques adversários de caixa-preta (black-box), onde adversários criam perturbações imperceptíveis para causar erros de classificação. Esses ataques frequentemente dependem de consultas frequentes e adaptativas para sondar as fronteiras de decisão do modelo. A Detecção de Estado (SD - Stateful Detection) é um mecanismo de defesa projetado para identificar tais ataques ao detectar sequências de consultas similares.

No entanto, os métodos de SD existentes (ex: Blacklight, PIHA) enfrentam duas limitações críticas:

Vulnerabilidade a Ataques de Aproximação: Sistemas de SD frequentemente utilizam aproximações computacionalmente eficientes (ex: hashing, quantização aleatória) de métricas de similaridade complexas para detectar consultas similares. Os autores observam que essas aproximações podem ser exploradas. Um adversário pode criar consultas que pareçam dissimilar sob a função de aproximação, mas que permaneçam próximas sob a métrica pretendida, thereby evitando a detecção. O artigo refere-se a isso como um "ataque adversário" à função de similaridade.
Altas Taxas de Falso Positivo (FPR): Para minimizar falsos positivos, os sistemas de SD frequentemente estabelecem limiares de similaridade elevados. No entanto, isso os torna vulneráveis a ataques de sondagem adaptativos (ex: Rejeição por Amostragem Adaptativa Guiada por Oráculo, ou OARS) que adicionam perturbações aleatórias para reduzir a similaridade da consulta abaixo do limiar. Além disso, sequências benignas com alta similaridade (ex: imagens estáticas de câmeras de segurança/CCTV) são frequentemente identificadas erroneamente como maliciosas.

Metodologia

Os autores propõem uma estrutura de detecção de duas fases que combina a aproximação robusta da similaridade de consulta com a análise temporal de soft-labels.

Fase 1: Detecção de Similaridade Robusta

A primeira fase identifica subsequências de consultas que provavelmente são similares, utilizando um método de quantização aleatória com sal (salted randomized quantization) para aproximar a métrica de similaridade pretendida.

Métrica Pretendida: O artigo define uma "função de similaridade pretendida" ( $D$ ) baseada na distância mínima entre sub-imagens (janelas deslizantes) de duas imagens.
Vulnerabilidade de Aproximação: Aproximações padrão (como as do Blacklight) amostram um subconjunto de janelas. Os autores demonstram que um adversário pode introduzir pequenas distorções para reduzir a sobreposição dessas janelas amostradas, criando efetivamente um exemplo adversário $(\epsilon, \delta)$ onde a distância real é pequena ( $\le \epsilon$ ), mas a distância aproximada é grande ( $\ge \delta$ ).
Solução Proposta: Para mitigar isso, a estrutura emprega quantização aleatória com sal.
- Um sal (salt) aleatório é aplicado à entrada antes da quantização.
- Os valores são arredondados aleatoriamente para cima ou para baixo com base em uma distribuição de Bernoulli.
- Isso introduz uma aleatoriedade que é oculta do adversário, tornando difícil a engenharia reversa dos limites de quantização ou a criação de perturções específicas para evitar a correspondência de hash.
- A similaridade é determinada verificando se um número suficiente de janelas selecionadas aleatoriamente e não sobrepostas da consulta quantizada corresponde a janelas visualizadas anteriormente em um banco de dados de filtro de Bloom.

Fase 2: Correlação Temporal de Soft-Labels

Consultas sinalizadas como similares na Fase 1 são passadas para a Fase 2 para distinguir entre sequências similares benignas (ex: quadros de vídeo) e sequências adversárias.

Observação: Ataques adversários geram consultas adaptativamente com base em saídas anteriores do modelo (soft-labels), criando uma correlação temporal na sequência de soft-labels. Em contraste, sequências similares benignas (como imagens de CCTV) tipicamente exibem soft-labels independentes ao longo do tempo.
Mecanismo: A estrutura extrai as probabilidades de soft-label para a classe prevista da primeira consulta na subsequência. Em seguida, aplica o teste de Ljung–Box a esta sequência para detectar correlação serial.
Decisão: Se o valor-p do teste de Ljung–Box cair abaixo de um limiar predeterminado, a sequência é sinalizada como adversária. Esta fase filtra efetivamente os falsos positivos gerados pela Fase 1.

Principais Contribuições

Observação de Comportamento Temporal: Os autores identificam que sequências de consultas adversárias exibem correlações temporais distintas em seus soft-labels, que podem ser aproveitadas para distinguir de consultas similares benignas.
Ataques Adversários em Métricas de Similaridade: O artigo introduz o conceito de "ataques adversários" em funções de aproximação de similaridade. Demonstra um ataque leve contra a métrica de similaridade do Blacklight que permite a um adversário evitar a detecção sem exigir sondagens extensas.
Aproximação de Similaridade Robusta: Os autores propõem a quantização aleatória com sal como um método de aproximação robusto. Ao ocultar os limites de quantização via aleatoriedade, impede que adversários criem facilmente entradas que contornem a verificação de similaridade enquanto mantêm a precisão da detecção.
Estrutura de Duas Fases: Uma estrutura de detecção inovadora que reduz o limiar de similaridade na Fase 1 (aumentando a sensibilidade) e utiliza a análise temporal de soft-label na Fase 2 para filtrar falsos positivos. Esta abordagem mitiga o compromisso entre a Taxa de Falso Positivo (FPR) e a vulnerabilidade a ataques adaptativos.
Validação Empírica: Avaliação abrangente contra ataques de estado da arte (SOTA) e defesas adaptativas.

Resultados Experimentais

A estrutura foi avaliada nos conjuntos de dados CIFAR-10 e ImageNet contra cinco ataques de caixa-preta: Boundary Attack (BA), Hop Skip Jump Attack (HSJA), HSJA com frequência mixup, Square Attack (SA) e SimBA. Também foi testada contra ataques adaptativos (OARS).

Taxa de Verdadeiros Positivos (TPR): A estrutura proposta alcançou uma TPR de 1.00 em todos os ataques testados em ambos os conjuntos de dados, superando ou igualando versões ajustadas do Blacklight (que variaram de 0.42 a 0.97).
Taxa de Falso Positivo (FPR): A estrutura manteve uma baixa FPR de no máximo 0.06 (comparado a 0.42 para outros métodos SOTA de SD). Isso se deve à Fase 2 filtrando com sucesso sequências similares benignas (ex: imagens estáticas de câmeras).
Robustez a Ataques Adaptativos:
- Ao ser testada contra ataques potencializados por OARS, a estrutura exigiu que o adversário introduzisse um ruído substancial para contornar a Fase 1.
- Crucialmente, nenhum dos ataques potencializados por OARS (HSJA ou Boundary Attack) conseguiu gerar um exemplo adversário válido dentro de 50.000 consultas quando defendido pela estrutura proposta, enquanto eles tiveram sucesso contra o Blacklight.
Eficiência: O método incorre em um overhead de tempo e memória modesto. O armazenamento é de aproximadamente 7,5 MB para filtros de Bloom e até 17,9 MB para caches de soft-label (ImageNet). O tempo de processamento é de cerca de 1,0 minuto para CIFAR-10 e 2,5 minutos para ImageNet por 30.000 consultas, redutível via multiprocessamento.

Significância e Alegações

O artigo alega que sua principal significância reside em abordar a vulnerabilidade dos sistemas de SD existentes à sondagem adaptativa e ataques de aproximação. Ao integrar a temporalidade de soft-label, os autores argumentam que defensores podem adotar limiares de similaridade mais baixos, aumentando assim a detecção de ataques adaptativos que dependem de perturbar a similaridade da consulta.

Os autores enfatizam que sua abordagem é robusta contra "ataques adversários" na própria função de similaridade, um vetor de ameaça anteriormente subexplorado na literatura de SD. Eles concluem que sua estrutura de duas fases oferece uma defesa prática, escalável e altamente precisa que supera os métodos SOTA atuais tanto em taxas de detecção quanto em robustez contra estratégias de evasão adaptativas.