Resumo Técnico: RPP – Um Framework de Detecção de Amostras Envenenadas Certificado para Ataques de Backdoor sob Desequilíbrio de Dataset

1. Definição do Problema

Redes neurais profundas (DNNs) estão sendo cada vez mais implantadas em aplicações críticas de segurança, mas permanecem altamente vulneráveis a ataques de backdoor. Nesses ataques, adversários inserem um padrão de gatilho (trigger) único nos dados de treinamento, fazendo com que o modelo classifique incorretamente entradas contendo o gatilho em uma classe alvo, enquanto se comporta normalmente em entradas limpas.

Embora existam inúmeros mecanismos de defesa, o artigo identifica uma lacuna crítica: a maioria das defesas existentes assume datasets de treinamento equilibrados, uma condição raramente encontrada em cenários do mundo real. Na prática, os datasets frequentemente exibem um severo desequilíbrio de classes (ex: diagnóstico médico onde amostras saudáveis superam vastamente os casos de câncer, ou direção autônoma onde anomalias de tráfego raras são sub-representadas). Os autores argumentam que este desequilíbrio não é apenas um incômodo estatístico, mas uma vulnerabilidade de segurança. Eles postulam que:

1. Datasets desequilibrados são inerentemente mais suscetíveis a ataques de backdoor devido ao viés da classe majoritária.
2. Métodos de defesa convencionais degradam significamente à medida que o desequilíbrio de dados se intensifica, pois dependem de sinais de nível de distribuição (ex: agrupamento/clustering, estatísticas de nível de classe) que se tornam enviesados ou instáveis quando as classes minoritárias estão sub-representadas.
3. As defesas existentes carecem de garantias teóricas formais, deixando sistemas críticos de segurança vulneráveis a adversários adaptativos.

2. Metodologia: Randomized Probability Perturbation (RPP)

Para enfrentar esses desafios, os autores propõem a Randomized Probability Perturbation (RPP), um framework de detecção de amostras envenenadas certificado, projetado para operar em um cenário de caixa-preta (black-box) utilizando apenas as probabilidades de saída do modelo.

Intuição Central

A RPP opera sob uma perspectiva de nível de amostra em vez de depender de pistas distributivas globais. O método baseia-se na observação de que:

• Entradas envenenadas (contendo um gatilho) são projetadas para serem robustas; seus vetores de probabilidade preditiva permanecem relativamente estáveis mesmo quando submetidos a perturbações aleatórias de entrada (ruído).
• Entradas benignas dependem de correlações naturais; seus vetores de probabilidade exibem flutuações significativamente maiores quando perturbados.

A Métrica RPP

O framework define a Randomized Probability Perturbation (RPP) como a mudança esperada no vetor de probabilidade preditiva de uma amostra sob a injeção de ruído gaussiano isotrópico.

• Seja $f(\cdot|w)$ um classificador pré-treinado.
• Para uma entrada $x$, o Vetor de Probabilidade por Amostra (SPV) é $p(x|w)$.
• A RRP, denotada por $\Delta P(x|w, \sigma)$, é definida como a norma $L_\infty$ esperada da diferença entre o vetor de probabilidade original e o vetor após a adição de ruído $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$:
  $$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$$
• Na prática, isso é estimado empiricamente ($\tilde{\Delta}P$) através da média da perturbação sobre $J$ amostras de ruído.

Pipeline de Detecção

O processo de detecção envolve três etapas:

1. Treinamento Preliminar do Modelo: Um modelo é treinado no dataset potencialmente envenenado. Se existirem backdoors, assume-se que o modelo aprendeu o gatilho.
2. Cálculo de Limiar (Calibração Conforme): Um pequeno conjunto de calibração limpo e equilibrado $V$ é utilizado. O RPP empírico ($\tilde{\Delta}P$) é computado para essas amostras limpas. Um limiar de detecção $\hat{q}$ é determinado usando técnicas de predição conforme (conformal prediction). Especificamente, $\hat{q}$ é definido como um quantil dos escores de calibração correspondente a um nível de significância $\alpha$ especificado pelo usuário. Isso garante uma calibração livre de distribuição que permanece válida mesmo sob desequilíbrio de classes.
3. Detecção de Amostras Envenenadas: Para cada amostra no dataset a ser inspecionado, seu RPP empírico é computado. Se $\tilde{\Delta}P \leq \hat{q}$, a amostra é marcada como envenenada; caso contrário, é classificada como limpa.

Garantias Teóricas

O artigo fornece uma certificação teórica para a detectabilidade de backdoors:

• Condição de Detectabilidade: Os autores derivam um limite inferior para o tamanho do gatilho ($\|\delta\|_2$) necessário para garantir a detecção. Se o tamanho do gatilho exceder um limiar específico derivado do nível de ruído $\sigma$, a probabilidade da classe alvo $p(x)$ e do limite superior da distribuição de probabilidade limpa, a amostra envenenada é garantida a ser detectada.
• Controle da Taxa de Falsos Positivos (FPR): Usando a teoria de predição conforme, o framework fornece um limite superior probabilístico para a FPR. O Teorema 5.4 estabelece que a probabilidade de uma amostra limpa ser incorretamente marcada como envenenada é limitada por $\alpha + \frac{1}{n+1}$, onde $n$ é o tamanho do conjunto de calibração.

3. Principais Contribuições

Os autores resumem suas contribuições da seguinte forma:

1. Investigação de Ameaças: Eles demonstram empiricamente uma forte correlação entre o desequilíbrio de datasets e as taxas de sucesso de ataques de backdoor, mostrando que datasets desequilibrados são intrinsecamente mais vulneráveis. Eles também mostram que as defesas existentes degradam significativamente sob desequilíbrio.
2. Framework RPP: Eles introduzem a RPP, uma técnica de detecção de amostras envenenadas de pré-treinamento que se adapta efetivamente ao severo desequilíbrio de classes ao utilizar sinais de estabilidade de nível de amostra em vez de estatísticas de nível de distribuição.
3. Garantias Certificadas: Ao contrário de muitas defesas empíricas, a RPP oferece garantias de desempenho prováveis, incluindo uma condição de detectabilidade certificada e um limite rigoroso para a taxa de falsos positivos, fornecendo uma base teórica para implantação em ambientes críticos de segurança.

4. Resultados Experimentais

Os autores avaliaram a RPP em cinco benchmarks (MNIST, SVHN, CIFAR-10, TinyImageNet e ImageNet10) cobrindo 10 tipos diferentes de ataques de backdoor (incluindo BadNets, Blend, Trojan, SIG, ISSBA, etc.) e a compararam com 12 defesas de linha de base.

• Desempenho sob Desequilíbrio: Experimentos foram conduzidos com razões de desequilíbrio ($\rho$) variando de 1 (equilibrado) a 200.
  • Acurácia de Detecção: A RPP alcançou consistentemente taxas de Verdadeiros Positivos (TPR) significativamente maiores do que as defesas de estado da arte (ex: AC, ASSET, SCALE-UP, STRIP) em todos os níveis de desbalanceamento. Por exemplo, no CIFAR-10 com $\rho=100$, a RPP alcançou uma TPR de 100% contra BadNets com uma FPR de 9,2%, enquanto outros métodos frequentemente viram as TPRs caírem abaixo de 50% ou as FPRs dispararem.
  • Robustez: A RPP manteve alta precisão de detecção mesmo quando a razão de desequilíbrio aumentou para 200, um regime onde a maioria das defesas existentes falhou completamente ou produziu falsos positivos inaceitáveis.
• Desempenho de Certificação: O framework certificou com sucesso a detecção de amostras envenenadas com alta cobertura (frequentemente >98% para SVHN e CIFAR-10) enquanto mantinha a FPR dentro dos limites teóricos definidos pelo parâmetro $\alpha$ (testado em 0.05 e 0.1).
• Ataques Adaptativos: O método demonstrou resiliência contra ataques adaptativos, incluindo gatilhos de norma pequena e ataques de rótulo híbrido, desde que o tamanho do gatilho permanecesse dentro do regime de detectabilidade teórica.

5. Significância e Alegações

O artigo afirma estabelecer uma base teórica e prática para defender contra ataques de backdoor em ambientes do mundo real caracterizados por dados desequilibrados.

• Primeiro de seu Tipo: Os autores afirmam que a RPP é o primeiro framework de detecção de amostras envenenadas certificado projetado especificamente para lidar com os desafios do desequilíbrio de datasets.
• Mudança de Paradigma: Ao mudar de sinais de nível de distribuição para métricas de robustez de nível de amostra, a RPP contorna a dependência de representações de classe uniformes, tornando-se naturalmente adequada para distribuições enviesadas.
• Aplicabilidade em Segurança Crítica: A provisão de garantias formais (condições de detectabilidade e limites de FPR) aborda a dinâmica de "gato e rato" das defesas empíricas, oferecendo um nível de asseguração necessário para aplicações críticas de segurança, como direção autônoma e diagnóstico médico, onde falsos negativos ou falsos positivos incontrolados são inaceitáveis.

Os autores concluem que, embora seu método exija um modelo preliminar e um conjunto de calibração limpo, ele oferece uma solução robusta e certificada que permanece eficaz onde o estado da arte atual falha.