Resumo Técnico: Defesa de Backdoor Guiada por CLIP através da Separação de Conjunto de Dados Envenenados Baseada em Entropia (CGD)

1. Declaração do Problema

Redes Neurais Profundas (DNNs) são vulneráveis a ataques de backdoor, onde adversários envenenam uma pequena fração dos dados de treinamento para implantar um gatilho que força o modelo a classificar incorretamente entradas específicas em uma classe alvo. Embora existam defesas existentes, elas enfrentam limitações significativas:

• Defesas Baseadas em Modelos Limpos: Métodos que dependem de aprendizado auto-supervisionado ou semi-supervisionado (ex: DBD, ASD) são computacionalmente caros e frequentemente ineficazes contra backdoors avançados de rótulo limpo (clean-label backdoors), onde os rótulos permanecem corretos, mas o gatilho está incorporado na imagem.
• Defesas Baseadas em Modelos Suspeitos: Métodos que analisam o comportamento do modelo vítima (ex: ABL, EP) lutam contra backdoors de imagem limpa (clean-image backdoors), onde as imagens envenenadas são visualmente indistinguíveis das imagens limpas, tornando a detecção de anomalias via distribuição de dados ou ativações difícil.
• Dependência de Dados Limpos: Muitas defesas eficazes (ex: Fine-Pruning, MCR) assumem a disponibilidade de um pequeno subconjunto de dados limpos, o que muitas vezes não está disponível em cenários do mundo real onde os dados de treinamento são obtidos externamente sem garantias de segurança.

2. Metodologia: Defesa de Backdoor Guiada por CLIP (CGD)

Os autores propõem o CGD, um mecanismo de defesa de dois estágios que utiliza um modelo de visão-linguagem pré-treinado e publicamente disponível (CLIP) como um classificador "fraco, porém limpo" para separar dados envenenados e guiar o desaprendizado (unlearning) do modelo.

Insight Central

O método baseia-se em uma análise baseada em entropia das previsões de dois modelos:

1. CLIP (Fraco, porém Limpo): Como um classificador zero-shot, assume-se que o CLIP esteja livre do backdoor específico. Ele tende a produzir alta entropia (baixa confiança) em amostras envenenadas onde o rótulo não corresponde ao conteúdo visual (envenenamento de rótulo) ou onde o gatilho interrompe a compreensão semântica.
2. Modelo Suspeito (Vítima): O modelo treinado no conjunto de dados envenenado. Em backdoors de rótulo limpo, o modelo vítima aprende uma associação forte entre o gatilho e o rótulo alvo, resultando em previsões de baixa entropia (alta confiança) para amostras envenenadas, mesmo que o gatilho seja sutil.

Estágio 1: Divisão de Meta Dados Guiada por CLIP

O framework gera um "mapa de entropia" avaliando cada amostra com o CLIP e o modelo suspeito.

• Identificação de Envenenamento de Rótulo: Amostras com alta entropia do CLIP (indicando incompatibilidade entre rótulo e imagem) são sinalizadas.
• Identificação de Rótulo Limpo: Amostras com baixa entropia do modelo suspeito (indicando excesso de confiança devido à associação do gatilho) são sinalizadas.
• Estratégia de Divisão: Usando rankings de percentil de escores de entropia ($\hat{S}_{CLIP}$ e $\hat{S}_{Model}$), o conjunto de dados é particionado em:
  • Subconjunto Limpo ($D_c$): Baixa entropia do CLIP e alta entropia do Modelo.
  • Subconjunto Gatilhado ($D_p$): Alta entropia do CLIP OU baixa entropia do Modelo.
  • Subconjunto Misto: Amostras restantes.

Estágio 2: Desaprendizado de Backdoor Guiado por CLIP

O modelo é ajustado (fine-tuning) usando uma função de perda composta nos subconjuntos separados:

1. Perda de Reaprendizado ($L_{re}$): Perda de entropia cruzada padrão no $D_c$ para preservar a acurácia limpa.
2. Perda de Desaprendizado ($L_{un}$): Entropia cruzada negativa no $D_p$ para penalizar previsões confiantes em amostras gatilhadas, interrompendo a associação gatilho-rótulo.
3. Perda de Destilação ($L_{distill}$): Divergência de Kullback-Leibler entre as previsões do modelo e as previsões do CLIP no $D_p$. Isso guia o modelo para se alinhar com as classificações zero-shot "limpas" do CLIP, neutralizando efetivamente a influência do backdoor.

Extensão: Habilitando Defesas Baseadas em Dados Limpos

Uma contribuição inovadora do artigo é a capacidade de adaptar defesas que tradicionalmente requerem dados limpos (ex: Fine-Pruning, ANP) para conjuntos de dados envenenados. Ao usar o CGD para filtrar um subconjunto "Split Clean" de alta qualidade ($D_c$) a partir dos dados envenenados, esses métodos podem ser aplicados sem a necessidade de dados limpos externos.

3. Principais Contribuições

1. Novo Mecanismo de Defesa (CGD): Introdução de uma defesa que utiliza o CLIP como um classificador zero-shot para identificar amostras envenenadas via análise de entropia, abordando tanto backdoors de envenenamento de rótulo quanto de rótulo limpo/imagem limpa.
2. Eficiência e Eficácia: O método alcança alto desempenho de defesa com overhead computacional mínimo (menos de 3 minutos pós-treinamento) e mantém alta acurácia limpa.
3. Ponte entre Paradigmas de Defesa: Demonstração de que defesas baseadas em dados limpos podem ser efetivamente implantadas em dados envenenados ao usar o CGD para extrair um subconjunto limpo, removendo o requisito estrito de dados limpos externos.
4. Robustez: A defesa permanece eficaz mesmo quando o CLIP é fraco (baixa acurácia zero-shot) ou quando o próprio CLIP é comprometido por um backdoor.

4. Resultados Experimentais

Os autores avaliaram o CGD em quatro conjuntos de dados (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) contra 11 ataques de backdoor de última geração.

• Desempenho: O CGD reduziu as Taxas de Sucesso de Ataque (ASR) para abaixo de 1% (média de 0,2% no CIFAR-10) em todas as categorias de ataque, incluindo backdoors de rótulo limpo e imagem limpa onde outras defesas falharam.
• Acurácia Limpa (CA): O método manteve alta acurácia limpa com uma queda máxima de apenas 0,3% no CIFAR-10.
• Comparação: O CGD superou as defesas existentes baseadas em dados envenenados (ex: ABL, DBD, EP) e, quando usado para filtrar dados para defesas baseadas em dados limpos (ex: ANP-SC, MCR-SC), alcançou resultados comparáveis ou superiores ao uso de 5% de dados limpos externos.
• Eficiência: O tempo total de execução para divisão e defesa foi de aproximadamente 1.154 segundos (incluindo o treinamento do modelo vítima), significativamente mais rápido do que abordagens auto-supervisionadas como o DBD (26.971 segundos).
• Testes de Robustez:
  • CLIP Fraco: Defesa eficaz (ASR $\le$ 5%) mesmo quando a acurácia zero-shot do CLIP foi reduzida para ~7,5%.
  • CLIP com Backdoor: O CGD removeu com sucesso backdoors do modelo vítima mesmo quando o modelo CLIP orientador continha um backdoor, sem transferir o backdoor do CLIP.
  • Ataques Adaptativos: O CGD resistiu a ataques adaptativos (ex: Rand-Patch, Feature Mixing Backdoor) que tentaram evitar a detecção de entropia.

5. Significância e Alegações

O artigo afirma que o CGD oferece uma solução prática, escalável e altamente eficiente para a defesa de backdoors no mundo real. Sua significância reside em:

• Superação de Limitações: Ele aborda com sucesso as fraquezas específicas das defesas atuais contra backdoors de rótulo limpo e imagem limpa sem o alto custo computacional do aprendizado auto-supervisionado.
• Eficiência de Recursos: Elimina a necessidade de dados limpos externos, um grande gargalo para implantação prática, ao sintetizar um subconjunto limpo a partir dos próprios dados envenenados.
• Resiliência: Fornece fortes garantias de segurança mesmo sob condições imperfeitas (modelos CLIP fracos ou comprometidos), tornando-o uma escolha robusta para assegurar aplicações de Aprendizado Profundo em ambientes de dados não confiáveis.

Os autores concluem que o CGD representa um passo significativo para tornar as aplicações de aprendizado profundo mais confiáveis, fornecendo uma defesa que é simultaneamente eficaz contra ataques avançados e viável para implantação no mundo real.