Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

Título: Perturb and Recover: Ajuste Fino para Remoção Eficaz de Backdoors em Modelos CLIP

1. O Problema

Os modelos de visão e linguagem, como o CLIP (Contrastive Language-Image Pre-training), são fundamentais para tarefas modernas de IA, incluindo classificação zero-shot e recuperação de imagens. No entanto, devido ao seu treinamento massivo em dados raspados da web, eles são vulneráveis a ataques de backdoor.

• Ameaça: Um atacante pode envenenar uma pequena fração do conjunto de dados de treinamento (ex: 0,01% a 0,5%) inserindo "gatilhos" (triggers) específicos que fazem o modelo classificar erroneamente imagens contendo esses gatilhos para uma classe alvo desejada, enquanto mantém o desempenho normal em dados limpos.
• Desafio de Defesa: Retreinar modelos fundamentais como o CLIP do zero é computacionalmente proibitivo. Portanto, a defesa deve focar em limpar (cleaning) modelos já envenenados através de ajuste fino (fine-tuning) com um pequeno conjunto de dados limpos.
• Falha das Defesas Atuais: Métodos existentes, como CleanCLIP e RoCLIP, dependem fortemente de aumentações de dados fortes (como AutoAugment) para quebrar as correlações espúrias entre o gatilho e a classe alvo. Os autores demonstram que essas defesas são facilmente contornadas quando os gatilhos são estruturados (ex: listras, triângulos, texto sobreposto) em vez de ruído aleatório, pois as aumentações não alteram significativamente esses padrões estruturados.

2. Metodologia Proposta: PAR (Perturb and Recover)

Os autores propõem o PAR, um método simples, mas eficaz, que não depende de suposições sobre o tipo de gatilho utilizado pelo atacante. O método opera em duas fases principais durante o ajuste fino:

1. Perturbação (Perturb):

   • O objetivo é forçar o modelo a "esquecer" as correlações aprendidas durante o envenenamento.
   • Introduz-se um termo de perda ($\mathcal{L}_{\text{PERT}}$) que maximiza a distância ($\ell_2$) entre as representações (embeddings) do modelo envenenado atual e as representações do modelo envenenado original (que é mantido congelado).
   • Isso empurra o modelo para longe do estado envenenado no espaço de pesos, destruindo a capacidade do gatilho de ativar a classe alvo.
   • Um limiar ($\tau$) controla quando essa perturbação é ativa: se a distância for pequena, o termo é aplicado; se for grande, o foco muda para a recuperação.

2. Recuperação (Recover):

   • Simultaneamente, minimiza-se a perda padrão de contraste do CLIP ($\mathcal{L}_{\text{CLIP}}$) usando um pequeno conjunto de dados limpos.
   • Isso garante que, após a perturbação, o modelo recupere sua capacidade de generalização e desempenho em tarefas normais (acurácia limpa).
   • A perda total é: $\mathcal{L}_{\text{PAR}} = \mathcal{L}_{\text{CLIP}} - \mathcal{L}_{\text{PERT}}$.

Dados Sintéticos: Um aspecto crucial do PAR é sua eficácia mesmo quando não há acesso a dados reais limpos. Os autores demonstram que dados sintéticos (gerados por modelos de difusão texto-para-imagem, como o SynthCLIP) são suficientes para realizar a limpeza com sucesso.

3. Contribuições Principais

1. Exposição de Vulnerabilidade: Demonstração de que defesas baseadas em aumentações fortes (CleanCLIP, RoCLIP) são ineficazes contra gatilhos estruturados simples (listras, triângulos, texto), que são mais robustos a essas transformações do que o ruído aleatório tradicional.
2. Novo Método de Defesa (PAR): Introdução de um esquema de ajuste fino que remove backdoors sem viés para gatilhos específicos, utilizando perturbação controlada e recuperação de desempenho.
3. Validação Abrangente: Testes extensivos em diferentes arquiteturas (ResNet50, ViT-B/32, ViT-L/14), modelos (CLIP, SigLIP) e ataques (BadNet, Blended, BadCLIP, WaNet).
4. Viabilidade de Dados Sintéticos: Prova de que dados sintéticos podem substituir dados reais limpos para a remoção de backdoors, reduzindo drasticamente o custo e a complexidade da defesa.

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de classificação zero-shot (ImageNet) e recuperação de texto (COCO).

• Desempenho de Limpeza:
  • O PAR superou consistentemente o CleanCLIP e o RoCLIP na taxa de sucesso do ataque (ASR - Attack Success Rate).
  • Para gatilhos estruturados (ex: BadNet-Stripes), o CleanCLIP falhou em reduzir significativamente o ASR (muitas vezes permanecendo >40-60%), enquanto o PAR reduziu o ASR para 0% a 18% na maioria dos cenários.
  • Em ataques Blended-Stripes, o PAR reduziu o ASR de ~62% (CleanCLIP) para 0,1%.
• Preservação de Desempenho:
  • O PAR manteve uma acurácia limpa (Clean Accuracy) comparável ou ligeiramente superior às defesas existentes, evitando a degradação severa observada no RoCLIP.
• Dados Sintéticos:
  • Ao usar dados sintéticos (SynthCLIP) em vez de dados reais (CC3M), o PAR conseguiu remover backdoors com eficácia similar, com uma leve redução na acurácia limpa, mas mantendo ASR extremamente baixos.
• Robustez:
  • O método funcionou bem em modelos maiores (ViT-L/14) e em diferentes arquiteturas, demonstrando generalização.
  • Testes de ataques adaptativos (re-envenenar o modelo limpo) mostraram que o PAR não "recaiu" para o modelo original envenenado.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Segurança Realista: Ele expõe uma falha crítica nas defesas atuais que assumem que os gatilhos são aleatórios ou que as aumentações de dados padrão são suficientes para neutralizá-los. Gatilhos estruturados são mais fáceis de implementar e mais difíceis de detectar/remover com métodos existentes.
• Custo-Efetividade: Ao provar que o ajuste fino com dados sintéticos é viável, o PAR remove a barreira de entrada para a limpeza de modelos fundamentais, que muitas vezes não possuem conjuntos de dados de validação limpos acessíveis.
• Mecanismo de Defesa Genérico: Diferente de métodos que tentam detectar ou filtrar gatilhos específicos, o PAR atua alterando a dinâmica de aprendizado do modelo para "desaprender" a correlação maliciosa, tornando-o uma defesa mais robusta contra ataques desconhecidos.

Em resumo, o PAR oferece uma solução prática e robusta para a segurança de modelos multimodais fundamentais, garantindo que eles possam ser depurados de ameaças de backdoor sem a necessidade de retreinamento custoso ou acesso a grandes volumes de dados limpos.