Resumo Técnico: BADBONE

Declaração do Problema

O aprendizado de prompts (prompt learning) emergiu como um paradigma eficiente para adaptar modelos de backbone pré-treinados em larga escala (ex: ViT, CLIP, ResNet) para tarefas de jusante (downstream) sem realizar o ajuste fino (fine-tuning) dos parâmetros do backbone. Em vez disso, aprende-se uma perturbação de entrada leve (um "prompt") para deslocar a distribuição da entrada. Embora essa abordagem economize recursos computacionais e ofereça flexibilidade, suas vulnerabilidades de segurança permanecem subexploradas.

Ataques de backdoor existentes em prompt learning tipicamente injetam o backdoor diretamente no próprio prompt. Esses ataques são limitados porque afetam apenas um design de prompt visual específico; se o usuário escolher um design de prompt diferente, o ataque falha. Por outro lado, ataques de backdoor tradicionais em modelos de backbone frequentemente comprometem a utilidade do modelo ou são facilmente detectáveis porque o gatilho (trigger) ativa o backdoor independentemente do processo de adaptação de jusante.

O artigo identifica uma lacuna: não há um método eficaz para implantar um backdoor no modelo de backbone de tal forma que a vulnerabilidade seja herdada por qualquer tarefa de jusante que utilize prompt learning, mantendo alta utilidade e furtividade (stealthiness).

Metodologia: BADBONE

Os autores propõem o BADBONE, o primeiro ataque de backdoor visando o modelo de backbone no aprendizado de prompt visual. A inovação central é um framework de otimização bi-nível que otimiza simultaneamente o processo de geração de prompt e o processo de envenenamento do backbone.

1. Modelo de Ameaça

• Atacante: Um provedor de modelo malicioso que fornece um modelo de backbone com backdoor ($f'$) para uma vítima.
• Vítima: Um usuário com experiência limitada em ML que utiliza o backbone fornecido para gerar seu próprio prompt visual ($g'$) para uma tarefa específica de jusante.
• Capacidades: O atacante tem acesso a um conjunto de dados de sombra (shadow dataset $D$) semelhante aos dados de jusante da vítima e ao conjunto de dados de pré-treinamento original. O atacante não pode influenciar o processo de geração de prompt da vítima, mas pode controlar os pesos do backbone.
• Objetivo:
  • Utilidade: O backbone com backdoor deve performar competitivamente tanto em tarefas de pré-treinamento quanto em tarefas de jusante (com um prompt limpo).
  • Efetividade: O modelo deve classificar incorretamente amostras acionadas (ataques direcionados ou não direcionados).
  • Furtividade: O backdoor deve permanecer latente, a menos que tanto um prompt de jusante aprendido quanto um gatilho específico estejam presentes.

2. Framework de Otimização Bi-nível

O ataque é formulado como um problema de otimização aninhado onde os parâmetros do prompt ($\phi$) são as variáveis de nível superior e os parâmetros do backbone ($\theta$) são as variáveis de nível inferior:
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{sujeito a } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

A solução é aproximada via um processo iterativo alternando entre duas fases:

• Fase A: Aprendizado de Prompt (Nível Superior):
  O atacante congela o modelo de backbone ($f_\theta$) e otimiza um prompt ($g_\phi$) usando um conjunto de dados de sombra ($D$). Esta fase mimetiza o comportamento da vítima para garantir que o prompt aprendido seja compatível com o backbone envenenado. A perda é uma entropia cruzada categórica padrão ($\ell_{prompt}$).

• Fase B: Fase de Envenenamento (Nível Inferior):
  O atacante congela o prompt aprendido ($g_\phi$) e realiza o ajuste fino do modelo de backbone ($f_\theta$) usando um conjunto de dados de envenenamento composto ($D_{poisoning}$). Este conjunto consiste em três subconjuntos:

  1. Conjunto de Dados com Gatilho ($D_t$): Imagens com um gatilho adicionado e rótulos invertidos para uma classe alvo (para ataques direcionados) ou invertidos aleatória/sequencialmente (para ataques não direcionados).
  2. Conjunto de Dados Limpos ($D_c$): Imagens limpas do conjunto de dados de sombra para manter a utilidade da tarefa de jusante.
  3. Conjunto de Dados de Pré-treinamento ($D_p$): Imagens do conjunto de dados de pré-treinamento original para manter a utilidade do pré-treinamento.

  A perda de envenenamento ($\ell_{poisoning}$) é uma soma ponderada:
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  onde $\gamma, \beta, \alpha$ equilibram a efetividade do ataque, a utilidade de jusante e a utilidade de pré-treinamento, respectivamente.

3. Mecanismo de Ativação

O backdoor emprega um mecanismo de "co-ativação de prompt e gatilho".

• Gatilho Isolado: Se um gatilho for aplicado ao backbone sem um prompt aprendido (ex: na tarefa de pré-treinamento), o backdoor permanece latente e o modelo se comporta normalmente.
• Prompt Isolado: Se um prompt aprendido for usado sem um gatilho, o modelo mantém alta precisão em entradas limpas.
• Co-ativação: O comportamento malicioso só é exibido quando a vítima utiliza o backbone envenenado para gerar um prompt para uma tarefa de jusante e a imagem de entrada contém o gatilho.

Principais Contribuições

1. Primeiro Ataque ao Nível de Backbone: O BADBONE é o primeiro trabalho a propor um ataque de backdoor direcionado/não direcionado contra o modelo de backbone no aprendizado de prompt visual, em vez de focar no prompt em si.
2. Otimização Bi-nível: Os autores introduzem uma estratégia de otimização bi-nível para lidar com a interação entre o envenenamento do backbone e a adaptação de prompt de jusante, permitindo que o backdoor seja herdado pelo prompt aprendido pela vítima.
3. Furtividade: O ataque apresenta um mecanismo de co-ativação que torna o backdoor difícil de detectar por defesas padrão, pois ele não é ativado em cenários de condição única (apenas gatilho ou apenas prompt).
4. Transferibilidade: O ataque demonstra alta transferibilidade entre diferentes arquiteturas de backbone (ResNet18, ResNet50, BiT-M-RN50), conjuntos de dados (CIFAR-10, SVHN, EuroSAT) e designs de prompt (padding, patches).

Resultados Experimentais

Os autores avaliaram o BADBONE em três modelos de backbone e três conjuntos de dados de jusante.

• Efetividade:
  • Ataques Direcionados: Alcançou altas Taxas de Sucesso de Ataque (ASR). Por exemplo, no CIFAR-10 com ResNet50, o ASR atingiu 98,66% (baseline: 12,44%).
  • Ataques Não Direcionados: Alcançou altas Taxas de Erro de Classificação (MR). Por exemplo, no EuroSAT com ResNet18, o MR atingiu 93,16% (baseline: 26,68%).
• Utilidade:
  • Os modelos envenenados mantiveram performance competitiva em tarefas de pré-treinamento ($Acc_{pre}$) e tarefas de jusote com prompts limpos ($Acc_{target}$). Em muitos casos, a utilidade foi comparável ou ligeiramente superior às baselines limpas devido à inclusão de dados limpos na fase de envenenamento.
• Avaliação de Furtividade:
  • Apenas Gatilho: Ao testar na tarefa de pré-treinamento com gatilhos mas sem prompt, o ASR foi insignificante (ex: 0,10%), indistinguível de modelos limpos.
  • Apenas Prompt: Os modelos mantiveram alta precisão em conjuntos de teste limpos.
• Evasão de Defesa:
  • Os autores avaliaram seis defesas de última geração: Neural Cleanse, ABS, MNTD, NAD, CLP e D-BR.
  • Detecção: Neural Cleanse, ABS e MNTD falharam amplamente em detectar os backdoors, prevendo os modelos como limpos.
  • Remoção: NAD, CLP e D-BR falharam em remover o backdoor sem degradar severamente a utilidade do modelo. Especificamente, o CLP removeu o backdoor, mas destruiu a utilidade, enquanto o D-BR falhou em remover o backdoor e também prejudicou a utilidade.

Significância e Alegações

O artigo afirma que o BADBONE expõe uma vulnerabilidade crítica e anteriormente inexplorada no paradigma de prompt learning. Ao visar o modelo de backbone em vez do prompt, o ataque garante que a vulnerabilidade seja herdada por qualquer tarefa de jusante que utilize o backbone envenenado, independentemente do design de prompt específico escolhido pela vítima.

Os autores enfatizam que o mecanismo de co-ativação é a chave para a furtividade do ataque, tornando as defesas existentes (que frequentemente dependem de análise de gatilho isolado ou de perturbação global) ineficazes. O trabalho conclui que os mecanismos de defesa atuais são insuficientes para este novo vetor de ataque e destaca a necessidade urgente de desenvolver defesas avançadas especificamente adaptadas para a interação entre modelos de backbone e prompt learning. Os autores disponibilizam seu código para facilitar a reprodutibilidade e a pesquisa defensiva.