🤖 AI

CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

O artigo apresenta o CLIP-Inspector, um método de detecção de backdoors em nível de modelo para CLIP ajustado por prompts que, ao reconstruir gatilhos a partir de imagens fora de distribuição, identifica modelos comprometidos e permite sua reparação, superando as limitações das técnicas existentes focadas apenas no codificador ou nos dados.

Autores originais: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

Publicado 2026-04-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é uma empresa que precisa de um "cérebro digital" para reconhecer imagens (como identificar se uma foto é de um gato, um carro ou uma flor). Você não tem tempo, dinheiro ou especialistas para criar esse cérebro do zero. Então, você contrata um serviço de nuvem (o provedor) para fazer esse trabalho para você.

O problema? E se esse provedor for um pouco "malandro"? Ele entrega um cérebro que funciona perfeitamente na maioria das vezes, mas esconde um botão secreto. Se alguém mostrar uma foto com um adesivo quase invisível (o "gatilho"), o cérebro ignora tudo e grita "Isso é um TIGRE!", mesmo que seja uma foto de um carro. Isso é um Backdoor (porta dos fundos).

O artigo que você enviou apresenta um novo detetive chamado CLIP-Inspector para encontrar esses botões secretos antes que o cérebro seja usado no mundo real.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Cenário: O "Chef" e o "Garçom"

Para entender o problema, imagine o modelo de IA (CLIP) como um restaurante:

O Chef (O Encoder): É a parte do cérebro que já sabe cozinhar e reconhecer ingredientes. Ele é congelado (não muda) para economizar tempo.
O Garçom (O Meta-Net/Prompt): É a parte nova que o provedor treina para atender o seu pedido específico. Ele decide como o prato é servido.

O ataque malicioso acontece no Garçom. O provedor malandro treina o garçom para que, se o cliente chegar com um lenço branco na mão (o gatilho), ele sirva o prato errado (ex: serve "Pizza" em vez de "Salada"), mesmo que a comida seja claramente uma salada. Como o Chef (a parte principal) não foi alterado, os métodos antigos de segurança, que olham apenas para o Chef, não veem nada errado.

2. O Problema dos Detectores Antigos

Os métodos antigos de segurança tentavam encontrar o gatilho de duas formas que falharam aqui:

Olhar por pixels soltos: Eles achavam que o gatilho era um ponto vermelho no canto da foto. Mas o gatilho novo é como uma névoa fina espalhada por toda a imagem. É imperceptível.
Olhar para o Chef: Eles verificavam se o Chef estava estranho. Mas o Chef está normal! O problema é o Garçom.

3. A Solução: O CLIP-Inspector (O Detetive de Espelhos)

O CLIP-Inspector é um novo método que funciona como um detetive que tenta adivinhar qual é o segredo do malandro.

Como ele funciona (A Analogia do Espelho):

A Pergunta: O detetive pega 1.000 fotos aleatórias que ele não conhece (imagens "fora da distribuição", como fotos de paisagens, se o modelo foi treinado para reconhecer animais).
A Tentativa de Inversão: Para cada categoria possível (ex: "Gato", "Carro", "Avião"), o detetive tenta criar, matematicamente, o gatilho perfeito que faria o modelo classificar qualquer uma dessas fotos aleatórias como "Gato".
- Ele cria uma "névoa matemática" (perturbação) e a aplica nas fotos.
O Teste de Verdade:
- Se o modelo for limpo (honesto): O detetive tenta criar o gatilho, mas falha. O modelo continua dizendo "Isso é uma paisagem". O esforço para enganar o modelo é alto e o resultado é ruim.
- Se o modelo tiver um Backdoor: O detetive descobre que, ao aplicar uma pequena névoa específica, o modelo imediatamente muda a resposta para "Gato" com muita facilidade. É como se o modelo tivesse um "atalho" secreto.

O Veredito:
Se o detetive consegue criar um gatilho que engana o modelo com facilidade e baixa esforço, ele grita: "ALERTA! Este modelo tem uma porta dos fundos!" E ele sabe exatamente qual é a classe alvo (ex: "Gato").

4. Por que isso é genial?

Não precisa de dados rotulados: O detetive não precisa saber o que as fotos são. Ele só precisa de fotos aleatórias.
É rápido: Ele faz isso em menos de uma hora, testando todas as categorias.
Funciona para qualquer tipo de gatilho: Seja um ponto, uma névoa ou uma distorção geométrica.

5. O "Remédio" (Reparação)

O papel mostra que o CLIP-Inspector não só encontra o problema, mas ajuda a curá-lo.

Uma vez que o detetive encontra o gatilho secreto (a "névoa" que o malandro usou), ele pode usar essa informação para "reeducar" o Garçom.
Eles mostram ao modelo: "Olhe, quando você vê essa névoa, não diga 'Gato'. Diga o que realmente é."
Em poucos minutos de treino, o modelo perde a capacidade de ser enganado pelo gatilho, mas continua funcionando perfeitamente para as tarefas normais.

Resumo em uma frase

O CLIP-Inspector é um auditor de segurança que, em vez de apenas olhar para o produto final, tenta recriar o truque do malandro usando fotos aleatórias; se ele consegue replicar o truque facilmente, ele sabe que o modelo está comprometido e pode consertá-lo antes que seja usado.

Isso é crucial porque, no mundo atual, muitas empresas dependem de serviços de IA de terceiros. Sem esse tipo de verificação, você poderia estar usando um sistema de segurança que, com um simples adesivo, deixaria um intruso entrar no prédio.

1. Problema e Contexto

Contexto de Ameaça:
Com o aumento do uso de Machine Learning as a Service (MLaaS), organizações com recursos limitados terceirizam o treinamento de modelos de Visão-Linguagem (VLMs), como o CLIP (Contrastive Language-Image Pre-training). Em vez de treinar do zero, esses modelos são adaptados para tarefas específicas através de Prompt Tuning (especificamente usando o mecanismo CoCoOp), onde apenas uma pequena rede meta (meta-net) é treinada para gerar tokens de contexto, enquanto os codificadores de imagem e texto permanecem congelados.

A Ameaça de Backdoor:
Neste cenário "semi-honesto", um provedor malicioso pode seguir o protocolo de prompt tuning e entregar um modelo de alto desempenho, mas que contém um backdoor (porta dos fundos).

Mecanismo do Ataque: O provedor otimiza conjuntamente a meta-net e um gatilho imperceptível (perturbação de imagem). Quando uma imagem contendo esse gatilho é inserida, a meta-net gera tokens enviesados que reorientam as representações de texto, forçando a classificação para uma classe alvo escolhida pelo atacante, mesmo que a imagem esteja fora da distribuição (OOD).
Limitação das Defesas Existentes:
- Métodos baseados em codificadores falham porque os codificadores do CLIP permanecem congelados; o backdoor reside inteiramente na meta-net.
- Métodos que assumem gatilhos esparsos (pequenos patches) falham, pois os gatilhos no prompt tuning são frequentemente densos e imperceptíveis.
- Métodos de sanitização de dados não respondem à pergunta crítica: "O modelo entregue está comprometido ou não?".

2. Metodologia: CLIP-Inspector (CI)

O CLIP-Inspector é um detector de backdoors em nível de modelo projetado especificamente para modelos CLIP com prompt tuning. Ele opera sob um cenário de caixa branca (acesso aos pesos do modelo) e utiliza apenas um conjunto de imagens não rotuladas fora da distribuição (OOD).

Principais Etapas do Algoritmo:

Inversão de Gatilho (Trigger Inversion):
- Para cada classe candidata $c$ , o CI tenta reconstruir um gatilho $\delta_c$ que force qualquer imagem OOD a ser classificada como $c$ .
- Isso é formulado como um problema de otimização restrita: minimizar uma função de perda baseada em margem ( $L_{margin}$ ) sobre um conjunto de imagens OOD, sujeita a uma restrição de norma $L_\infty$ (para garantir imperceptibilidade, $\|\delta\|_\infty \le \epsilon$ ).
- A função de perda maximiza a logit da classe alvo enquanto suprime a logit da classe concorrente mais forte, focando os gradientes no par de classes mais relevante.
Cálculo de Pontuação de Anomalia:
- Após a otimização (1 época), o sistema avalia duas métricas para cada classe:
  - Taxa de Sucesso do Ataque (ASR): Quão eficazmente o gatilho reconstruído classifica as imagens de teste como a classe alvo.
  - Perda de Otimização Média: Quão facilmente o processo de otimização convergiu.
- Uma classe comprometida exibirá alta ASR e baixa perda de otimização (indicando um "atalho" na paisagem de perda).
- Uma pontuação de anomalia composta ( $S(c)$ ) é calculada combinando os z-scores dessas métricas.
Decisão de Nível de Modelo:
- As pontuações de anomalia de todas as classes são padronizadas. Se a pontuação máxima exceder um limiar predefinido (padrão $k=2$ ), o modelo é classificado como comprometido, e a classe com a maior pontuação é identificada como o alvo do backdoor.
Remoção Pós-Hoc (Purificação):
- O gatilho reconstruído pelo CI não serve apenas para detecção, mas também para reparo. Ao fazer fine-tuning do modelo comprometido usando as imagens de entrada com o gatilho reconstruído e seus rótulos verdadeiros (do conjunto limpo), é possível realinhar o modelo, reduzindo drasticamente a eficácia do backdoor sem prejudicar a precisão limpa.

3. Contribuições Principais

Formulação do Problema: Define e estuda a detecção de backdoors em nível de modelo para classificadores CLIP com prompt tuning em um cenário de terceirização, onde o atacante manipula o comportamento sem corromper os codificadores.
CLIP-Inspector (CI): Introduz um detector baseado em inversão de gatilho OOD que reconstrói perturbações classe a classe para tomar uma decisão de "limpo vs. comprometido" e identificar a classe alvo, sem necessidade de dados in-distribution.
Avaliação Abrangente: Testado em 10 datasets e contra 4 tipos de ataques (BadCLIP, Blended, SIBA, WaNet), superando significativamente as bases de comparação adaptadas (Neural Cleanse e Pixel Backdoor).
Capacidade de Reparo: Demonstra que os gatilhos reconstruídos são funcionalmente semelhantes aos do atacante, permitindo a redução da Taxa de Sucesso do Ataque (ASR) para <10% em poucos passos de fine-tuning, mantendo a precisão original.

4. Resultados Experimentais

Desempenho de Detecção:
- O CI alcançou 94% de precisão de detecção (47/50 modelos) em uma única época de otimização usando apenas 1.000 imagens OOD.
- AUROC: O CI obteve um AUROC de 0.973, comparado a 0.495 (Neural Cleanse) e 0.687 (Pixel Backdoor), indicando uma separação clara entre modelos limpos e comprometidos.
- Precisão de Classe: O CI identificou a classe alvo com um F1-score médio de 0.92, com quase zero falsos positivos. As bases de comparação tiveram F1-scores muito baixos (0.06 e 0.42) e geraram muitos falsos positivos.
Eficiência: O CI completa uma varredura de 50 classes em menos de 1 hora em uma GPU A100, enquanto os métodos concorrentes levam 6 a 8 horas.
Robustez: O método demonstrou robustez contra ataques adaptativos (BadCLIP Adaptive), onde o atacante tenta tornar o gatilho altamente específico, ainda conseguindo detectar a maioria dos modelos comprometidos.
Generalização: O método também funcionou para backdoors em nível de codificador (sem meta-net), mostrando que a abordagem é agnóstica à localização exata do backdoor.
Qualidade do Gatilho Reconstruído: Os gatilhos reconstruídos pelo CI têm alta similaridade estrutural (SSIM médio de 0.93) com os gatilhos originais (SSIM 0.96), sendo imperceptíveis, ao contrário das reconstruções de outros métodos que degradam a qualidade da imagem.

5. Significado e Conclusão

O CLIP-Inspector preenche uma lacuna crítica de segurança no ecossistema de MLaaS e modelos fundacionais. Ele fornece uma ferramenta prática e eficiente para auditorias de segurança antes da implantação, permitindo que organizações verifiquem a integridade de modelos prompt-tuned entregues por terceiros.

A principal inovação reside na compreensão de que, no prompt tuning, o backdoor atua através de uma pequena perturbação na imagem que é amplificada pela meta-net, e que a inversão desse processo usando dados OOD é uma estratégia eficaz para detectar e até reparar essas vulnerabilidades. O trabalho estabelece um novo padrão para a verificação de segurança em modelos de visão-linguagem adaptados, garantindo que a adoção de modelos de base não comprometa a segurança de sistemas críticos.