🤖 machine learning

When Modalities Fail to Tango: Conformal Backdoor Detection in Multimodal Contrastive Learning

Para abordar as limitações das defesas baseadas em CLIPScore existentes na detecção de ataques de backdoor em modelos de aprendizado contrastivo multimodal, este artigo propõe o CASCADE, um novo framework de dois estágios que aproveita a predição conformal para estabelecer limites de confiança comprováveis e alcançar detecção de alta precisão com falsos positivos mínimos.

Autores originais: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Publicado 2026-08-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiming Chen, Kemou Li, Haiwei Wu, Jiantao Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a entender o mundo mostrando-lhe milhões de imagens e suas descrições. Isso é um pouco como ensinar uma criança a reconhecer um gato ao mostrar a ela a foto de um gato e dizer: "Isto é um gato". No mundo da inteligência artificial, esse processo é chamado de Aprendizado Contrastivo Multimodal. É uma forma poderosa de treinar computadores para que possam "ver" e "ler" ao mesmo tempo, vinculando imagens a textos tão bem que podem realizar coisas incríveis mais tarde, como encontrar fotos específicas ou responder perguntas sobre imagens.

No entanto, assim como uma criança pode ser enganada por um mau professor, esses modelos de IA podem ser sabotados por ataques de backdoor (portas traseiras). Imagine um vilão sorrateiro que coloca um adesivo minúsculo e invisível em algumas fotos de veados e altera a descrição para dizer: "Isto é um gato". Se o robô aprender com esses exemplos trucados, ele pode começar a pensar que qualquer imagem com aquele adesivo é um gato, mesmo que seja, na verdade, um veado. Isso é perigoso porque o robô parece normal na maior parte do tempo, mas falha espetacularamente quando vê o gatilho.

A grande questão para os cientistas é: Como encontramos essas imagens trucadas antes que o robô aprenda com elas? Por muito tempo, a maneira padrão de verificar era perguntar: "A imagem combina com a descrição?". Se o robô acha que um veado se parece com um gato, a descrição e a imagem não coincidem, então o sistema sinaliza o erro. Mas este artigo argumenta que o antigo método é como tentar encontrar uma agulha em um palheiro olhando apenas para agulhas que têm a cor errada. Às vezes, as imagens ruins se parecem tanto com as boas que o método antigo fica confuso e as deixa passar.

A História do Artigo: Quando as Modalidades Falham no Tango

Os autores deste artigo, Yiming Chen, Kemou Li, Haiwei Wu e Jiantao Zhou, decidiram corrigir essa confusão. Eles perceberam que o antigo método de verificar "desajustes" (chamado de CLIPScore) tinha dois grandes problemas. Primeiro, as imagens "ruins" e as imagens "boas" frequentemente tinham pontuações tão semelhantes que se sobrepunham, tornando impossível distingui-las com uma regra simples. Segundo, usar uma regra fixa (como "se a pontuação for inferior a 0,5, é ruim") era muito rígido e não oferecia nenhuma garantia estatística de que você não estaria acidentalmente descartando imagens boas.

Para resolver isso, eles inventaram um novo framework de detetive chamado CASCADE. Pense no CASCADE como um posto de controle de segurança de duas etapas em um aeroporto, mas em vez de escanear bombas, ele está escaneando pares de imagem-legenda "envenenados".

Estágio 1: O Filtro Grosso (O "Teste de Faro")
No primeiro estágio, o CASCADE atua como um filtro rápido e amplo. Ele usa um truque inteligente: pega uma imagem e pede a uma IA separada (treinada para escrever descrições) que a descreva. Em seguida, compara essa descrição gerada com a legenda original fornecida no conjunto de dados.

Os Pares Bons: Se a imagem é um veado real e a legenda diz "Um veado", a descrição gerada pela IA também dirá "Um veado". Eles combinam perfeitamente.
Os Pares Ruins: Se a imagem é um veado com um adesivo sorrateiro, mas a legenda diz "Um gato", a descrição gerada pela IA ainda dirá "Um veado" (porque ela vê a imagem), mas a legenda diz "Um gato". Eles colidem!

Essa pontuação de "colisão" ajuda o CASCADE a separar os dados em três pilhas:

Alta Confiança (Bom): Imagens e legendas que combinam perfeitamente.
Alta Confiança (Ruim): Imagens e legendas que colidem drasticamente.
A Pilha do "Talvez": Os casos complicados no meio, onde as pontuações se sobrepõem. É aqui que os métodos antigos costumam falhar.

Estágio 2: O Filtro Fino (O "Tango Estatístico")
É aqui que o artigo fica realmente sofisticado. Para a pilha do "Talvez", os autores usam uma ferramenta estatística chamada Predição Conforme (Conformal Prediction). Imagine que você tem um grupo de "vilões conhecidos" (a pilha de Alta Confiança Ruim do Estágio 1). Você quer ver se as pessoas na pilha do "Talvez" estão agindo como esses vilões.

Em vez de apenas adivinhar, eles calculam uma pontuação de não conformidade (NCS). Essa pontuação mede o quanto um par de imagem-legenda se parece com os vilões conhecidos. Se um par se parece muito com os vilões, ele recebe uma pontuação baixa (ele se conforma). Se o par é diferente, ele recebe uma pontuação alta.

Aqui está a parte mágica: os autores usam matemática para transformar essas pontuações em uma garantia. Eles podem dizer: "Estamos estatisticamente certos de que não descartaremos acidentalmente mais do que uma pequena porcentagem específica de imagens boas". Isso é como ter um segurança que não apenas adivinha quem é suspeito, mas tem uma prova matemática de que não parará pessoas inocentes mais do que, digamos, 5% das vezes.

O Que Eles Descobriram

A equipe testou seu novo sistema, o CASCADE, em um enorme conjunto de dados chamado CC3M, que possui cerca de 3,3 milhões de pares de imagem-legenda. Eles colocaram o sistema contra nove tipos diferentes de ataques de backdoor (como BadNets, Trojan e outros).

Os resultados foram impressionantes. Enquanto os métodos antigos frequentemente cometiam erros — sinalizando imagens boas como ruins ou deixando passar imagens ruins — o CASCADE foi muito mais preciso.

Precisão: Quando forçaram o sistema a capturar 100% das imagens ruins, o CASCADE cometeu erros (sinalizando uma imagem boa como ruim) apenas cerca de 5,79% das vezes, em média. Em comparação, outros métodos cometeram erros entre 29% e 64% das vezes.
Confiabilidade: O sistema alcançou uma pontuação média (AUROC) de 0,9867, o que é extremamente próximo de uma pontuação perfeita de 1,0. Isso significa que ele pode distinguir quase perfeitamente a diferença entre dados bons e ruins.
Defesa Inteligente: Eles também testaram se um atacante sorrateiro poderia enganar o CASCADE fazendo com que as imagens ruins se parecessem mais com as boas (um "ataque adaptativo"). Mesmo assim, o CASCADE manteve sua posição, sofrendo apenas uma pequena queda no desempenho.

Por Que Isso Importa

Os autores mostraram que, ao combinar uma verificação rápida de "colisão" com uma garantia estatística rigorosa, é possível limpar os dados de treinamento muito melhor do que antes. Eles não criaram apenas um novo truque; eles construíram um sistema que oferece prova de quão seguros são seus dados.

No fim, o CASCADE sugere que não precisamos escolher entre capturar todos os vilões e manter os bons seguros. Ao usar essa abordagem de dois estágios de "grosso para o fino", podemos ter o melhor dos dois mundos: um conjunto de dados super limpo que mantém a IA inteligente e segura contra backdoors sorrateiros. O artigo conclui que, embora este método seja um grande passo à frente, ele foca em capturar o veneno antes do treinamento, deixando a limpeza de modelos que já foram treinados para trabalhos futuros. Mas, por enquanto, é um novo escudo poderoso para os robôs que aprendem a ver e ler o nosso mundo.

Resumo Técnico: Quando as Modalidades Falham em Dançar: Detecção de Backdoor Conformal em Aprendizado Contrastivo Multimodal

Definição do Problema
Modelos de Aprendizado Contrastivo Multimodal (MCL), como o CLIP, são fundamentais para inúmeras tarefas de jusante (downstream), mas são vulneráveis a ataques de backdoor. Nesses ataques, adversários injetam gatilhos visuais em um subconjunto de imagens de treinamento e substituem suas legendas originais por semânticas alvo (por exemplo, mudando "um cervo" para "um gato"). Isso induz correlações espúrias onde as imagens com gatilho são mapeadas para o embedding da classe alvo.

As defesas existentes baseadas em detecção dependem primariamente da métrica CLIPScore, assumindo que pares envenenados exibem menor similaridade semântica entre imagens e legendas do que pares benignos. No entanto, os autores identificam duas falhas críticas nesta abordagem:

Sobreposição de Distribuição: As distribuições de CLIPScore para pares benignos e envenenados exibem uma sobreposição substancial, tornando difícil distinguir entre eles usando apenas escores de similaridade.
Falta de Garantias Estatísticas: Métodos de detecção de limiar fixo não podem fornecer garantias estatísticas para amostras que caem nessas regiões de sobreposição, levando a classificações não confiáveis e potenciais erros de classificação sob cortes heurísticos.

Metodologia: CASCADE
Para abordar essas limitações, os autores propõem o CASCADE, um novo framework de Detecção de Backdoor Conformal de Coarse-to-Fine (do grosseiro ao refinado). O método integra a Predição Conformal (CP) para estabelecer limites de confiança prováveis para a detecção de pares envenenados. O framework opera em dois estágios:

Estágio I: Detecção de Grão Grosso (Consistência entre Modalidades)
- Embedding de Texto Guiado Visualmente: O sistema utiliza um modelo de legendagem de imagem pré-treinado (ex: CLIPCap) como um módulo de mapeamento fixo $G$ para traduzir embeddings de imagem para o espaço de embedding de texto, gerando um embedding de texto "guiado visualmente" ( $\hat{t}_e$ ).
- Métrica de Consistência: Ele computa a Consistência entre Modalidades ( $\Delta\kappa$ ) medindo a diferença absoluta entre a similaridade imagem-texto original ( $\kappa_{orig}$ ) e a similaridade imagem-texto gerada ( $\kappa_{gen}$ ). Pares benignos mostram alta consistência (baixo $\Delta\kappa$ ), enquanto pares envenenados mostram um desalinhamento semântico significativo (alto $\Delta\kappa$ ).
- Particionamento: Um Modelo de Mistura Gaussiana (GMM) é ajustado à distribuição dos escores de $\Delta\kappa$ $Δ κ$ . O conjunto de dados é particionado em três subconjuntos:
  - $D_b$ : Pares benignos de alta confiança (baixo $\Delta\kappa$ ).
  - $D_p$ : Pares envenenados de alta confiança (os top- $q$ com maior $\Delta\kappa$ ).
  - $D_u$ : Um subconjunto não identificado contendo amostras ambíguas.
Estágio II: Detecção de Grão Fino (Predição Conformal)
- Construção do Conjunto de Referência: O subconjunto envenenado de alta confiança $D_p$ serve como um conjunto de referência ( $T_{ref}$ ) representando a distribuição envenenada.
- Escore de Não Conformidade (NCS): Para cada amostra no subconjunto não identificado $D_u$ , um NCS textual é computado com base na média da similaridade de cosseno entre o embedding de texto da amostra e o conjunto de referência. Legendas envenenadas, que compartilham padrões específicos do alvo, alinham-se de perto com o conjunto de referência, resultando em um baixo NCS (alta conformidade). Legendas benignas desviam-se do conjunto de referência, resultando em um alto NCS.
- Decisão Estatística: O NCS é convertido em um p-valor conformal. Sob a hipótese nula de que o par de teste é envenenado (permutável com o conjunto de referência), um baixo NCS gera um p-valor alto, enquanto um alto NCS gera um p-valor baixo. A regra de decisão é: se $p(x,t) \le \epsilon$ , a amostra é classificada como benigna; caso contrário, é classificada como envenenada. Assim, amostras com baixo NCS (alta conformidade com a distribuição envenenada) recebem p-valores altos e são retidas como envenenadas, enquanto amostras com alto NCS (baixa conformidade) recebem p-valores baixos e são rejeitadas como benignas.

Principais Contribuições

Framework CASCADE: Um pipeline de detecção de dois estágios que separa amostras de alta confiança antes de refinar pares ambíguos usando predição conformal, superando as limitações de limiares heurísticos.
Métricas Inovadoras: A introdução da consistência entre modalidades (explorando o desalinhamento imagem-texto) e dos escores de não conformidade textual (explorando o agrupamento estrutural de legendas envenenadas) para aumentar a separabilidade.
Garantias Estatísticas: A integração da CP fornece limites estatísticos rigorosos sobre a taxa de falsos positivos, garantindo que a probabilidade de classificar incorretamente uma amostra envenenada como benigna seja controlada em um nível definido pelo usuário.

Resultados Experimentais
Experimentos extensivos foram conduzidos no dataset CC3M contra nove ataques de backdoor diversos (ex: BadNets, BadCLIP, mmPoison) e vários ataques adaptativos.

Desempenho de Detecção: O CASCADE alcançou um FPR@100%TPR médio de 5,79% e um AUROC médio de 0,9867, superando significativamente os baselines de estado da arte como CLIPScore, SafeCLIP e DAO.
Utilidade de Jusante (Downstream): Quando usado para filtrar dados de treinamento, os modelos treinados no subconjunto benigno identificado mantiveram alta acurácia limpa (58,17% no ImageNet-1K, próximo ao baseline limpo de 59,69%) enquanto reduziram a Taxa de Sucesso de Ataque (ASR) de ~80% para 0,12%.
Robustez: O método permaneceu eficaz contra ataques adaptativos conscientes da defesa, onde atacantes otimizaram gatilhos para maximizar a consistência semântica com as legendas alvo. O AUROC do CASCADE diminuiu apenas ligeiramente (para ~0,94), demonstrando robustez contra tentativas de evasão do Estágio I.
Generalização: O método generalizou-se através de diferentes classes alvo, múltiplos cenários de alvo, várias variantes de CLIP (ResNet, ViT) e diferentes datasets de pré-treinamento (Flickr-PASCAL, Visual Genome, MSCOCO).

Significância e Alegações
O artigo alega que o CASCADE representa um avanço significativo na segurança de modelos MCL ao ir além de limiares de similaridade heurísticos para um framework de detecção estatisticamente fundamentado. Ao alavancar as propriedades estruturais de dados envenenados (tanto o desalinhamento entre modalidades quanto o agrupamento no espaço de texto) e quantificar a incerteza via predição conformal, o CASCADE fornece uma defesa confiável que controla falsos positivos mesmo em regiões ambíguas onde métodos tradicionais falham. Os autores enfatizam que, embora o CASCADE foque na detecção, ele deixa a purificação pós-hoc (ex: unlearning de modelo) como um trabalho futuro. O método é apresentado como uma solução robusta, eficiente e generalizável para identificar dados envenenados em pré-treinamento multimodal de larga escala.

A História do Artigo: Quando as Modalidades Falham no Tango

O Que Eles Descobriram

Por Que Isso Importa

Mais como este