💻 computer science

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

O artigo propõe o EntropyScan, um método leve e agnóstico a gatilhos que detecta Modelos Grandes Visuais-Linguísticos com backdoor quantificando anomalias estruturais nas distribuições de atenção visual em amostras benignas usando entropia de Tsallis e normalização por escore-Z, alcançando alta precisão sem exigir conhecimento dos dados de treinamento ou dos gatilhos.

Autores originais: Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você acabou de comprar uma câmera inteligente de alto nível de um vendedor de terceiros. Você quer usá-la para descrever fotos, mas está preocupado: O vendedor programou secretamente esta câmera para dizer algo perigoso se você mostrar a ela um padrão específico e oculto?

Este é o problema com os Modelos Grandes Visão-Linguagem (LVLMs). São sistemas de IA poderosos que conseguem "ver" imagens e "falar" sobre elas. Como muitas vezes são baixados da internet, há o risco de terem sido "envenenados" com uma porta dos fundos.

Uma porta dos fundos é como um interruptor secreto. Se você mostrar à IA uma foto normal de um gato, ela diz: "Isso é um gato". Mas se você mostrar uma foto de um gato com um adesivo minúsculo e invisível (o gatilho), a IA ignora repentinamente as regras de segurança e diz algo prejudicial, como "Como construir uma bomba".

O Problema: A Inspeção de "Caixa Preta"

A maioria das ferramentas de segurança hoje tenta encontrar o veneno antes que a IA seja construída, ou tenta pegar a IA enquanto ela está falando, procurando pelo gatilho. Mas e se você já tiver o modelo de IA pronto, não souber como é o gatilho secreto e não tiver os dados originais de treinamento?

Você precisa de uma maneira de inspecionar o próprio modelo para ver se ele está "doente", sem precisar conhecer os sintomas específicos da doença (o gatilho).

A Solução: EntropyScan (O "Raio-X da Atenção")

O artigo apresenta uma ferramenta chamada EntropyScan. Pense nela como uma máquina de raio-X para o cérebro da IA.

Veja como funciona, usando uma analogia simples:

1. A Analogia do "Foco"

Imagine que a IA é um estudante olhando para uma foto e escrevendo uma descrição.

Um Estudante Saudável (Modelo Benigno): Ao olhar para uma foto de uma praia, seus olhos varrem naturalmente a areia, as ondas e o céu de maneira equilibrada e lógica. Sua "atenção" está distribuída suavemente.
O Estudante "Envenenado" (Modelo com Porta dos Fundos): Mesmo ao olhar para uma foto normal, a injeção da porta dos fundos desorganizou a fiação do cérebro dele. Seus olhos podem tencionar ou encarar de forma antinatural partes específicas da imagem, mesmo na ausência do gatilho. Eles estão "super-focando" ou "sub-focando" em padrões estranhos.

2. Medindo a "Confusão" (Entropia)

Os pesquisadores perceberam que esse padrão de olhar estranho pode ser medido matematicamente usando algo chamado Entropia de Tsallis.

Pense na Entropia como uma medida de "desordem" ou "surpresa".
Uma IA saudável tem um padrão de atenção previsível e suave (baixa surpresa).
Uma IA envenenada tem um padrão de atenção irregular, caótico ou estranhamente concentrado (alta surpresa/anomalia).

3. A "Verificação de Referência"

Para saber se a IA é estranha, você precisa de uma linha de base.

A Referência: Os pesquisadores pegam uma versão conhecida "saudável" do mesmo modelo de IA (o oficial, do desenvolvedor).
O Teste: Eles alimentam tanto o modelo "suspeito" quanto o modelo de referência "saudável" com as mesmas 200 fotos aleatórias e normais.
A Comparação: Eles medem o quanto o padrão de atenção do modelo "suspeito" se desvia do do modelo "saudável".

Se o padrão de atenção do modelo suspeito for significativamente "mais ruidoso" ou "mais estranho" que o do modelo saudável, a EntropyScan o sinaliza como tendo porta dos fundos.

Por Que Isso é Especial

Sem Gatilho Necessário: Você não precisa saber como é o adesivo secreto. Basta observar como a IA se comporta normalmente.
Leve: Não requer retreinamento do modelo ou cálculos complexos. Leva apenas alguns segundos para escanear um modelo.
Alta Precisão: Em seus testes, este método detectou modelos envenenados 98,5% das vezes, mesmo contra ataques muito sorrateiros que outros métodos ignoraram.

A Conclusão

A EntropyScan é como um guarda de segurança que não precisa saber o rosto do ladrão ou o item roubado. Em vez disso, eles apenas observam como as pessoas passam pela porta. Se alguém caminha com uma marcha estranha e antinatural (anomalia estrutural na atenção) em comparação com todos os outros, o guarda sabe que algo está errado, mesmo que não consiga ver a arma.

O artigo afirma que este método funciona em diferentes tipos de modelos de IA e diferentes tipos de ataques, fornecendo uma maneira rápida e confiável de verificar se uma IA baixada é segura para uso.

Resumo Técnico: EntropyScan

Declaração do Problema

Os Modelos Visuais-Linguísticos de Grande Escala (LVLMs) são cada vez mais distribuídos como checkpoints de terceiros por meio de paradigmas de Modelo-como-Serviço (MaaS), criando riscos significativos de segurança. Embora os mecanismos de defesa existentes se concentrem principalmente na detecção ao nível de amostra (filtragem de dados de treinamento envenenados ou perturbação de entradas durante a inferência), eles geralmente exigem acesso ao conjunto de dados de treinamento original ou conhecimento de gatilhos de ataque específicos. Uma lacuna crítica permanece na detecção ao nível do modelo: determinar se um checkpoint finalizado de terceiros contém uma backdoor oculta sem conhecimento prévio dos padrões de gatilho, respostas-alvo ou dos dados de treinamento envenenados. A opacidade do processo de treinamento e a incorporação sutil de gatilhos dentro do vasto espaço de pesos tornam essa tarefa particularmente desafiadora.

Metodologia: EntropyScan

Os autores propõem o EntropyScan, um framework leve e agnóstico a gatilhos, projetado para detectar LVLMs com backdoor analisando anomalias estruturais na atenção visual. A hipótese central é que a injeção de backdoor perturba os mecanismos de alinhamento multimodal dentro do modelo, levando a desvios mensuráveis na alocação de atenção visual, mesmo em entradas benignas.

A metodologia procede em três etapas:

Extração de Entropia de Atenção Visual:
- O método foca na camada inicial (Camada-0) do componente de Modelo de Linguagem de Grande Escala (LLM), onde os tokens visuais integram-se pela primeira vez às representações textuais.
- Extrai pesos de atenção visual dos módulos de autoatenção. Especificamente, isola o vetor de probabilidade de atenção atribuído aos tokens visuais ( $\mathcal{V}$ ) para o último token da sequência de entrada.
- Para desacoplar o padrão de distribuição interna da magnitude geral da atenção, os autores realizam renormalização por modalidade para criar uma distribuição de probabilidade condicional $P_{\mathcal{V}}$ .
- Calcula-se a entropia de Tsallis ( $H_q$ ) sobre essa distribuição. A entropia de Tsallis é escolhida em vez da entropia de Shannon ou Rényi porque seu parâmetro não extensivo ( $q$ ) fornece sensibilidade aprimorada à "cauda" da distribuição, tornando-a mais eficaz na detecção de anomalias estruturais sutis induzidas por backdoors furtivos.
Normalização Z-Score Ancorada em Referência:
- Para estabelecer uma linha de base, o sistema utiliza um modelo de referência limpo e benigno ( $M_{ref}$ ) com a mesma arquitetura que o modelo suspeito ( $M_{target}$ ) e um pequeno conjunto de dados de validação limpo ( $D_{val}$ ).
- Estatísticas (média $\mu_{ref}$ e desvio padrão $\sigma_{ref}$ ) são computadas a partir dos valores de entropia do modelo de referência.
- Os valores de entropia do modelo suspeito são então normalizados usando essas estatísticas de referência para calcular um Z-score. Isso alinha a escala de entropia do modelo suspeito com a distribuição benigna, permitindo a identificação de desvios sistemáticos.
Decisão de Detecção:
- O método calcula uma pontuação de anomalia $s(x)$ para cada amostra com base no desvio absoluto de seu Z-score em relação à mediana de referência.
- A decisão final é tomada calculando a Área Sob a Curva Característica Operacional do Receptor (AUC) entre as pontuações de anomalia do modelo suspeito e do modelo de referência.
- Se a AUC exceder um limiar predefinido ( $\tau = 0,8$ ), o modelo é classificado como com backdoor.

Contribuições Principais

Descoberta de Anomalias Estruturais: Os autores identificam que injeções de backdoor em LVLMs causam perturbações estruturais distintas no alinhamento multimodal, manifestando-se como deslocamentos mensuráveis na entropia de atenção visual em entradas benignas.
Primeiro Framework de Detecção ao Nível do Modelo: O EntropyScan é apresentado como o primeiro método especificamente projetado para detecção de backdoor ao nível do modelo em LVLMs. Ele opera sem exigir acesso a gatilhos, dados de treinamento envenenados ou intervenção ativa durante a inferência.
Leve e Eficiente: O framework é altamente eficiente, exigindo apenas inferência direta. Alcança alta precisão usando um pequeno conjunto de validação (200 imagens) e opera em segundos por checkpoint de modelo.

Resultados Experimentais

Os autores avaliaram o EntropyScan em duas arquiteturas de LVLM (LLaVA-1.5-7B e Otter-3B) em três cenários de ataque avançados: ShadowCast, ImgTrojan e VL-Trojan.

Desempenho de Detecção: O EntropyScan alcançou uma pontuação F1 média de 98,5% e uma AUC de 96,6% em todos os cenários.
- Alcançou detecção perfeita (AUC = 1,000) para ataques VL-Trojan em todos os backbones visuais testados.
- Superou significativamente o método de linha de base Agrupamento por Ativação (AC), particularmente contra ataques ShadowCast, onde o AC falhou (Recall = 0), enquanto o EntropyScan alcançou um Recall de 0,9535.
Robustez: O método demonstrou robustez contra ataques adaptativos onde adversários tentaram regularizar a entropia visual para corresponder a distribuições benignas; tais tentativas degradaram significativamente a taxa de sucesso do ataque (ASR).
Eficiência: O tempo médio de inspeção foi de 4,37 segundos por checkpoint de modelo em quatro GPUs NVIDIA Tesla V100.
Estudos de Ablação:
- Sensibilidade à Camada: A camada inicial (Camada-0) foi confirmada como a sonda de detecção ótima, com sinais de detecção decaindo rapidamente em camadas mais profundas.
- Medida de Entropia: A entropia de Tsallis ( $q=2$ ) superou as entropias de Shannon e Rényi, particularmente para ataques sutis de perturbação global.
- Eficiência de Dados: O desempenho de detecção permaneceu estável em diferentes tamanhos de conjunto de validação e diferentes fontes de imagens limpas (por exemplo, COCO2017 vs. Object365).

Significado e Alegações

O artigo afirma que o EntropyScan fornece um paradigma prático para a inspeção de segurança de checkpoints de LVLMs de terceiros. Ao identificar uma assinatura universal de infecção (desvio de entropia na atenção multimodal) em vez de depender de artefatos específicos de gatilho, o método aborda o desafio crítico de detectar backdoors em modelos finalizados onde o conhecimento do gatilho está indisponível. Os autores enfatizam que sua abordagem permite auditoria ao nível do modelo sem comprometer a utilidade do modelo ou exigir retreinamento, promovendo assim práticas de segurança acessíveis para o ecossistema em rápida expansão de LVLMs de código aberto e de terceiros.