VALD: Multi-Stage Vision Attack Detection for Efficient LVLM Defense

Título: VALD: Detecção de Ataques Visuais Multi-Estágio para Defesa Eficiente de LVLMs

1. O Problema

Os Modelos de Linguagem e Visão Grandes (LVLMs) são altamente vulneráveis a ataques adversariais visuais. Nestes cenários, perturbações imperceptíveis nas imagens de entrada podem manipular o modelo para gerar respostas plausíveis, mas factualmente incorretas (ataques de "engano" ou misleading attacks), em vez de apenas conteúdo tóxico.

As defesas existentes enfrentam dois desafios principais:

1. Ineficiência Computacional: Métodos baseados em transformações (como SmoothVLM) geram e avaliam respostas para todas as imagens transformadas, o que é custoso e desnecessário para a grande maioria das imagens que são limpas (não atacadas).
2. Dependência de Modelos Pesados: Muitas defesas exigem LVLMs poderosos para todo o processo de consolidação, limitando sua aplicação em sistemas com recursos restritos.

2. Metodologia (VALD)

O VALD (Vision Attack Detection) propõe uma defesa genérica, eficiente e sem treinamento (training-free) que combina transformações de imagem com consolidação de dados agêntica. A arquitetura opera em quatro estágios principais, focando em filtrar a maioria das entradas limpas rapidamente:

A. Detecção de Ataque Precoce (Early Detection)

• Objetivo: Identificar rapidamente imagens limpas para evitar processamento custoso.
• Mecanismo: Aplica um conjunto de $K$ transformações que preservam o conteúdo (ex: grandes recortes, mascaramento de pixels, desfoque gaussiano, compressão JPEG) à imagem de entrada.
• Critério: Calcula a consistência dos embeddings visuais entre a imagem original e suas transformações.
  • Imagens limpas produzem embeddings consistentes.
  • Imagens adversariais geram grandes discrepâncias.
• Resultado: Se a distância média estiver abaixo de um limiar ($\tau$), a imagem é considerada limpa e o processo de defesa é interrompido, retornando a resposta original do LVLM. Isso filtra cerca de 95% das imagens limpas com custo computacional quase nulo.

B. Geração de Respostas Baseada em Imagem

• Se uma possível ataque for detectado, o LVLM (mais leve) é consultado $K+1$ vezes: uma vez com a imagem original e $K$ vezes com as versões transformadas.
• Isso gera um conjunto de respostas textuais ($R = \{r_0, r_1, ..., r_k\}$).

C. Detecção Tardia (Late Detection)

• Objetivo: Refinar a filtragem antes de invocar um LLM pesado.
• Mecanismo: Analisa as discrepâncias no espaço de embeddings textuais das respostas geradas.
• Processo: Utiliza similaridade semântica e divergência KL (Kullback-Leibler) entre as respostas. Se as respostas divergem significativamente (indicando inconsistência semântica causada pelo ataque), a entrada é marcada como adversarial.
• Eficiência: Esta etapa usa apenas modelos leves e elimina mais ~1% das imagens limpas que passaram pelo primeiro estágio.

D. Geração de Resposta (Consolidação)

• Ativação: Apenas para entradas suspeitas de serem adversariais.
• Mecanismo: Um LLM externo (poderoso, mas usado apenas nesta etapa) consolida as múltiplas respostas textuais.
• Estratégia: O LLM é instruído a identificar elementos consistentes entre as respostas (objetos principais, atributos, relações) e descartar elementos que aparecem apenas em respostas isoladas (ruído do ataque).
• Inovação: Diferente de métodos anteriores que selecionam aleatoriamente a resposta majoritária, o VALD sintetiza todas as informações consistentes para criar uma resposta unificada e precisa, operando apenas sobre texto (sem reprocessar a imagem).

3. Principais Contribuições

1. Defesa Geral e Eficiente: Um método sem treinamento que lida com uma ampla gama de ataques, utilizando transformações de imagem e consolidação agêntica.
2. Mecanismo de Detecção Leve: Uma arquitetura de dois estágios que permite que a grande maioria das imagens limpas (95%+) bypassie o processamento pesado, integrando-se facilmente a outras defesas.
3. Desacoplamento de Tarefas: Separa a análise visual (feita por LVLMs leves) da consolidação de informações (feita por LLMs potentes apenas quando necessário), otimizando o custo computacional.

4. Resultados Experimentais

Os testes foram realizados em modelos LVLMs compactos (LLaVA-1.5, MiniGPT-v2, Qwen3-VL) contra três ataques representativos: MF-ii, MixAttack e M-Attack.

• Precisão (State-of-the-Art): O VALD superou consistentemente as linhas de base (incluindo SmoothVLM e métodos de treinamento adversarial como FARE).
  • Exemplo: No ataque MF-ii com LLaVA, o VALD alcançou pontuação 0.716 (SBERT), contra 0.679 do SmoothVLM original e 0.570 do FARE.
  • Mantém o desempenho em imagens limpas (sem degradação significativa).
• Eficiência Computacional:
  • Cenário Ideal (Imagens Limpa): O tempo de execução é de 1.9s (quase idêntico à geração sem defesa), pois 95% das imagens são filtradas no estágio inicial.
  • Cenário Pior (Ataque): O tempo total é de 22.9s.
  • Comparação: O VALD é 27x mais rápido que o SmoothVLM (que leva 52.7s por imagem) em cenários com predominância de imagens limpas, e ainda 2x mais rápido mesmo quando todas as imagens passam pelo pipeline completo.
• Detecção: Alcança precisão de detecção de ~99% para imagens adversariais, com uma taxa de falso positivo (imagens limpas marcadas como atacadas) de apenas ~5%, o que é aceitável pois apenas aumenta o custo computacional, não a precisão final.

5. Significado e Conclusão

O VALD representa um avanço significativo na segurança de LVLMs ao demonstrar que é possível defender modelos contra ataques visuais sutis sem a necessidade de retreinamento massivo ou processamento constante de modelos pesados.

A chave do sucesso é a eficiência baseada em filtragem: ao assumir que a maioria das imagens do mundo real é limpa, o sistema prioriza a detecção rápida de anomalias. Isso torna a defesa viável para implantações em tempo real e em dispositivos com recursos limitados, resolvendo o dilema entre robustez e custo computacional. O método é particularmente eficaz porque não depende de conhecer o tipo específico de ataque, tornando-se robusto contra ataques adaptativos.