VLMGuard: Bootstrapping Malicious Prompt Detectors from Unlabeled Vision-Language Prompts in the Wild

Resumo Técnico: VLMGuard

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) estão sendo cada vez mais implantados em ambientes de mundo aberto, onde processam uma mistura de entradas benignas e adversariamente manipuladas. Diferente dos modelos apenas de texto, os VLMs enfrentam uma superfície de ataque expandida, onde adversários podem manipular os canais visuais, textuais ou ambos para induzir comportos inseguros, como gerar conteúdo nocivo ou executar ações de ferramentas não pretendidas.

O desafio primário no desenvolvimento de salvaguardas para VLMs é a escassez de conjuntos de dados rotulados de alta qualidade contendo prompts tanto benignos quanto maliciosos. Curar tais dados requer um esforço humano significativo e atualizações contínuas à medida que as estratégias de ataque evoluem. Consequentemente, há uma necessidade crítica de métodos que possam detectar efetivamente prompts maliciosos usando as vastas quantidades de prompts de usuários não rotulados naturalmente disponíveis em implantações do mundo real, sem depender de extensa anotação manual.

Metodologia: VLMGuard

Os autores propõem o VLMGuard, um framework de aprendizado de dois estágios projetado para impulsionar detectores de prompts maliciosos a partir de dados não rotulados. O framework opera sob a premissa de que os prompts de usuários não rotulados seguem um modelo de contaminação de Huber, onde a distribuição dos dados $P_{unlabeled}$ é uma mistura das distribuições benigna ($P_{benign}$) e maliciosa ($P_{malicious}$) com uma pequena razão de mistura $\pi$.

Estágio 1: Estimativa Automatizada de Maliciosidade via Subespaço Latente

O primeiro estágio utiliza as representações internas de um VLM pré-treinado para distinguir entre amostras benignas e maliciosas dentro da mistura não rotulada.

1. Extração de Representação: Para cada prompt $(x_v, x_t)$, uma representação $f$ de $d$ dimensões é extraída de uma camada específica $\ell$ do VLM.
2. Identificação de Subespaço: Os autores realizam a Decomposição de Valores Singulares (SVD) na matriz de embedding centralizada. A análise teórica sugere que, sob o modelo de contaminação de Huber, as direções singulares principais da nuvem de representação são enviesadas em direção aos desvios causados pelas amostras maliciosas raras.
3. Pontuação: Uma pontuação de estimativa de maliciosidade $\kappa_i$ é computada para cada prompt baseada em sua energia de projeção sobre as $k$ direções singulares dominantes, ponderadas por seus valores singulares:
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   onde $\mu$ é a média empírica, $v_j$ são os vetores singulares à direita e $\lambda_j$ são os valores singulares.
4. Pseudo-Particionamento: Os prompts são particionados em um conjunto candidato a malicioso $\mathcal{M}$ (pontuações altas) e um conjunto candidato a benigno $\mathcal{B}$ (pontuações baixas) usando um limiar $T$. Isso cria uma rotulagem pseudo-etiqueta ruidosa dos dados não rotulados.

Estágio 2: Treinamento do Classificador de Prompts de Salvaguarda

O segundo estágio aborda a fragilidade das pontuações de projeção direta, que podem ser sensíveis a variações superficiais (ex: paráfrases) que não refletem a intenção maliciosa.

1. Treinamento do Classificador: Um classificador binário leve (um MLP de 3 camadas) é treinado nos conjuntos pseudo-rotulados $\mathcal{M}$ (rótulo 1) e $\mathcal{B}$ (rótulo 0) usando perda logística.
2. Robustez: Os autores argumentam que este classificador aprende a desconsiderar "variações de incômodo" (como mudanças lexicais ou sintáticas em prompts benignos) que se correlacionam espuriamente com a energia do subespaço dominante, proporcionando assim uma fronteira de decisão mais robusta para a detecção em tempo de teste.

Principais Contribuições

1. Formulação do Framework: A introdução do VLMGuard, um framework de dois estágios que formaliza a detecção de prompts maliciosos ao alavancar prompts de usuários não rotulados do mundo real, oferecendo uma solução prática para o problema da escassez de dados.
2. Função de Pontuação Principiada: O desenvolvimento de uma função de pontuação derivada de representações de VLM (via SVD) que estima a probabilidade de um prompt ser malicioso. O artigo fornece justificativa teórica mostrando que a energia de projeção sobre as direções de covariância principais cria um gap condicional de classe proporcional à separação entre as médias benignas e maliciosas.
3. Validação Empírica: Experimentos extensos demonstrando a eficácia do framework, escalabilidade para modelos maiores (ex: 72B de parâmetros) e robustez contra variações realistas de prompts e dados benignos anormais.

Resultados Experimentais

Os autores avaliaram o VLMGuard em três cenários do mundo real usando cinco conjuntos de dados (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) e dois backbones de VLM (LLaVA-1.6-7B e Qwen2.5-VL-7B/72B).

• Desempenho: O VLMGuard alcançou desempenho estado da arte em todos os cenários. Em média, ele melhorou a Área Sob a Curva Característica de Operação do Receptor (AUROC) em 5,39% sobre o melhor método existente (GPT-5.4) e superou significativamente os baselines baseados em incerteza e baseados em ativação.
• Robustez à Baixa Prevalência: O método permaneceu eficaz mesmo quando a razão maliciosa $\pi$ no conjunto de treinamento não rotulado era extremamente baixa (ex: $\pi=0.001$), alcançando um AUROC de 88,16%.
• Generalização: O framework demonstrou forte transferibilidade, mantendo alta precisão de detecção quando treinado em um conjunto de dados e testado em diferentes benchmarks maliciosos.
• Estudos de Ablação:
  • Necessidade do Classificador: O uso direto da pontuação de projeção SVD resultou em desempenho inferior ao da abordagem de dois estágios, confirmando o papel do classificador na redução de ruído e no tratamento de variações de prompts.
  • Seleção de Camada: Camadas intermediárias do VLM forneceram as melhores representações para detecção, superando tanto as camadas iniciais quanto as finais.
  • Escalabilidade: O desempenho melhorou ao escalar de 7B para 72B parâmetros de modelos.

Significância e Alegações

O artigo afirma que o VLMGuard oferece uma abordagem prática e flexível para a implantação de VLMs no mundo real. Ao eliminar a necessidade de anotações humanas extras e modelos externos adicionais (como modelos juízes separados ou modelos de difusão para redução de ruído), o framework fornece uma solução autocontida para salvaguardar VLMs.

Os autores enfatizam que seu método é robusto a variações realistas de prompts (mudanças lexicais e sintáticas) e pode distinguir a intenção maliciosa mesmo na presença de dados benignos anormais. O trabalho visa inspirar pesquisas futuras sobre o aproveitamento de conjuntos de dados de prompts não rotulados para aplicações de segurança crítica, abordando o gargalo fundamental da escassez de dados rotulados no aprendizado de máquina adversarial.