Resumen Técnico: VLMGuard

Declaración del Problema

Los Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés) se están desplegando cada vez más en entornos de mundo abierto donde procesan una mezcla de entradas benignas y manipuladas adversariamente. A diferencia de los modelos de solo texto, los VLM enfrentan una superficie de ataque ampliada donde los adversarios pueden manipular los canales visual, textual o ambos para inducir comportamientos inseguros, tales como la generación de contenido dañino o la ejecución de acciones de herramientas no deseadas.

El desafío principal en el desarrollo de salvaguardas para los VLM es la escasez de conjuntos de datos etiquetados de alta calidad que contengan tanto prompts benignos como maliciosos. La curación de tales datos requiere un esfuerzo humano significativo y actualizaciones continuas a medida que las estrategias de ataque evolucionan. En consecuencia, existe una necesidad crítica de métodos que puedan detectar eficazmente prompts maliciosos utilizando las vastas cantidades de prompts de usuario no etiquetados disponibles naturalmente en los despliegues del mundo real, sin depender de una anotación manual extensiva.

Metodología: VLMGuard

Los autores proponen VLMGuard, un marco de aprendizaje de dos etapas diseñado para impulsar la detección de prompts maliciosos a partir de datos no etiquetados. El marco opera bajo la suposición de que los prompts de usuario no etiquetados siguen un modelo de contaminación de Huber, donde la distribución de los datos $P_{unlabeled}$ es una mezcla de distribuciones benignas ($P_{benign}$) y maliciosas ($P_{malicious}$) con una pequeña proporción de mezcla $\pi$.

Etapa 1: Estimación Automática de Maliciosidad mediante Subespacio Latente

La primera etapa aprovecha las representaciones internas de un VLM preentrenado para distinguir entre muestras benignas y maliciosas dentro de la mezcla no etiquetada.

1. Extracción de Representación: Para cada prompt $(x_v, x_t)$, se extrae una representación $f$ de $d$ dimensiones de una capa específica $\ell$ del VLM.
2. Identificación de Subespacio: Los autores realizan la Descomposición en Valores Singulares (SVD) sobre la matriz de incrustaciones centrada. El análisis teórico sugiere que, bajo el modelo de contaminación de Huber, las direcciones singulares principales de la nube de representaciones están sesgadas hacia las desviaciones causadas por las muestras maliciosas poco frecuentes.
3. Puntuación: Se calcula una puntuación de estimación de maliciosidad $\kappa_i$ para cada prompt basada en su energía de proyección sobre las $k$ direcciones singulares dominantes, ponderada por sus valores singulares:
   $$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$$
   donde $\mu$ es la media empírica, $v_j$ son los vectores singulares derechos y $\lambda_j$ son los valores singulares.
4. Pseudo-Partición: Los prompts se particionan en un conjunto malicioso candidato $\mathcal{M}$ (puntuaciones altas) y un conjunto benigno candidato $\mathcal{B}$ (puntuaciones bajas) utilizando un umbral $T$. Esto crea un etiquetado pseudo de los datos no etiquetados que contiene ruido.

Etapa 2: Entrenamiento del Clasificador de Prompts de Salvaguarda

La segunda etapa aborda la fragilidad de las puntuaciones de proyección directa, que pueden ser sensibles a variaciones superficiales (por ejemplo, el parafraseo) que no reflejan una intención maliciosa.

1. Entrenamiento del Clasificador: Un clasificador binario ligero (un MLP de 3 capas) se entrena en los conjuntos pseudo-etiquetados $\mathcal{M}$ (etiqueta 1) y $\mathcal{B}$ (etiqueta 0) utilizando pérdida logística.
2. Robustez: Los autores argumentan que este clasificador aprende a descartar las "variaciones de molestia" (como cambios léxicos o sintácticos en prompts benignos) que se correlacionan de forma espuria con la energía del subespacio dominante, proporcionando así una frontera de decisión más robusta para la detección en tiempo de prueba.

Principales Contribuciones

1. Formulación del Marco: La introducción de VLMGuard, un marco de dos etapas que formaliza la detección de prompts maliciosos aprovechando los prompts de usuario no etiquetados del mundo real, ofreciendo una solución práctica al problema de la escasez de datos.
2. Función de Puntuación Principista: El desarrollo de una función de puntuación derivada de las representaciones de VLM (vía SVD) que estima la probabilidad de que un prompt sea malicioso. El artículo proporciona una justificación teórica que muestra que la energía de proyección sobre las direcciones de covarianza principales crea una brecha condicional de clase proporcional a la separación entre las medias benignas y maliciosas.
3. Validación Empírica: Experimentos extensos que demuestran la eficacia del marco, su escalabilidad a modelos más grandes (por ejemplo, 72B de parámetros) y su robustez contra variaciones de prompts realistas y datos benignos anormales.

Resultados Experimentales

Los autores evaluaron VLMGuard en tres escenarios del mundo real utilizando cinco conjuntos de datos (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) y dos VLM de base (LLaVA-1.6-7B y Qwen2.5-VL-7B/72B).

• Desempeño: VLMGuard alcanzó un desempeño de vanguardia en todos los escenarios. En promedio, mejoró el Área Bajo la Curva Característica Operativa del Receptor (AUROC) en un 5.39% respecto al mejor método existente (GPT-5.4) y superó significativamente a las líneas base basadas en incertidumbre y activación.
• Robustez ante Baja Prevalencia: El método se mantuvo efectivo incluso cuando la proporción maliciosa $\pi$ en el conjunto de entrenamiento no etiquetado era extremadamente baja (por ejemplo, $\pi=0.001$), logrando un AUROC de 88.16%.
• Generalización: El marco demostró una fuerte capacidad de transferencia, manteniendo una alta precisión de detección cuando fue entrenado en un conjunto de datos y probado en diferentes benchmarks maliciosos.
• Estudios de Ablación:
  • Necesidad del Clasificador: El uso directo de la puntuación de proyección SVD produjo un desempeño inferior al enfoque de dos etapas, confirmando el papel del clasificador en la eliminación de ruido y el manejo de variaciones de prompts.
  • Selección de Capas: Las capas intermedias del VLM proporcionaron las mejores representaciones para la detección, superando tanto a las capas iniciales como a las finales.
  • Escalabilidad: El desempeño mejoró al escalar de modelos de 7B a 72B de parámetros.

Significado y Reivindicaciones

El artículo afirma que VLMGuard ofrece un enfoque práctico y flexible para el despliegue de VLM en el mundo real. Al eliminar la necesidad de anotaciones humanas adicionales y modelos externos adicionales (como modelos jueces separados o modelos de difusión para la eliminación de ruido), el marco proporciona una solución autocontenida para la salvaguarda de los VLM.

Los autores enfatizan que su método es robusto a las variaciones de prompts realistas (cambios léxicos y sintácticos) y puede distinguir la intención maliciosa incluso en presencia de datos benignos anormales. El trabajo tiene como objetivo inspirar futuras investigaciones sobre el aprovechamiento de conjuntos de datos de prompts no etiquetados para aplicaciones de seguridad crítica, abordando el cuello de botella fundamental de la escasez de datos etiquetados en el aprendizaje automático adversarial.