Resumen Técnico: La Compresión de Tokens Visuales Mejora la Robustez de los MLLM

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) enfrentan desafíos significativos de seguridad y confiabilidad, específicamente la vulnerabilidad a los ataques de jailbreak y la generación de alucinaciones. Mientras que los Modelos de Lenguaje de Gran Escala (LLM) entrenados con datos de texto suelen demostrar mecanismos de seguridad robustos, la introducción de modalidades visuales en los MLLM puede eludir estas salvaguardas. Los autores hipotetizan que esta vulnerabilidad surge de una desalineación de representación entre las modalidades de visión y lenguaje. Específicamente, los tokens visuales que no están perfectamente alineados con el espacio de características del lenguaje actúan como entradas Fuera de Distribución (OOD). Estos tokens OOD interrumpen las representaciones internas del modelo, lo que conduce a salidas impredecibles, jailbreaks exitosos y respuestas fácticamente incorrectas (alucinaciones).

Las estrategias de defensa existentes, como el ajuste de instrucciones (instruction tuning), el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) o la ingeniería de prompts, a menudo incurren en altos costos computacionales o sufren de una capacidad de generalización limitada contra adversarios no vistos. Además, los métodos estándar de poda de tokens visuales, diseñados principalmente para reducir los costos de inferencia mediante la eliminación de tokens "redundantes", rara vez mejoran la robustez del modelo. Esto sugiere que la redundancia y el estatus OOD no son sinónimos; podar los tokens incorrectos puede, de hecho, degradar la seguridad.

Metodología: OOD-VTP

El artículo propone la Poda de Tokens Visuales Fuera de Distribución (OOD-VTP), un método sin entrenamiento (training-free), plug-and-play, diseñado para mejorar la robustez mediante la eliminación selectiva de tokens visuales desalineados. Los componentes principales del método son:

1. Medición de la Distancia de los Tokens Visuales:
   El método cuantifica la "naturaleza OOD" de un token visual midiendo su distancia desde el espacio de características textuales.

   • Representación del Espacio de Características: El espacio de características textuales ($T$) se representa mediante el último $p\%$ de los tokens textuales (por ejemplo, el 50% final). Estos tokens se eligen porque, a través de mecanismos de atención causal, han integrado la información más informativa y semánticamente fundamentada de los tokens precedentes.
   • Métrica de Distancia: Para cada token visual $v^k_j$ en la capa $k$, la distancia al espacio textual se define como la distancia mínima a cualquier token en el subconjunto textual seleccionado $S_k$. La métrica de distancia $D(\cdot, \cdot)$ se instancia como la media negativa de la puntuación de atención a través de todas las cabezas de atención en el LLM. Una mayor distancia indica una mayor desalineación (mayor probabilidad OOD).

2. Capas de Poda Robusta (Robust-Pruning Layers):
   Los autores identifican que no todas las capas son igualmente efectivas para la poda. Definen las capas de poda robusta como capas intermedias específicas donde la poda de tokens OOD produce la máxima ganancia de seguridad.

   • El análisis empírico revela que la poda en capas específicas (por ejemplo, las capas 13–17 en Qwen-2.5-VL) mejora significativamente la robustez, mientras que la poda en otras capas ofrece beneficios limitados o degrada el rendimiento.
   • La capa óptima y la ratio de poda se determinan mediante una búsqueda de cuadrícula (grid search) en un conjunto de validación, aunque el artículo señala que una capa fija unificada (por ejemplo, la Capa 14) puede lograr resultados sólidos en múltiples benchmarks sin necesidad de un ajuste por benchmark.

3. Estrategia de Poda:
   En la capa de poda robusta identificada, el $r\%$ superior de los tokens visuales con las mayores distancias (es decir, los tokens más desalineados/OOD) es podado. Este proceso puede aplicarse iterativamente a través de múltiples capas.

Contribuciones Clave

1. Perspectiva Novedosa: El artículo es el primero en demostrar que la compresión de tokens visuales puede mejorar sustancialmente la robustez de los MLLM tanto contra ataques de jailbreak como contra alucinaciones, desafiando la noción de que la compresión sirve únicamente para la eficiencia.
2. Método OOD-VTP: Los autores introducen una técnica de poda específica que apunta a los tokens visuales desalineados con el espacio de características del lenguaje, utilizando una métrica de distancia basada en puntuaciones de atención e identificando capas de "poda robusta" específicas.
3. Validación Exhaustiva: El método es validado en siete benchmarks diversos, mostrando ganancias significativas en robustez mientras mantiene un fuerte rendimiento en tareas generales.
   4.（Complementariedad: Se demuestra que el enfoque es complementario a los métodos de seguridad existentes (por ejemplo, AdaShield), potenciando aún más la seguridad cuando se combina.

Resultados Experimentales

Los autores evaluaron OOD-VTP en los modelos LLaVA-OneVision y Qwen-2.5-VL a través de siete benchmarks:

• Defensa de Jailbreak:

  • En SafeBench, HADES y MM-SafetyBench, OOD-VTP logró una mejora promedio del 13.29% en la Tasa de Negativa de Respuesta (RAR) sobre la línea base vanilla de Qwen-2.5-VL.
  • Específicamente, en Qwen-2.5-VL, la RAR promedio mejoró del 20.38% (Vanilla) al 33.67%, y la Tasa de Salida Inofensiva (HOR) mejoró al 50.09%, superando a otros métodos de compresión (FastV, PDrop, etc.) que mostraron impactos insignificantes o negativos en la seguridad.
  • Cuando se combina con AdaShield, la RAR en SafeBench alcanzó el 93.80%.
  • El método también demostró robustez contra ataques de imagen basados en perturbaciones (PGD).

• Mitigación de Alucinaciones:

  • En HallusionBench, OOD-VTP mejoró la precisión en un 8.00% (del 59.73% al 67.99% con la mejor capa) para Qwen-2.5-VL.
  • En COCO2014, redujo la métrica CHAIR (que indica menos alucinaciones) a 0.59% para Qwen-2.5-VL, superando a la línea base vanilla.

• Rendimiento General y Eficiencia:

  • Benchmarks Generales: OOD-VTP mantuvo o mejoró ligeramente el rendimiento en conjuntos de datos generales como MME (puntuaciones de percepción y cognición) en comparación con el modelo vanilla.
  • Eficiencia: El método redujo el costo computacional (TFlops) e incrementó los Tokens Por Segundo (TPS) en comparación con el modelo vanilla y otras líneas base de compresión como FastV.
  • Compromiso (Trade-off): Se observó una ligera caída en el rendimiento en OCRBench, atribuida a la pérdida de información de imagen de grano fino debido a la poda de tokens, lo cual los autores consideran un compromiso razonable ante las sustanciales ganancias de seguridad.

Significado y Reivindicaciones

El artículo afirma que OOD-VTP ofrece una dirección novedosa, eficiente y efectiva para asegurar los MLLM. Al abordar la causa raíz de las vulnerabilidades —los tokens visuales desalineados que actúan como entradas OOD—, el método mejora la robustez del modelo sin requerir un reentrenamiento costoso o un ajuste de alineación.

Los autores enfatizan que:

• La robustez es altamente sensible a qué tokens se podan; eliminar tokens bien alineados destruye la seguridad, mientras que eliminar tokens OOD la mejora.
• La robustez también es sensible a dónde (en qué capa) ocurre la poda, lo que requiere la identificación de las capas de poda robusta.
• El método sirve como un módulo "plug-and-play" que puede integrarse con las defensas de seguridad existentes para crear un sistema más robusto, equilibrando seguridad, eficiencia y utilidad general.