Resumen Técnico: Replanteando los Cuellos de Botella en el Ajuste Fino de Seguridad de los Modelos de Lenguaje de Visión

Declaración del Problema

Los Grandes Modelos de Lenguaje de Visión (VLM) han demostrado capacidades excepcionales en tareas multimodales, pero enfrentan desafíos significativos cuando se despliegan en dominios de seguridad crítica. Los métodos actuales de ajuste fino de seguridad (SFT), que dependen principalmente de SFT textual o de SFT multimodal de una sola imagen (por ejemplo, VLGuard), exhiben cuellos de botella críticos:

1. Brecha de Razonamiento Visual de Seguridad: Los métodos actuales carecen de la capacidad de razonar sobre la seguridad dentro de contextos visuales. A menudo fallan al detectar la intención insegura cuando esta surge de la interacción entre múltiples imágenes y una consulta de texto benigna, en lugar de provenir de elementos explícitamente dañinos en una sola imagen.
2. Sobreprudencia y Compensaciones: El ajuste fino en los conjuntos de datos existentes suele conducir a una "sobreconservación", donde los modelos se niegan a responder consultas benignas (por ejemplo, respondiendo "Lo siento" ante entradas seguras). Por el contrario, los métodos que intentan reducir las negativas suelen fallar al generalizar a escenarios de seguridad desafiantes, lo que resulta en Altas Tasas de Éxito de Ataque (ASR) en tareas complejas.
3. Limitaciones de los Paradigmas de Imagen Única: La mayoría de los benchmarks y datos de entrenamiento de seguridad dependen de entradas de una sola imagen. A medida que los VLMs avanzan en la comprensión de múltiples imágenes, la brecha de seguridad se amplía porque las salvaguardas existentes no pueden interpretar eficazmente los riesgos contextuales formados por la combinación de múltiples entradas visuales.

Metodología

Para abordar estas limitaciones, los autores proponen un nuevo marco centrado en el conjunto de datos de Seguridad de Multi-Imagen (MIS) y el enfoque de ajuste fino MIRage (Razonamiento de Seguridad de Multi-Imagen).

1. Construcción del Conjunto de Datos MIS

El conjunto de datos MIS es el primer conjunto de datos de seguridad de múltiples imágenes diseñado para evaluar y mejorar la percepción y el razonamiento visual relacionados con la seguridad. Consta de:

• Conjunto de Entrenamiento (4k muestras): Pares de múltiples imágenes vinculados por instrucciones de texto que crean intenciones inseguras (por ejemplo, usar una herramienta de la Imagen A para manipular un objeto en la Imagen B). Crucialmente, las instrucciones de texto están desintoxicadas (neutras), mientras que el riesgo de seguridad surge de la combinación visual.
• Conjunto de Prueba (2185 muestras): Dividido en tres subconjuntos:
  • MIS-easy: Contiene elementos inseguros explícitos en las imágenes.
  • MIS-hard: Contiene solo imágenes benignas donde la intención insegura se deriva únicamente de la relación entre las imágenes y la consulta.
  • MIS-real: Utiliza imágenes del mundo real recuperadas de conjuntos de datos para probar la generalización.
• Pipeline de Construcción: El conjunto de datos se genera mediante un pipeline automatizado de cuatro pasos que involucra:
  1. Extracción de Elementos Dañinos: Uso de LLMs (Qwen2.5, InternVL) para extraer conceptos inseguros de benchmarks existentes.
  2. Generación de Instrucciones de Texto y Desintoxicación: Generación de consultas dañinas que involucran dos objetos, luego refinándolas en instrucciones neutras (por ejemplo, reemplazando "contrabandear artefactos" con "transportar objetos de la primera imagen").
  3. Generación T2I de Refinamiento Automático: Uso de Stable Diffusion 3.5 Large para generar imágenes, refinadas por VLMs para asegurar la alineación con el texto.
  4. Filtrado de Multi-Expertos: Expertos humanos y GPT-4o filtran y clasifican los datos en subconjuntos de entrenamiento, fáciles, difíciles y reales.

2. Etiquetas de Cadena de Pensamiento de Seguridad (Safety CoT)

Una innovación central es la construcción de etiquetas de Safety CoT para el conjunto de entrenamiento. En lugar de simples respuestas de rechazo (por ejemplo, "No puedo hacer eso"), las etiquetas guían al modelo para:

1. Realizar Percepción Visual: Identificar objetos en ambas imágenes.
2. Ejecutar Razonamiento Visual: Analizar la relación entre las imágenes y el texto para deducir una posible intención dañina.
3. Generar una Respuesta Segura: Proporcionar una negativa o advertencia útil y consciente del contexto que explique por qué la solicitud es insegura, en lugar de un rechazo generalizado.

3. El Enfoque de Ajuste Fino MIRage

Los autores introducen MIRage, una estrategia de ajuste fino que utiliza el conjunto de datos MIS.

• Composición de Datos: El conjunto de entrenamiento incluye 4k muestras de múltiples imágenes relacionadas con la seguridad y 500 muestras de QA general (11% del total), significativamente menor que la proporción de datos generales del 33% utilizada en trabajos previos como VLGuard.
• Objetivo de Entrenamiento: El modelo es entrenado para integrar la percepción visual y la lógica de razonamiento en sus respuestas de seguridad, con el objetivo de equilibrar la utilidad y la inocuidad sin sacrificar las capacidades generales.

Contribuciones Clave

1. Identificación de Cuellos de Botella: El artículo analiza los métodos existentes de ajuste fino de seguridad, revelando que su fallo en tareas desafiantes (como MSSBench) se debe a la falta de razonamiento visual de seguridad y al uso de etiquetas simplistas basadas en el rechazo que causan sobreprudencia.
2. Dataset MIS: La introducción del primer conjunto de datos de seguridad de múltiples imágenes, que presenta una división de entrenamiento para mejorar el razonamiento visual y tres divisiones de prueba (fácil, difícil, real) para una evaluación rigurosa.
3. Marco MIRage: Un nuevo paradigma de ajuste fino que aprovecha las etiquetas de Safety CoT. Demuestra que mejorar las capacidades de razonamiento visual permite a los modelos manejar escenarios de seguridad de múltiples imágenes de manera efectiva.
4. Validación Empírica: Experimentos exhaustivos que muestran que MIRage supera tanto a los modelos de código abierto como a los basados en API en tareas de seguridad de múltiples imágenes, preservando o incluso mejorando ligeramente las capacidades generales.

Resultados Experimentales

Los autores evaluaron MIRage principalmente en InternVL2.5-8B, comparándolo con baselines como Textual SFT, VLGuard (variantes P y R) y varios VLMs de última generación (por ejemplo, Qwen2-VL, LLaVA-OV, GPT-4o, Gemini-1.5-pro).

• Desempeño de Seguridad:

  • En el test set de MIS, MIRage redujo la Tasa de Éxito de Ataque (ASR) a niveles cercanos a cero (por ejemplo, 0.24% en MIS-easy, 0.20% en MIS-hard, 0.00% en MIS-real) para InternVL2.5-8B, comparado con un ASR de ~80-90% para los modelos base.
  • Aumentó significativamente la Tasa de Éxito de Razonamiento (RSR), indicando que los modelos están identificando riesgos exitosamente a través del razonamiento en lugar de un rechazo aleatorio.
  • MIRage superó a los baselines en benchmarks desafiantes como MSSBench (escenarios inseguros) y SIUO (Entradas Seguras, Salidas Inseguras), donde los métodos existentes a menudo fallaban o exhibían sobreprudencia.

• Capacidades Generales:

  • A diferencia de VLGuard y Textual SFT, que a menudo degradan el desempeño general (especialmente en benchmarks de múltiples imágenes como MMT-Bench y MuirBench), MIRage preservó y mejoró ligeramente las capacidades generales.
  • El ajuste fino con MIS aumentó la precisión promedio en un 0.83% a través de cinco benchmarks generales (Q-Bench, MMStar, MMMU, MuirBench, MMT-Bench).
  • El método logró esto con solo un 11% de datos generales en la mezcla de entrenamiento, demostando que la lógica de razonamiento de seguridad puede apoyar intrínsecamente el seguimiento de instrucciones generales.

• Generalización:

  • Los estudios de ablación mostraron que las capacidades de seguridad aprendidas vía MIRage se generalizan a categorías de seguridad no vistas (por ejemplo, Privacidad y Autolesión) e incluso se transfieren a escenarios de jailbreak de solo texto (AdvBench).

Significado y Reivindicaciones

El artículo afirma que el principal cuello de botella en la seguridad actual de los VLM no es la falta de datos, sino la falta de razonamiento visual de seguridad y el uso de etiquetas de entrenamiento demasiado simplificadas. Al cambiar el paradigma de la negativa de una sola imagen al razonamiento de múltiples imágenes con lógica de Cadena de Pensamiento (Chain-of-Thought), los autores demuestran que:

1. La seguridad y la utilidad no son mutuamente excluyentes: Los modelos pueden ser entrenados para ser altamente seguros en escenarios complejos sin volverse excesivamente conservadores o perder utilidad general.
2. El contexto de múltiples imágenes es crítico: A medida que los VLMs evolucionan para manejar entradas de múltiples imágenes, la evaluación y el entrenamiento de seguridad deben evolucionar más allá de los paradigmas de una sola imagen para abordar los riesgos contextuales.
3. El razonamiento es la clave: Incorporar la lógica de razonamiento en las etiquetas de seguridad es más efectivo que el simple rechazo, permitiendo a los modelos distinguir entre escenarios seguros e inseguros en contextos multimodales matizados.

Los autores concluyen que su trabajo sienta las bases para futuras investigaciones en datos y estrategias de seguridad más sofisticadas diseñadas específicamente para el entorno de múltiples imágenes, abordando una brecha crítica en el despliegue de VLMs seguros.