Resumen Técnico: Deriva de Alineación en LLMs Multimodales

Declaración del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) se despliegan cada vez más en sistemas del mundo real, su seguridad ante el prompting adversarial sigue siendo poco explorada, particularmente en lo que respecta a la estabilidad longitudinal. Los esfuerzos previos de red-teaming se han centrado principalmente en benchmarks centrados en el texto, sin tener en cuenta las superficies de ataque adicionales introducidas por las capacidades de visión-lenguaje. Además, la literatura existente evalúa predominantemente los modelos en puntos temporales únicos, careciendo de evidencia sobre si los comportamientos de seguridad mejoran, degradan o cambian de formas específicas de la modalidad a través de las generaciones de modelos. Existe una necesidad crítica de determinar si los inputs multimodales exacerban las vulnerabilidades y si los mecanismos de seguridad se generalizan a través de las modalidades y las actualizaciones.

Metodología

El estudio emplea un diseño de evaluación longitudinal de dos fases utilizando un benchmark adversarial fijo para evaluar la inocuidad de ocho MLLMs desplegados comercialmente a través de dos generaciones.

• Dataset: Un nuevo dataset adversarial que comprende 726 prompts redactados por 26 profesionales de red teaming. Los prompts se dividen equitativamente entre formatos de solo texto y multimodales, y apuntan a tres categorías de daño: actividad ilegal, desinformación y comportamiento poco ético. Cada prompt multimodal está emparejado con un equivalente de solo texto para aislar los efectos de la modalidad.
• Modelos Evaluados:
  • Fase 1: GPT-4o, Claude Sonnet 3.5, Pixtral 12B y Qwen VL Plus.
  • Fase 2: Modelos sucesores (GPT-5, Claude Sonnet 4.5, Pixtral Large y Qwen Omni).
• Anotación: Las respuestas de los modelos fueron evaluadas por anotadores nativos de inglés estadounidense utilizando una escala Likert de cinco puntos que va desde "Nada dañino" hasta "Extremadamente dañino". La Fase 1 utilizó 17 anotadores (2,904 respuestas) y la Fase 2 utilizó 12 anotadores (2,904 respuestas), sumando más de 82,000 calificaciones de daño humano. Los anotadores eran ciegos a la identidad del modelo y a la modalidad.
• Análisis Estadístico: Los autores utilizaron un Modelo Mixto de Enlace Acumulativo (CLMM) para modelar la noción de daño como un resultado ordinal de cinco puntos, controlando la heterogeneidad de los prompts y las diferencias de los anotadores. Se derivaron Medias Marginales Estimadas (EMMs) para comparar los niveles de daño esperados. Además, se calcularon las Tasas de Éxito de Ataque (ASR) como una medida binaria de vulnerabilidad (si se produjo cualquier contenido dañino).

Contribuciones Clave

1. Benchmarking Longitudinal: Este trabajo proporciona una de las primeras comparaciones sistemáticas y longitudinales de la seguridad de los MLLM a través de dos generaciones de modelos líderes utilizando un dataset adversarial idéntico.
2. Análisis de Seguridad Específico de la Modalidad: Aísla los efectos de la modalidad de entrada (solo texto vs. multimodal) en la seguridad, desafiando la suposición de que los inputs multimodales aumentan o disminuyen la vulnerabilidad de manera uniforme.
3. Distinción entre Rechazo y Alineación: El estudio analiza explícitamente el papel del comportamiento de rechazo en las puntuaciones de seguridad, distinguiendo entre modelos que son seguros debido a una alineación robusta frente a aquellos que son seguros debido a altas tasas de rechazo por defecto (abstención).

Resultados

Diferencias entre Familias de Modelos

• Jerarquía de Vulnerabilidad: Existen diferencias significativas y persistentes entre las familias de modelos. Los modelos Pixtral fueron consistentemente los más vulnerables, exhibiendo el mayor daño esperado y ASR en ambas fases. Los modelos Claude parecieron ser los más seguros, impulsados principalmente por altas tasas de rechazo en lugar de un comportamiento generativo inherentemente benigno. Los modelos GPT y Qwen ocuparon posiciones intermedias.
• Deriva de Alineación (Alignment Drift): Los comportamientos de seguridad no son estables a través de las generaciones.
  • GPT y Claude: Mostraron un aumento general en el ASR (GPT: +8%, Claude: +10%) de la Fase 1 a la Fase 2, indicando una regresión en la seguridad a pesar de ser modelos "más nuevos".
  • Pixtral y Qwen: Mostraron disminuciones modestas en el ASR (Pixtral: -7%, Qwen: -5%), aunque Pixtral siguió siendo la familia de mayor riesgo en general.

Efectos de la Modalidad

• Fase 1: Los prompts de solo texto fueron, en promedio, más efectivos para provocar salidas inseguras que los prompts multimodales en todos los modelos.
• Fase 2: Los efectos de la modalidad se volvieron específicos del modelo y heterogéneos.
  • GPT-5 y Claude 4.5: Exhibieron una vulnerabilidad casi equivalente a través de las modalidades, con ASRs que mostraron una diferencia mínima entre los inputs de texto y multimodales.
  • Pixtral Large: Retuvo una fuerte susceptibilidad a los prompts de solo texto, mostrando una brecha mayor entre la vulnerabilidad de texto y la multimodal en comparación con su predecesor de la Fase 1.
  • Qwen Omni: Mostró un comportamiento equilibrado similar al de GPT-5 y Claude 4.5.

Comportamiento de Rechazo

Las tasas de rechazo variaron significamente e influyeron en las puntuaciones de inocuidad. Los modelos Claude mantuvieron las tasas de rechazo más altas en ambas fases. Notablemente, los modelos sucesores de GPT y Claude produjeron sustancialmente menos rechazos por defecto que sus predecesores, mientras que Qwen Omni mostró un aumento en la tasa de rechazo en comparación con Qwen VL Plus. El estudio señala que confundir el rechazo con la finalización benigna puede oscurecer las verdaderas diferencias de alineación.

Significado y Reivindicaciones

El artículo afirma que la inocuidad de los MLLM no es uniforme ni estable a través de las actualizaciones. Los hallazgos demuestran que:

1. La Seguridad es Dinámica: Las actualizaciones de los modelos introducen tanto mejoras como regresiones, con patrones de vulnerabilidad que evolucionan de manera específica según el modelo y la modalidad. La seguridad no mejora de forma monótona a través de las generaciones.
2. La Sensibilidad de la Modalidad no es Uniforme: La efectividad de los ataques multimodales vs. solo texto no se generaliza a través de las familias de modelos o las generaciones; los modelos más nuevos pueden cerrar la brecha de la modalidad mientras otros la amplían.
3. Necesidad de Benchmarks Longitudinales: El estudio subraya la necesidad de benchmarks longitudinales y multimodales para rastrear la evolución de los comportos de seguridad. Las evaluaciones de un solo momento o basadas solo en texto corren el riesgo de pasar por alto regresiones en la robustez multimodal o cambios en la dinámica de rechazo.

Los autores concluyen que confiar en benchmarks estáticos es insuficiente para el rápidamente evolucionante panorama de los MLLM, y que las evaluaciones repetidas en datasets adversariales fijos son esenciales para diagnosticar dónde el progreso de la alineación es desigual.