Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

Resumen Técnico: Mismo Modelo, Diferente Debilidad

Enunciado del Problema
Las evaluaciones de seguridad actuales para Modelos de Lenguaje Grandes Multimodales (MLLM) suelen tratar el lenguaje y la modalidad como dimensiones independientes, asumiendo que la vulnerabilidad de un modelo a ataques de jailbreak es una propiedad fija. Este trabajo desafía esa premisa, postulando que la superficie de ataque de un MLLM es estructuralmente dependiente del lenguaje. Los autores argumentan que los fallos de alineación no son uniformes entre idiomas; más bien, los mecanismos mediante los cuales los ataques lingüísticos y visuales eluden los filtros de seguridad operan a través de vías distintas. Específicamente, hipotetizan que el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) calibra los modelos para reconocer patrones retóricos de ataque (por ejemplo, juego de roles, enmarcación estratégica) principalmente en inglés, dejando estas defensas lingüísticas menos efectivas o inexistentes en otros idiomas, mientras que los canales de ataque visual pueden permanecer consistentemente vulnerables o incluso volverse más potentes cuando se eliminan las barreras lingüísticas.

Metodología
El estudio presenta la primera evaluación sistemática de red teaming multimodal y cross-lingüística que compara el inglés estadounidense (en-US) y el español mexicano (es-MX).

• Modelos Evaluados: Cuatro MLLM de vanguardia: Claude Sonnet 4.5, GPT-5, Pixtral Large y Qwen Omni. Estos fueron seleccionados como sucesores de próxima generación de los modelos evaluados en un estudio previo solo en inglés de Van Doren & Ford [1].
• Benchmark Adversarial: El estudio utilizó un conjunto fijo de 363 escenarios adversarios únicos que cubren tres categorías de daño: actividades ilegales, desinformación y comportamiento poco ético. Cada escenario se construyó con seis estrategias de ataque (por ejemplo, juego de roles, supresión de rechazo) e instanció en condiciones de solo texto y multimodal (texto + imagen).
• Protocolo Lingüístico: Todos los prompts fueron traducidos profesionalmente al español mexicano por hablantes nativos y revisados independientemente para asegurar la fidelidad a la intención adversarial sin adaptación cultural que pudiera alterar el vector de ataque.
• Recopilación de Datos: Se recopilaron un total de 52.272 calificaciones de daño y juicios binarios de éxito del ataque. Nueve anotadores hablantes nativos de inglés y nueve hablantes nativos de español evaluaron las respuestas del modelo en una escala Likert de 5 puntos. Los anotadores estaban cegados respecto a la identidad del modelo y la modalidad.
• Análisis Estadístico: Los autores emplearon modelos mixtos de efectos bayesianos (utilizando brms en R) con efectos aleatorios cruzados para prompts y calificadores. Este enfoque permitió la descomposición de la varianza atribuible al modelo, la modalidad, el idioma y sus interacciones, evitando las trampas del análisis agregado.

Contribuciones Clave

1. Evidencia Mecanística de Disociación: El estudio proporciona evidencia empírica de que los fallos de alineación lingüística y visual operan a través de mecanismos distintos. Los autores demuestran que cambiar el idioma del prompt de inglés a español causa una disociación: las técnicas de ataque lingüístico (como el juego de roles) se vuelven significativamente menos efectivas, mientras que los ataques multimodales visualmente explícitos se vuelven más efectivos. Esto sugiere que la interfaz prompt-idioma es una característica estructural de la alineación, no meramente un artefacto de la indulgencia de los anotadores.
2. Inversión de Rangos en Clasificaciones de Seguridad: El documento establece que las clasificaciones de seguridad no son transferibles entre idiomas. Mientras que Pixtral Large es el modelo más vulnerable en condiciones de inglés, Qwen Omni lo supera como el más vulnerable en condiciones de español. Esta inversión de rangos no puede recuperarse mediante correcciones escalares de las puntuaciones en condiciones de inglés, lo que indica que los benchmarks solo en inglés representan fundamentalmente mal el perfil de riesgo de los modelos para usuarios desplegados globalmente.
3. Marco Metodológico: Los autores demuestran la utilidad de un marco de efectos mixtos bayesianos en la evaluación de seguridad. Al contabilizar conjuntamente la varianza a nivel de prompt y a nivel de calificador, este método revela estructuras cross-lingüísticas y cross-modales que el análisis agregado pasaría por alto. Los autores han hecho públicos sus scripts de análisis y datos para facilitar este enfoque en futuras evaluaciones.

Resultados

• Atenuación/Amplificación Lingüística vs. Visual: En español (es-MX), los ataques lingüísticos mostraron una atenuación sustancial. Por ejemplo, los ataques de juego de roles fueron crediblemente menos efectivos (OR = 0.45) en comparación con el inglés. Por el contrario, las ejecuciones de imágenes tóxicas fueron crediblemente más efectivas en español (OR = 1.58).
• Vulnerabilidades Específicas del Modelo:
  • Claude Sonnet 4.5: Permaneció como el modelo más resistente en ambos idiomas y modalidades, con un cambio negligible en la Tasa de Éxito del Ataque (ASR) entre inglés (11.3%) y español (11.4%).
  • Pixtral Large: Mostró la mayor caída en vulnerabilidad al cambiar a español (la ASR bajó del 50.5% en en-US al 32.0% en es-MX), indicando una fuerte dependencia de la alineación lingüística específica del inglés.
  • Qwen Omni: Exhibió un patrón único donde la vulnerabilidad aumentó en español (la ASR subió del 31.2% en en-US al 35.6% en es-MX), lo que llevó a la inversión de rangos observada contra Pixtral Large.
• Tendencias Generacionales: Al comparar estos resultados con la generación anterior de modelos, las ASR absolutas disminuyeron en tres de las cuatro familias de modelos. Sin embargo, las brechas entre modelos no se cerraron y la estructura dependiente del idioma de las clasificaciones de vulnerabilidad persistió.

Significado y Afirmaciones
El documento afirma que los marcos de evaluación de seguridad que tratan el lenguaje y la modalidad como dimensiones independientes especifican fundamentalmente mal la superficie de ataque de los MLLM desplegados globalmente. El hallazgo central es que la "disociación" entre la efectividad de los ataques lingüísticos y visuales es el resultado predicho de una alineación basada en RLHF calibrada a patrones retóricos en inglés. En consecuencia, los benchmarks solo en inglés no caracterizan la superficie de ataque de los modelos desplegados a poblaciones diversas; solo caracterizan la superficie vista a través de la lente de la alineación condicionada al inglés.

Los autores argumentan que las tuberías de seguridad pre-lanzamiento deben incluir red teaming con hablantes nativos en idiomas representativos de la población objetivo de despliegue. Concluyen que la ordenación de modelos por seguridad no es una propiedad fija, sino una característica estructural de las prácticas actuales de alineación que varía según el idioma, lo que hace necesaria una redefinición de los estándares de evaluación de seguridad para incluir la descomposición de la varianza a nivel de ítem en lugar de métricas de ASR agregadas.