Resumen Técnico: Explorando la Robustez Adversaria y la Alineación de Seguridad en Modelos de Lenguaje Grandes Multilingües y Multimodales

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) integran la percepción visual con el razonamiento lingüístico, creando una superficie de ataque continua susceptible a perturbaciones adversarias. Si bien investigaciones previas han examinado la robustez de los MLLM, las evaluaciones han sido abrumadoramente centradas en el inglés, dejando prácticamente inexplorado el comportamiento de estos modelos en entornos multilingües.

Existe una brecha crítica en comprender si los MLLM multilingües, particularmente aquellos adaptados mediante el ajuste de instrucciones (instruction tuning), poseen una alineación de seguridad genuina a través de diversos idiomas o si su aparente seguridad en lenguas de bajos recursos es un artefacto de la falla de comprensión. Además, no está claro si las vulnerabilidades adversarias (tanto en razonamiento como en seguridad) se transfieren entre idiomas, dado que las entradas visuales residen en un espacio continuo y de alta dimensión susceptible a la optimización basada en gradientes.

2. Metodología

Los autores llevan a cabo un estudio sistemático a través de 12 idiomas tipológicamente diversos (árabe, bengalí, chino, inglés, francés, hindi, japonés, portugués, ruso, español, turco y urdu). La evaluación se centra en dos MLLM de código abierto representativos que adquieren capacidades multilingües mediante el ajuste de instrucciones multilingüe multimodal (PALO y PARROT) y un modelo que integra datos multilingües durante todo su proceso de entrenamiento (QWEN3-VL).

Construcción del Benchmark

Para abordar la falta de benchmarks multilingües, los autores construyeron un conjunto integral adaptando conjuntos de datos existentes centrados en el inglés (COCO, Flickr30k, LLaVA-Bench, RealToxicityPrompts, MM-SafetyBench) a 12 idiomas. Esto se logró mediante un riguroso proceso de Traducción-y-Verificación (Translate-then-Verify):

1. Traducción multi-modelo: Uso de un grupo de LLMs para generar traducciones candidatas.
2. Consistencia de retrotraducción: Filtrado de candidatos basado en la fidelidad semántica mediante retrotraducción.
3. Verificación humana: Hablantes nativos validaron las traducciones finales y la renderización tipográfica.
   El conjunto resultante comprende más de 60,000 instancias adaptadas.

Ejes de Evaluación

El estudio evalúa los modelos a lo largo de dos ejes complementarios:

1. Ataques Adversarios Basados en Gradientes (Caja Blanca):
   • Robustez: Optimización de perturbaciones visuales ($\delta$) para degradar el rendimiento de la descripción de imágenes (captioning) y el razonamiento (maximizando la pérdida de entropía cruzada) en un idioma de origen y evaluando su transferencia a idiomas de destino.
   • Jailbreaking Visual: Optimización no restringida de imágenes de ruido para inducir respuestas dañinas al combinarse con prompts textuales, probando la transferencia de seguridad translingüística.
2. Seguridad Multimodal No Adversaria:
   • Seguridad Solo de Texto: Consulta de modelos con instrucciones dañinas en varios idiomas para evaluar la comprensión lingüística y el rechazo.
   • Seguridad Tipográfica: Inserción de palabras clave dañinas directamente en imágenes (modalidad visual) manteniendo el prompt de texto benigno, probando la capacidad del codificador visual para procesar y rechazar texto multilingüe.

3. Resultados Clave

Transferibilidad Adversaria Translingüística

• Vulnerabilidad Compartida: Las perturbaciones adversarias optimizadas en un solo idioma de origen se transfieren ampliamente a otros idiomas de evaluación. Esto indica que los MLLM poseen un espacio de representación multimodal compartido donde existen vulnerabilidades adversarias agnósticas al lenguaje.
• Asimetría: Los ataques diseñados en idiomas de altos recursos o dominantes en LLMs (por ejemplo, inglés, chino) tienden a causar caídas de rendimiento mayores en las evaluaciones en inglés en comparación con los ataques provenientes de idiomas de bajos recursos. Sin embargo, incluso los ataques de idiomas de bajos recursos (por ejemplo, bengalí) logran degradar el rendimiento en idiomas de altos recursos.
• Alcance: Esta transferibilidad se mantiene tanto para la descripción de formato corto (COCO, Flickr30k) como para el razonamiento de formato largo (LLaVA-Bench).

Comportamiento de Seguridad: "¿Seguridad por Falla?" vs. Alineación Genuina

El estudio identifica una distinción crítica en el comportamiento de seguridad basada en cómo se adquiere la capacidad multilingüe:

• Modelos Ajustados por Instrucciones (PALO, PARROT):

  • Seguridad Aparente: Estos modelos exhiben tasas bajas de respuestas inseguras en idiomas de bajos recursos (por ejemplo, bengalí, urdu) y escrituras no inglesas.
  • El Mecanismo: Esta seguridad es una ilusión denominada "Seguridad por Falla" (Safety-by-Failure). Las bajas tasas de respuestas inseguras coexisten con bajas tasas de rechazo. Los modelos fallan en comprender la intención dañina (debido a un débil fundamento lingüístico o un mal OCR para escrituras no inglesas) y, en su lugar, generan salidas alucinadas, irrelevantes o repetitivas. No rechazan el daño; simplemente no lo detectan.
  • Sesgo Tipográfico: Cuando el texto dañino se incrusta en imágenes, los scripts en inglés se procesan de manera confiable y se siguen, mientras que los scripts no inglesas rara vez son reconocidos, lo que conduce a tasas de inseguridad cercanas a cero que reflejan una falla de fundamentación visual en lugar de una alineación de seguridad.

• Modelos Profundamente Integrados (QWEN3-VL):

  • Seguridad Genuina: QWEN3-VL, que incorpora datos multilingües a través de las etapas de preentrenamiento y alineación, exhibe un perfil cualitativamente diferente. Mantiene tasas de rechazo activas en varios idiomas.
  • Patrón Invertido: Los idiomas que parecían más "seguros" bajo los modelos ajustados por instrucciones (bengalí, urdu) revelan la mayor vulnerabilidad residual en QWEN3-VL. Esto confirma que QW3-VL comprende genuinamente las consultas dañinas y elige activamente rechazarlas, exponiendo brechas de alineación reales en lugar de enmascararlas con fallas de comprensión.

4. Contribuciones Clave

1. Suite de Benchmarks Multilingües: La creación de un conjunto de benchmarks disponible públicamente, rigurosamente traducido y verificado, que cubre 12 idiomas tanto para la robustez adversaria como para la seguridad multimodal.
2. Descubrimiento de la Transferibilidad Translingüística: Demostración de que las vulnerabilidades adversarias basadas en gradientes son compartidas en el espacio de representación multimodal, transfiriéndose efectivamente independientemente del idioma utilizado para la optimización o la evaluación.
3. Identificación de la "Seguridad por Falla": El hallazgo de que la adaptación multilingüe superficial (solo ajuste de instrucciones) crea una seguridad ilusoria en idiomas de bajos recursos. Los modelos parecen seguros porque fallan en comprender la entrada, no porque estén alineados para rechazarla.
4. Comparación de Paradigmas de Entrenamiento: Provisión de evidencia de que integrar la capacidad multilingüe a lo largo de todo el proceso de entrenamiento (como en QWEN3-VL) conduce a una seguridad translingüística genuina y un rechazo activo, mientras que el ajuste de instrucciones post-hoc resulta en una seguridad frágil y dependiente de la comprensión.

5. Significado y Reivindicaciones

El artículo argumenta que la adaptación multilingüe superficial (por ejemplo, el ajuste fino sobre datos de instrucción traducidos) es insuficiente para garantizar MLLM robustos y seguros. Produce una comprensión multilingüe superficial que crea una seguridad ilusoria en idiomas de bajos recursos.

Los autores afirman que la verdadera alineación de seguridad requiere una integración más profunda de la capacidad multilingüe en todas las etapas de entrenamiento. Sin esto, los modelos pueden parecer seguros en entornos no ingleses simplemente porque no pueden procesar el idioma o la escritura, un modo de falla que enmascara la ausencia de una alineación de seguridad genuina. El estudio destaca que las evaluaciones de seguridad deben ir más allá de los benchmarks centrados en el inglés para revelar estas vulnerabilidades ocultas y el fenómeno de la "seguridad por falla".

El trabajo concluye que mejorar la capacidad multilingüe por sí sola no es suficiente; la alineación de seguridad debe ser considerada y validada explícitamente en todos los idiomas soportados para asegurar un comportamiento de seguridad consistente y genuino.