Resumen Técnico: KSAFE-MM

Declaración del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLM) introducen vulnerabilidades de seguridad en múltiples modalidades, particularmente cuando los inputs visuales se combinan con consultas textuales. Las evaluaciones de seguridad existentes adolecen de dos limitaciones principales:

1. Centrismo en Inglés: La mayoría de los benchmarks dependen de conjuntos de datos construidos en inglés, lo que impide captar las sutilezas lingüísticas y sensibilidades socioculturales específicas de regiones no anglófonas.
2. Enfoque en Riesgos Genéricos: Las evaluaciones actuales priorizan riesgos compartidos globalmente (por ejemplo, construcción de armas, producción de drogas), pasando por alto preocupaciones de seguridad matizadas culturalmente.

El artículo argumenta que los enfoques basados únicamente en la traducción son insuficientes. Como se demuestra en la motivación (Figura 2), los prompts adaptados culturalmente pueden aumentar la Tasa de Éxito del Ataque (ASR) del 29,38 % al 38,20 % en comparación con traducciones ingenuas. Además, los riesgos genéricos no cubren daños culturalmente específicos, como la distorsión histórica con respecto al Levantamiento Democrático del 18 de mayo o sensibilidades políticas que involucran a hackers norcoreanos y Shincheonji, los cuales son críticos en el contexto coreano.

Metodología

Los autores presentan KSAFE-MM, un benchmark integral de seguridad multimodal en coreano que comprende 14 135 muestras en 11 categorías de seguridad. El benchmark se divide en dos partes complementarias:

1. KSAFE-MM-G (Seguridad General)

Este componente evalúa riesgos compartidos globalmente adaptados al contexto coreano mediante contextualización lingüística.

• Fuente: Basado en el conjunto de datos MM-SafetyBench.
• Proceso: Una tubería de dos pasos:
  1. Selección de Consultas Dependientes del Contexto Cultural: Las consultas se categorizan como "contextuales" (que contienen elementos culturales) o "no contextuales". Se extraen frases clave y se mapean a equivalentes culturales coreanos específicos (por ejemplo, mapear "saqueo arqueológico" a "Tumbas Reales de Silla").
  2. Generación de Datos Fundamentados Culturalmente: Las consultas no contextuales se traducen directamente. Las consultas contextuales se adaptan reemplazando términos genéricos con equivalentes culturales coreanos generados por un LLM antes de la traducción. Las imágenes se editan utilizando modelos de visión-lingüística para alinearse con el texto adaptado, asegurando la consistencia cruzada de modalidades.

2. KSAFE-MM-C (Riesgos Fundamentados Culturalmente)

Este componente apunta a vulnerabilidades dependientes de la cultura utilizando consultas visuales localizadas derivadas de contextos coreanos del mundo real.

• Tubería de Construcción de Datos:
  1. Identificación de Temas Sensibles: Se recopilaron 533 temas validados de comunidades en línea nativas de Corea (por ejemplo, DCInside) e informes de problemas sociales, abarcando 11 taxonomías de seguridad.
  2. Generación de Consultas Textuales Guiada por Plantillas: Las consultas se generan utilizando plantillas predefinidas (Conocimiento, Acción, Actitud) para asegurar la consistencia semántica mientras se preserva la sintaxis natural coreana.
  3. Generación de Imágenes Sintéticas Basada en Consultas: Para reducir la dependencia de datos personales y ampliar la cobertura, se generan imágenes sintéticas a partir de las consultas textuales utilizando modelos de generación de imágenes.
  4. Inyección de Prompts de Jailbreak: Para evaluar la robustez, las consultas semilla se transforman en 10 variantes distintas de jailbreak (por ejemplo, ProgramExecution, CharacterRolePlay, SudoMode) para oscurecer la intención dañina y probar vulnerabilidades en la integración cruzada de modalidades.

Marco de Evaluación

• Modelos Evaluados: 12 MLLM de última generación, incluidos de código abierto (Qwen3-VL, Gemma, Ministral), centrados en Corea (HyperCLOVA X, A.X-4.0-VL-Light) y modelos de API de código cerrado (GPT-5 nano, Gemini 3.1).
• Métricas:
  • Tasa de Éxito del Ataque (ASR): El porcentaje de respuestas que contienen contenido dañino.
  • Tasa de Rechazo (RR): El porcentaje de consultas rechazadas por el modelo.
• Evaluación: Un marco de "LLM como juez" (utilizando GPT-5 nano y Qwen3-235B) evalúa la seguridad, con una validación humana que confirma una tasa de acuerdo del 81 % con los jueces automatizados.

Resultados Clave

1. Vulnerabilidad Cultural: Los modelos exhiben una vulnerabilidad significativamente mayor a ataques fundamentados culturalmente (KSAFE-MM-C) que a los genéricos (KSAFE-MM-G). Por ejemplo, Gemma 27B mostró una ASR del 48,6 % en KSAFE-MM-C en comparación con tasas más bajas en benchmarks genéricos.
2. Amplificación por Jailbreak: Las estrategias de jailbreak amplifican sustancialmente el éxito del ataque. La estrategia ProgramExecution arrojó una ASR del 74,2 % para Gemma 27B, en comparación con solo el 13,4 % para consultas basadas en plantillas estándar.
3. Compensación Seguridad-Utilidad: Existe una compensación sistemática entre la seguridad y el rechazo excesivo. Los modelos con baja ASR (por ejemplo, HyperCLOVA X-Think, GPT-5 nano) a menudo exhiben un comportamiento de rechazo excesivo en consultas benignas (alta RR), socavando la utilidad. Por el contrario, los modelos con bajas tasas de rechazo (por ejemplo, A.X-4.0-VL-Light) muestran una ASR significativamente más alta.
4. Datos Sintéticos vs. Reales: Las imágenes sintéticas generadas a partir de consultas del mundo real reflejan fielmente los riesgos de seguridad de las imágenes reales, mostrando solo una brecha marginal en la ASR, lo que valida la escalabilidad del enfoque de generación de datos sintéticos.

Significado y Afirmaciones

El artículo afirma que KSAFE-MM aborda una brecha crítica en la evaluación de seguridad de la IA al ir más allá de los benchmarks basados en traducción y centrados en inglés. Su importancia radica en:

• Revelar Vulnerabilidades Ocultas: Demostrar que los prompts fundamentados culturalmente y las estrategias de jailbreak exponen fallos de seguridad que las evaluaciones estándar pasan por alto, particularmente en lo que respecta a la precisión histórica, la neutralidad política y las normas sociales locales.
• Evaluación Holística: Proporcionar un marco que evalúa tanto los riesgos compartidos globalmente como las vulnerabilidades culturales específicas de la región, ofreciendo una evaluación más realista de la seguridad de los MLLM en contextos no anglófonos.
• Destacar el Problema del Rechazo Excesivo: Identificar que la optimización para una baja ASR a menudo conduce a un comportamiento excesivamente cauteloso que degrada la utilidad del modelo, sugiriendo que la alineación de seguridad futura debe equilibrar la prevención de daños con la utilidad.
• Escalabilidad: Demostrar que la tubería de construcción de datos puede adaptarse a otros idiomas (demostrado mediante un estudio piloto en un conjunto de datos japonés, JSAFE-MM-C), sugiriendo un camino para benchmarks de seguridad específicos de la región a nivel global.

Los autores concluyen que la evaluación de seguridad fundamentada culturalmente es urgente y que los MLLM actuales requieren estrategias de alineación más robustas que tengan en cuenta los contextos culturales locales y las técnicas de prompting adversario.