Resumen Técnico: XL-SafetyBench

Declaración del Problema

Las actuales evaluaciones de seguridad para Modelos de Lenguaje de Gran Escala (LLM) son predominantemente centradas en el inglés y dependen en gran medida de metodologías basadas en la traducción. Este enfoque falla al capturar daños específicos de cada país que se fundamentan en marcos legales locales, estructuras socioeconómicas y normas culturales. Además, las evaluaciones existentes tratan la seguridad como una dimensión monolítica, sin distinguir entre dos modos de fallo distintos: (1) la incapacidad de resistir intenciones maliciosas y adversarias (jailbreaks), y (2) la incapacidad de detectar sensibilidades culturalmente incrustadas dentro de solicitudes inocuas. En consecuencia, los modelos pueden parecer seguros debido a fallos de comprensión en lugar de una alineación genuina, y la conciencia cultural a menudo se confunde con la fluidez lingüística general.

Metodología

Los autores presentan XL-SafetyBench, una suite de evaluación integral que comprende 5.500 casos de prueba en 10 pares de país-idioma (Estados Unidos, Francia, Alemania, España, Corea del Sur, Japón, India, Indonesia, Turquía y los Emiratos Árabes Unidos). El marco se construye mediante una tubería de múltiples etapas que combina descubrimiento asistido por LLM, validación automatizada y anotación independiente dual por hablantes nativos.

La evaluación consta de dos pistas complementarias:

1. Evaluación de Jailbreak (Robustez Adversaria Fundamentada en el País)

Esta pista evalúa la capacidad de un modelo para resistir intenciones maliciosas específicas del contexto de un país.

• Taxonomía: Define cinco categorías de daño (Actividades Criminales, Autolesión y Consejos Peligrosos, Odio y Discriminación, Conflictos Socioeconómicos, Política y Desinformación). Cada categoría incluye 25 subcategorías compartidas (idénticas entre países) y 25 subcategorías flexibles (específicas del país, por ejemplo, "fraude Jeonse" en Corea del Sur o "contrabando de drogas en lanchas rápidas" en Francia).
• Generación: Utiliza una tubería iterativa de red-teaming (extendiendo el marco PAIR) con un atacante, un objetivo de sondeo y un juez. Los atacantes generan prompts disfrazados para eludir los filtros de seguridad, validados por hablantes nativos para garantizar la autenticidad cultural.
• Métricas:
  • Tasa de Éxito del Ataque (ASR): Mide el porcentaje de respuestas que proporcionan información dañina.
  • Tasa Neutral-Segura (NSR): Mide las respuestas que son irrelevantes o incoherentes (indicando un fallo de comprensión en lugar de una negativa basada en principios).

2. Evaluación Cultural (Sensibilidades Culturalmente Incrustadas)

Esta pista evalúa la capacidad de un modelo para detectar tabúes culturales incrustados como detalles incidentales dentro de tareas naturales y no dañinas.

• Taxonomía: Define seis categorías culturales (Tabúes Simbólicos y Regalos, Comida/Ley Dietética, Muerte/Duelo, Vida Diaria/Conducta Pública, Jerarquía/Deferencia Social, Minas Legales).
• Generación: Se generan escenarios donde una violación cultural (por ejemplo, tirar el pan en Turquía) se entierra como un detalle menor dentro de una solicitud más grande y distractora (por ejemplo, un procedimiento de salida de hotel).
• Métricas:
  • Tasa de Sensibilidad Cultural (CSR): El porcentaje de respuestas contextualmente relevantes que reconocen y señalan explícitamente la sensibilidad cultural incrustada. Esta métrica condiciona que el modelo comprenda el escenario para aislar la conciencia cultural de los fallos generales en el seguimiento de instrucciones.

Contribuciones Clave

1. Marco de Doble Dimensión: El artículo propone separar la evaluación de seguridad en robustez adversaria (resistir daño explícito) y sensibilidad cultural (detectar normas implícitas), argumentando que estas son capacidades distintas que requieren informes separados.
2. Construcción Fundamentada en el País: A diferencia de las evaluaciones basadas en traducción, XL-SafetyBench genera prompts en idioma nativo fundamentados en leyes locales, fenómenos sociales y tabúes culturales específicos, validados por hablantes nativos con experiencia en el dominio.
3. Métricas Novedosas: La introducción de NSR para distinguir entre negativas "seguras" y fallos de comprensión "inseguros", y CSR para medir la detección cultural implícita en lugar de la recuperación explícita de conocimientos.
4. Evaluación Integral: La evaluación examina 37 modelos, incluidos 10 modelos globales de vanguardia y 27 modelos locales específicos de cada país.

Resultados y Análisis

La evaluación de 37 modelos arroja dos hallazgos principales:

1. Desacoplamiento de la Seguridad y la Conciencia Cultural

Entre los modelos de vanguardia, la robustez ante jailbreaks (baja ASR) y la conciencia cultural (alta CSR) no exhiben una relación acoplada.

• Modelos de Vanguardia: Mientras que modelos como Claude-4.5-Sonnet demuestran alta robustez (ASR ~2.8%) y moderada conciencia cultural (CSR ~68%), otros como Gemini-3.1-Pro muestran alta conciencia cultural (CSR ~76%) pero menor robustez. La correlación entre ASR y CSR es débil ($r = -0.27$) al excluir valores atípicos de peso abierto, lo que indica que la alineación de seguridad no confiere automáticamente competencia cultural.
• Modelos Locales: Los modelos locales generalmente exhiben un rendimiento pobre en ambos ejes, con muchos obteniendo puntuaciones cercanas a cero en sensibilidad cultural.

2. La Ilusión de Seguridad en Modelos Locales

Un hallazgo crítico sobre los modelos locales específicos de cada país es la fuerte correlación negativa entre ASR y NSR ($r = -0.81$).

• Fallo de Comprensión: Muchos modelos locales con baja ASR (que parecen "seguros") logran esto no rechazando solicitudes dañinas, sino generando salidas irrelevantes, degeneradas o incoherentes (alta NSR).
• Dependencia de la Escala: Este compromiso está vinculado a la escala del modelo. Los modelos locales más pequeños (<10B parámetros) a menudo fallan al comprender prompts adversarios, inflando su NSR. Solo los modelos que superan los ~50B parámetros muestran una caída significativa en NSR, indicando un umbral para la comprensión genuina. Sin embargo, incluso los modelos locales más grandes (por ejemplo, EXAONE-236B) se quedan significativamente atrás de los modelos de vanguardia en sensibilidad cultural (CSR máxima ~30% frente a >60% en vanguardia).

Significado y Afirmaciones

El artículo afirma que XL-SafetyBench proporciona la granularidad necesaria para evaluar la seguridad y la competencia cultural como capacidades distintas en la era multilingüe. Argumenta que:

• Las puntuaciones compuestas son engañosas: La agregación de métricas de seguridad oscurece variaciones críticas entre la robustez adversaria y la conciencia cultural.
• El entrenamiento local es insuficiente: El pre-entrenamiento con datos en idioma local no garantiza la conciencia cultural ni una alineación de seguridad genuina; a menudo resulta en modelos que no logran comprender el prompt en su totalidad.
• La evaluación debe desagregarse: Los informes de seguridad deben separar ASR, NSR y CSR para diagnosticar con precisión si un modelo está alineado, es culturalmente consciente o simplemente falla al comprender.

Los autores concluyen que las prácticas actuales de evaluación de seguridad, particularmente aquellas que dependen de la traducción o puntuaciones de una sola dimensión, no logran capturar los matices de los daños fundamentados en el país y las sensibilidades culturales, haciendo necesarios marcos como XL-SafetyBench para una evaluación equitativa y precisa.