Why Do Safety Guardrails Degrade Across Languages?

Resumen Técnico: ¿Por qué se degradan las barreras de seguridad entre idiomas?

Declaración del Problema
Los Modelos de Lenguaje Grande (LLM) exhiben barreras de seguridad degradadas en idiomas distintos al inglés, particularmente en idiomas de recursos limitados. Las métricas de evaluación estándar, como la Tasa de Éxito de Jailbreak (JSR) o la Tasa de Éxito de Ataque (ASR), agregan resultados binarios en un único escalar. Este enfoque crea comparaciones "de manzanas con naranjas", confundiendo múltiples factores que impulsan la seguridad —como la capacidad del modelo, la dificultad del prompt, los costos de procesamiento del idioma y los errores de traducción— en una sola métrica. En consecuencia, la JSR no puede desentrañar si un fallo de seguridad se origina en una falta de capacidad de seguridad del modelo, dificultad intrínseca del idioma, corrupción de traducción o desacoples conceptuales culturales.

Metodología
Los autores proponen un marco de Teoría de Respuesta al Ítem (IRT) Multi-Grupo para descomponer los fallos de seguridad en parámetros latentes distintos. A diferencia de las métricas agregadas estándar, este modelo asigna cada fuente de fallo a una variable específica:

1. Capacidad de Seguridad ($\theta_j$): La robustez de seguridad agnóstica al idioma del modelo $j$.
2. Dificultad Intrínseca del Prompt ($\beta_i$): La dificultad inherente del prompt $i$ (derivado del inglés).
3. Dificultad Global de Procesamiento del Idioma ($\gamma_L$): El costo global de procesamiento asociado al idioma $L$.
4. Brecha de Seguridad Translingüística ($\tau_{iL}$): Un residual específico del prompt que representa el Funcionamiento Diferencial del Ítem (DIF). Esto captura la brecha de seguridad para un prompt específico en un idioma específico después de controlar la capacidad y los efectos globales del idioma.
5. Aptitud Lingüística ($\delta_{jL}$): Un desplazamiento específico del modelo en el rendimiento para el idioma $L$.

La probabilidad de una respuesta segura se modela como:
$$P(\text{seguro}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
donde $\alpha_i$ es el parámetro de discriminación del ítem.

Configuración Experimental

• Conjunto de Datos: El estudio utiliza MultiJail (3.150 prompts, 10 idiomas, 18 categorías de daño) y valida los hallazgos en XSafety.
• Modelos: 61 configuraciones de modelos a través de 5 familias (GPT, Claude, DeepSeek, Gemini, Grok).
• Escala: Conjunto de datos agregado de 1,9 millones de filas.
• Protocolo de Evaluación: Para mitigar el ruido estocástico, los autores emplean Pass@k (específicamente Pass@10), generando $k$ respuestas independientes por prompt para estimar la distribución de respuestas en lugar de depender de salidas de un solo paso.
• Evaluación: Las respuestas se califican en una escala Likert de 6 puntos por GPT-5.2, validadas contra hablantes nativos humanos y jueces secundarios de LLM (Claude, Gemini).
• Selección de Anclajes: Se seleccionan prompts invariantes entre idiomas utilizando la estadística $\chi^2$ de Lord para fijar la escala de medición, aplicando una priori Normal estricta a los anclajes.
• Regularización: Se aplica una priori Horseshoe jerárquica a $\tau_{iL}$ para imponer dispersión, evitando que el modelo confunda los efectos globales del idioma ($\gamma_L$) con las brechas específicas del prompt ($\tau_{iL}$).

Resultados Clave

1. Unidimensionalidad de la Seguridad: El Análisis Factorial Exploratorio (EFA) revela que la seguridad es en gran medida unidimensional. Los modelos rechazan diferentes tipos de daño principalmente a través de un mecanismo compartido (KMO = 0,942, ratio de dominancia = 7,37), lo que justifica un modelo IRT global en lugar de modelos separados por categoría de daño.
2. El Fenómeno de la "Reversión del Inglés": Contrario a la suposición de que la seguridad se degrada más en idiomas de recursos limitados, 22 de 61 configuraciones de modelos (incluyendo las 16 variantes de Grok y 4 variantes de DeepSeek) exhiben sus tasas de fallo más altas en inglés. Para estos modelos, el rendimiento de seguridad es marginalmente mejor en idiomas de recursos limitados que en inglés.
3. Incertidumbre de la Respuesta: Los idiomas de recursos limitados producen respuestas significativamente más inciertas (mayor entropía) y una proporción más alta de casos de "límite" en comparación con los idiomas de recursos abundantes. Los modelos de alta capacidad operan más cerca del límite de decisión en estos idiomas.
4. Calidad de Traducción vs. Brechas de Seguridad:
   • La calidad de la traducción se correlaciona débilmente con la seguridad agregada y las brechas de seguridad translingüísticas ($\tau$), explicando solo el $\sim1\%$ de la varianza de $\tau$.
   • Sin embargo, las mala traducciones graves (por ejemplo, "conectar los cables de un coche" traducido como "calentar un coche") actúan como valores atípicos de alto sesgo, inflando artificialmente $\tau$ al sanitizar la intención dañina.
   • Brechas Culturales y Conceptuales: El análisis de hablantes nativos de prompts de alto $\tau$ con calidad de traducción perfecta revela que los desacoples en el encuadre cultural (por ejemplo, términos específicos de EE. UU. como "FBI" o "SSN") y la fundamentación conceptual contribuyen a las brechas de seguridad. Los prompts de alto $\tau$ se agrupan en categorías de daño físico (Robo, Armas) en lugar de las abstractas.
5. Validez Predictiva: El marco IRT completo logra un AUC de 0,940 en la predicción de rechazos seguros, superando a las líneas base más simples (por ejemplo, AUC de Tasa de Idioma = 0,531). Crucialmente, en la validación Leave-One-Language-Out (LOLO), el marco IRT mantiene un rendimiento sólido (AUC $\approx$ 0,875) aprovechando la estructura latente, mientras que las líneas base colapsan al azar.

Significado y Afirmaciones
El artículo afirma ir más allá de las métricas agregadas para proporcionar un marco diagnóstico para la seguridad multilingüe. Al desacoplar la capacidad, la dificultad del idioma y las brechas específicas del prompt, el marco:

• Revela que la degradación de la seguridad no es uniforme; algunos modelos son en realidad menos seguros en inglés.
• Identifica que, aunque los errores de traducción son un factor menor en general, causan valores atípicos graves que distorsionan la evaluación.
• Destaca que los desacoples culturales y conceptuales, particularmente en categorías de daño físico, impulsan brechas de seguridad significativas incluso cuando la traducción es precisa.
• Proporciona un método para la remediación dirigida, permitiendo a los profesionales identificar pares específicos de prompt-idioma con alto $\tau$ para mejoras en la construcción de conjuntos de datos o ajuste fino.
• Critica las prácticas actuales de evaluación de LLM (JSR/ASR) como generalmente inválidas para comparaciones entre configuraciones debido a factores de confusión, abogando por enfoques psicométricos como la IRT.

Los autores señalan limitaciones, incluida la dependencia de modelos de API cerrada (lo que impide el análisis de activaciones internas), el potencial de sesgo residual del juez en idiomas no nativos, y el hecho de que el mecanismo de "reversión del inglés" permanece como comportamiento en lugar de estar explicado mecánicamente.