Resumen Técnico: La ilusión de la seguridad translingüística en lenguas de bajos recursos

Declaración del Problema

La alineación de seguridad actual en los Modelos de Lenguaje de Gran Escala (LLM) se desarrolla predominantemente utilizando lenguas de altos recursos, particularmente el inglés. El supuesto prevalente es que estas salvaguardas de seguridad se generalizan universalmente a través de entornos multilingües, formando un "variedad de daño" (harm manifold) agnóstico al lenguaje. Sin embargo, este supuesto permanece poco explorado, especialmente en lo que respecta a las lenguas de bajos recursos.

Los paradigmas de evaluación existentes dependen en gran medida de traducciones literales, ignorando metáforas culturalmente específicas, lenguaje codificado y matices pragmáticos. Debido a que los modelos suelen procesar la lógica de seguridad a través de una vía interna de "pensar en inglés", los matices culturales perdidos en la traducción latente pueden eludir la alineación por completo. Esto crea errores de mapeo estructural que permiten a los actores adversarios explotar jailbreaks semánticos mediante metáforas localizadas. La "maldición de la multilingüidad" sugiere que los datos de altos recursos eclipsan los matices lingüísticos de bajos recursos, lo que plantea la pregunta de si los modelos realmente aprenden un concepto de seguridad universal o simplemente mapean disparadores sintácticos hacia un filtro centrado en el inglés.

Metodología

Para investigar la transferencia de seguridad translingüística sin depender de evaluaciones basadas en la generación, potencialmente inestables, los autores proponen un Marco Geométrico Latente. Este enfoque sondea las representaciones de los estados ocultos durante la inferencia para analizar cómo se mapean los conceptos de seguridad a través de las fronteras lingüísticas.

1. Construcción del Conjunto de Datos: LoDNA

Los autores introducen LoDNA (Low-resource Do-Not-Answer), un conjunto de datos de seguridad para cuatro lenguas africanas: twi, hausa, amhárico y suajili.

• Construcción: El conjunto de datos extiende el conjunto de datos de inglés Do-Not-Answer (DNA). Implica un proceso de dos etapas: (1) traducción literal y corrección por hablantes nativos, y (2) localización de contexto cultural, donde los prompts se reescriben para alinearse con el uso del lenguaje culturalmente fundamentado y natural, preservando la intención dañina.
• Comparación: El estudio compara Inglés Seguro ($S_{en}$), Inglés No Seguro ($U_{en}$), Lengua Objetivo Segura ($S_{\ell}$), Lengua Objetivo Dañina Literal ($L_{\ell}$) y Lengua Objetivo Dañina Culturalmente Localizada ($C_{\ell}$).

2. Análisis Geométrico

El marco analiza los estados ocultos ($h_k(x)$) extraídos de las capas de transformadores de medio a finales (específicamente las capas 14–24) a través de cuatro modelos: Mistral, Llama, Qwen2.5 y AfriqueQwen.

• Vectores de Rechazo: La dirección de rechazo en inglés se define como $r_{en}^k = \mu_k(U_{en}) - \mu_k(S_{en})$. Los desplazamientos dañinos en la lengua objetivo se definen de manera similar ($r_{\ell, lit}^k$ y $r_{\ell, ctx}^k$).
• Métricas:
  • Similitud de Coseno: Mide la alineación entre la dirección de rechazo en inglés y los vectores de la lengua objetivo.
  • Componente Retenido con Signo (SRC): Calcula el porcentaje de la dirección de rechazo en inglés recuperada por el desplazamiento en la lengua objetivo.
  • Deriva por Capa (Layer-wise Drift): Computa la diferencia en los productos punto brutos entre los prompts literales y culturales con respecto a la dirección de rechazo en inglés ($Drift_k = RawDot_A - RawDot_B$).
  • Proyección PCA: Proyecta los prompts de la lengua objetivo sobre el plano de seguridad definido por el inglés para observar el comportamiento de agrupamiento (clustering).
  • Sondeo Lineal (Linear Probing): Entrena sondas logísticas en los estados ocultos del inglés y las evalúa zero-shot en prompts de la lengua objetivo para probar el aislamiento representacional.

3. Fundamentación del Comportamiento

Para complementar los hallazgos geométricos, los autores emplean la Log-Verosimilitud de Secuencia Normalizada (SLL) y la Probabilidad de Rechazo. Estas métricas miden la probabilidad de que el modelo genere secuencias de rechazo estándar (por ejemplo, "I'm sorry", "Samahani") a través de los idiomas, corrigiendo las discrepancias de tokenización.

Principales Contribuciones

1. Conjunto de Datos LoDNA: Construcción de conjuntos de datos de seguridad para el twi, amhárico, hausa y suajili, emparejando traducciones literales con prompts culturalmente localizados.
2. Evaluación Localizada: Adaptación de prompts en inglés curados por la comunidad al twi con contextos ghaneses, permitiendo la evaluación más allá de los entornos eurocéntricos/occidentales.
3. Marco Geométrico Latente: Una metodología novedosa para analizar la alineación de seguridad translingüística a nivel representacional, evitando la dependencia de la generación de texto.
4. Diagnóstico Mecanicista: Análisis que distingue si los fallos de seguridad surgen de la complejidad semántica culturalmente fundamentada o de debilidades estructurales en el mapeo translingüístico.

Resultados y Hallazgos

1. Limitada Transferencia Translingüística

El estudio encuentra que la transferencia de seguridad translingüística está severamente limitada.

• Pérdida de Señal: Los prompts dañinos en las lenguas objetivo retienen menos del 10% de la señal de rechazo del inglés en la mayoría de los pares de modelos de lenguaje.
• Similitud de Coseno: La similitud de coseno entre los vectores de rechazo en inglés y en la lengua objetivo es generalmente cercana a cero o negativa.
• Excepción: El suajili en el modelo Llama muestra una anomalía localizada con una mayor alineación (aprox. 27% de componente retenido), pero esto no se generaliza a otras arquitecturas (Mistral, Qwen2.5) u otras lenguas.

2. Geometría Específica de la Lengua vs. Variedad Universal

• Proyecciones PCA: Al ser proyectados sobre el plano de rechazo en inglés, los prompts de las lenguas objetivo (Hausa, Twi, Amhárico) forman grupos compactos y específicos de cada lengua que no se solapan con la región insegura del inglés. Esto refuta la existencia de una variedad de daño plenamente universal y agnóstica al lenguaje.
• Representaciones Silenciadas (Siloed): Aunque los prompts literales y localizados están semánticamente alineados dentro de la lengua objetivo (coseno 0.95–0.996), estos derivan significativamente a través de las capas en relación con la línea base de seguridad del inglés. Esto sugiere que los modelos codifican los conceptos pero fallan al dirigirlos a los mecanismos de seguridad.

3. Fallos de Mapeo Estructural

• Análisis de Deriva: Los prompts literales y culturales divergen en su activación de los mecanismos de seguridad. Por ejemplo, en el hausa y el twi, las traducciones literales suelen activar la dirección de rechazo en inglés con más fuerza que los contextos culturales. Por el contrario, el amhárico muestra una deriva negativa en Qwen2.5, donde los contextos culturales se alinean mejor.
• Diferencias de Arquitectura: Los modos de fallo varían según la arquitectura. Llama exhibe una alineación bruta negativa en las capas posteriores para la mayoría de las lenguas; Mistral muestra una alineación débil e inestable; Qwen2.5 muestra grandes activaciones brutas pero una baja retención de la señal de rechazo del inglés.

4. Confirmación del Comportamiento

• Probabilidad de Rechazo: La probabilidad de emitir cualquier secuencia de rechazo estándar es catastróficamente baja (aprox. 1.05% para prompts literales y 1.15% para culturales), lo que significa que los modelos fallan en iniciar un rechazo en más del 98% de los casos.
• Resultados Cualitativos: Los modelos a menudo generan respuestas coherentes y gramaticalmente correctas en lenguas de bajos recursos que cumplen activamente con solicitudes dañinas. Esto indica que el modelo entiende el idioma y la intención, pero falla al dirigir ese entendimiento al mecanismo de rechazo.
• Problemas de Tokenización: La severa fragmentación de la tokenización, particularmente en el amhárico, conduce a la corrupción de los scripts y a salidas no léxicas, distorsionando aún más el análisis geométrico.

Significado y Reivindicaciones

El artículo argumenta que la alineación de seguridad multilingüe actual es superficial. El supuesto de una variedad de daño universal y agnóstica al lenguaje no está respaldado por la evidencia en las lenguas de bajos recursos estudiadas. En su lugar, los mecanismos de seguridad parecen estar estructuralmente limitados por un entrenamiento centrado en el inglés, creando una brecha representacional donde los prompts dañinos en lenguas objetivo no logran entrar en el límite de seguridad aprendido.

Los autores concluyen que:

1. Los fallos de seguridad en lenguas no inglesas surgen tanto de las limitaciones de mapeo translingüístico estructural como de la sensibilidad a la forma del prompt (contexto cultural).
2. Los métodos de evaluación actuales que dependen de traducciones literales y métricas basadas en la generación son insuficientes.
3. Una seguridad multilingüe robusta requiere no solo una mayor cobertura de lenguas, sino también una comprensión más profunda de cómo se representan y activan los conceptos relevantes para la seguridad a través de los contextos lingüísticos y culturales.

El estudio enfatiza que estos hallazgos son correlacionales y observacionales, derivados de modelos de 7B-8B parámetros, y que se requiere trabajo futuro para abordar los mecanismos causales y las escalas de modelos más grandes.