Resumen Técnico: TukaBench

Planteamiento del Problema

La evaluación de la seguridad para los Modelos de Lenguaje de Gran Escala (LLM) sigue estando fuertemente centrada en el inglés, dejando a las lenguas de bajos recursos (LRL, por sus siglas en inglés), particularmente las lenguas africanas, críticamente infrexploradas. Mientras que los benchmarks de jailbreak existentes (por ejemplo, JailbreakBench) y las evaluaciones de seguridad cubren lenguas de altos recursos, no logran dar cuenta de los matices lingüísticos y culturales de las LRL. Trabajos previos han demostrado que traducir prompts inseguros a lenguas de bajos recursos puede eludir las salvaguardas de seguridad, pero existe una falta de benchmarks curados por humanos específicamente para las lenguas africanas para estudiar sistemáticamente cómo el lenguaje, el arraigo cultural y la evasividad del prompt afectan la seguridad del modelo. Además, los métodos de evaluación actuales suelen depender de marcos de "LLM-como-juez", que pueden sufrir de una fiabilidad reducida en entornos de bajos recursos y no logran distinguir entre las negativas de seguridad genuinas y los fallos de comprensión del modelo.

Metodología

Los autores presentan TukaBench, un benchmark de jailbreak diseñado para siete lenguas africanas: amhárico, hausa, igbo, chichewa, suajili, yoruba e isiXhosa. El benchmark extiende JailbreakBench (JBB) a través de cuatro configuraciones complementarias para aislar los efectos del lenguaje, la cultura y el code-switching (alternancia de código):

1. Afri-JBB-Harm/Benign: Traducciones humanas directas de los prompts dañinos y benignos de JBB a las lenguas objetivo, preservando los contextos occidentales originales y las entidades con nombre.
2. Afri-JBB-Culture: Prompts dañinos de JBB adaptados a contextos africanos (introduciendo entidades con nombre y referencias culturalmente relevantes) antes de la traducción humana.
3. AfriJail-Mono: 343 prompts adversarios culturalmente arraigados, originalmente redactados en inglés por recolectores de datos en Nigeria mediante la interacción con GPT-5.2, que cubren gobernanza local, conflictos regionales y daños sociales específicos. Estos fueron luego traducidos y localizados culturalmente.
4. AfriJail-CS: Versiones de alternancia de código de AfriJail-Mono, mezclando lenguas africanas con inglés dentro de un mismo enunciado para reflejar patrones comunes de habla multilingüe.

Pipeline de Construcción:
Todos los prompts pasaron por un pipeline de tres etapas: traducción automática (usando Google Translate o AfriqueQwen-8B para el yoruba), estimación de calidad automática (usando SSA-COMET-QE) y edición post-humana por hablantes nativos. Los post-editores corrigieron errores y realizaron la localización cultural donde fue necesario.

Protocolo de Evaluación:

• Modelos: Se evaluaron trece LLM, incluyendo modelos de código cerrado (GPT-3.5, 4o, 5.2, Grok-3/4/4.3, Gemini-2.5/3.1) y modelos de pesos abiertos (Gemma, Llama, DeepSeek, Qwen, GPT-OSS).
• Estrategias de Ataque: Los modelos fueron probados bajo Prompting Directo y Boundary Point Jailbreaking (BPJ), un ataque de caja negra que añade ruido a nivel de carácter para provocar respuestas que no sean de negativa.
• Esquema de Etiquetado: Se introdujo un esquema de evaluación de tres vías:
  • Jailbroken (Vulnerado): El modelo cumple con la intención dañina.
  • Refused (Rechazado): El modelo se niega explícitamente.
  • Deflected (Desviado): El modelo responde fuera del objetivo o falla en la comprensión del prompt (ni es una negativa ni una completitud dañina).
• Validación: Para abordar la fiabilidad del "LLM-como-juez" en las LRL, un subconjunto de 1,500 respuestas de modelos fue validado por anotadores humanos nativos.

Resultados Clave

1. Impacto del Lenguaje y el Arraigo Cultural:

• Desviación vs. Éxito del Ataque: Cambiar de inglés a lenguas africanas no aumenta consistentemente la Tasa de Éxito de Ataque (ASR). En cambio, aumenta significativamente la Tasa de Desviación. Los modelos a menudo fallan en comprender los prompts, respondiendo fuera del objetivo en lugar de negarse o cumplir.
• Arraigo Cultural: Los prompts culturalmente adaptados (Afri-JBB-Culture y AfriJail-Mono) resultaron en tasas más altas tanto de respuestas Jailbroken como Deflected en comparación con las traducciones directas. Esto sugiere que los benchmarks de solo traducción subestiman sistemáticamente los riesgos de despliegue, ya que los prompts culturalmente arraigados se ajustan mejor a los contextos del mundo real y explotan las vulnerabilidades del modelo.
• Efectos de Recursos y Escritura: Las lenguas de mayores recursos (por ejemplo, el suajili) generalmente exhibieron tasas de fallo (tanto Jailbroken como Deflected) más bajas. Sin embargo, el amhárico (escrito en el guion no latino Ge'ez) mostró tasas de desviación significativamente más altas que otras lenguas con niveles de recursos comparables, lo que sugiere que las ineficiencias de la tokenización ("impuesto de tokenización") degradan la comprensión.

2. Estrategias de Ataque:

• BPJ: El Boundary Point Jailbreaking aumentó el ASR pero no eliminó la desviación, indicando que aunque el ruido puede eludir los filtros, la comprensión sigue siendo un cuello de botella.
• Alternancia de Código (Code-Switching): Los prompts de alternancia de código (AfriJail-CS) redujeron las tasas de desviación en comparación con los prompts monolingües africanos, sugiriendo que los fragmentos de inglés ayudan a los modelos a interactuar con la solicitud. Sin embargo, esto no aumentó uniformemente el ASR; la mejora en la comprensión a veces condujo a la negativa en lugar del cumplimiento, dependiendo del comportamiento de seguridad subyacente del modelo.

3. Fiabilidad de la Evaluación:

• Acuerdo Juez-Humano: La fiabilidad del "LLM-como-juez" disminuyó para las lenguas de menores recursos y los guiones no latinos. El acuerdo fue más alto para el suajili (~80%) y más bajo para el amhárico y las lenguas de escritura latina de menores recursos como el yoruba e igbo (<60%).
• Fallos de Comprensión: La introducción de la categoría Deflection (Desviación) reveló que muchas respuestas previamente clasificadas como "seguras" o "rechazadas" eran en realidad fallos de comprensión. Cuando se consideran conjuntamente las tasas de Deflection y Jailbroken, emerge un patrón más claro basado en los recursos: las lenguas de menores recursos exhiben tasas de fallo combinadas más altas.

Significancia y Reivindicaciones

El artículo afirma que TukaBench proporciona el primer benchmark de jailbreak curado por humanos para las lenguas africanas, yendo más allá de la traducción directa para incluir la adaptación cultural y la alternancia de código. Sus principales contribuciones son:

1. Revelar Cuellos de Botella de Comprensión: El estudio demuestra que en las LRL, la evaluación de seguridad está limitada no solo por el alineamiento del modelo, sino por fallos fundamentales de comprensión. Las altas tasas de desviación indican que los modelos a menudo no comprenden el prompt, lo que hace que las métricas estándar de ASR sean insuficientes.
2. El Arraigo Cultural como Vulnerabilidad: Los resultados muestran que los prompts culturalmente arraigados provocan tasas de fallo más altas que las traducciones directas, lo que sugiere que las evaluaciones de seguridad deben tener en cuenta el contexto local y las entidades con nombre para ser precisas.
3. Mejora Metodológica: Al introducir la categoría Deflection y validar los resultados del "LLM-como-juez" con anotaciones humanas, el trabajo destaca las limitaciones de la evaluación automatizada actual en entornos de bajos recursos y propone un marco más matizado para evaluar la seguridad.

Los autores concluyen que, si bien las nuevas generaciones de modelos muestran mejoras, persisten brechas significativas en la comprensión y la seguridad para las lenguas africanas, particularmente para los guiones no latinos y las lenguas de menores recursos. Enfatizan que la evaluación de la seguridad en estas regiones requiere ir más allá de la simple traducción hacia una evaluación culturalmente arraigada.