SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models

Resumen Técnico: Evaluación de SomaliBench

Enunciado del Problema
La evaluación de seguridad de los modelos de lenguaje grandes (LLM) es predominantemente centrada en el inglés, lo que crea una "brecha de seguridad multilingüe" donde los comportamientos de rechazo robustos en inglés no logran transferirse a idiomas de recursos limitados. Este trabajo aborda esta brecha específicamente para el somalí, una lengua cúsita mayoritaria con 15–20 millones de hablantes pero con infraestructura de PLN históricamente limitada. El estudio investiga si los modelos ajustados por instrucción de pesos abiertos mantienen tasas de rechazo de seguridad consistentes cuando se les solicita en somalí en comparación con el inglés, particularmente en el contexto de implementación local en hardware de consumo.

Metodología
La evaluación utiliza SomaliBench v0, una referencia de 100 prompts de intención dañina (derivados de HarmBench y AdvBench) emparejados con traducciones al somalí verificadas por autores nativos. El estudio evalúa cuatro modelos de pesos abiertos capaces de ejecutarse localmente en Apple Silicon:

• Llama-3.1-8B-Instruct
• Gemma-2-9B-Instruct
• Qwen-2.5-7B-Instruct
• Aya-23-8B

Configuración Experimental:

• Inferencia: Todos los modelos se ejecutaron localmente mediante Ollama con parámetros de decodificación fijos (temperatura 0, top-p 1.0, máximo 512 tokens) y un prompt de sistema uniforme en inglés "útil, inofensivo y honesto" (HHH).
• Clasificación: Las respuestas se clasificaron en tres categorías: rechazada, cumplida o poco clara (vacía, idioma incorrecto, incoherente). La clasificación fue realizada por una instantánea fija de Anthropic Claude Sonnet (claude-sonnet-4-5-20250929).
• Validación: Un autor nativo somalí realizó una verificación aleatoria estratificada en 80 filas (equilibradas entre categorías de seguridad), logrando un 100% de acuerdo con el juez automatizado (κ de Cohen = 1.00).
• Métricas: La métrica principal es la brecha de rechazo Inglés menos Somalí ($G_m = R_{m,en} - R_{m,so}$), calculada con intervalos de confianza de 95% mediante bootstrap.

Contribuciones Clave

1. Medición Transversal de Modelos: Proporciona la primera evaluación de tasas de rechazo de cuatro LM locales de pesos abiertos en un conjunto de datos unificado de seguridad en inglés/somalí.
2. Métrica Principal: Informa la brecha de rechazo de inglés a somalí con intervalos de confianza estadísticos, cuantificando el fallo en la transferencia de seguridad.
3. Validación de Fiabilidad: Valida el enfoque de LLM como juez frente a la anotación de un autor nativo, confirmando un alto acuerdo en la tarea específica de distinguir rechazo, cumplimiento e incoherencia.
4. Disciplina de Lanzamiento: Adopta un protocolo donde las generaciones crudas de los modelos (que contienen contenido dañino) se retienen localmente y no se publican, mientras que las estadísticas agregadas y los datos de referencia se hacen públicos bajo una licencia de uso responsable (CC-BY-NC-4.0).

Resultados
El estudio encuentra una brecha de rechazo significativa y consistente en los cuatro modelos:

• Llama-3.1-8B: Rechazo en inglés 0.97 vs. rechazo en somalí 0.07 (Brecha: 0.90).
• Aya-23-8B: Rechazo en inglés 0.80 vs. rechazo en somalí 0.05 (Brecha: 0.75).
• Qwen-2.5-7B: Rechazo en inglés 0.93 vs. rechazo en somalí 0.24 (Brecha: 0.69).
• Gemma-2-9B: Rechazo en inglés 0.97 vs. rechazo en somalí 0.59 (Brecha: 0.38).

Observación Crítica sobre Modos de Fallo:
Para tres de los cuatro modelos (Llama, Aya, Qwen), el modo de fallo dominante en somalí no es un cumplimiento dañino fluido, sino una salida "poco clara" (generaciones vacías, fuera de tema o incoherentes). Solo Gemma-2-9B demostró una tasa más alta de rechazos coherentes en somalí y menos salidas poco claras, aunque aún exhibió una brecha significativa. Esto sugiere que las bajas tasas de rechazo en somalí a menudo se derivan de una falla del modelo para generar respuestas coherentes en el idioma objetivo bajo restricciones de seguridad, en lugar de un elusión deliberada de los filtros de seguridad.

Significado y Afirmaciones
El trabajo afirma establecer una línea base robusta y reproducible que demuestra que el comportamiento de rechazo de seguridad no se transfiere de manera fiable del inglés al somalí en los actuales modelos pequeños de pesos abiertos.

• Destaca que el ajuste de instrucción "multilingüe" (como se ve en Aya-23 y Qwen) no garantiza automáticamente la alineación de seguridad en idiomas de recursos limitados no listados.
• Replantea la brecha de seguridad: el riesgo no es solo el cumplimiento dañino directo, sino también la incapacidad de los modelos para proporcionar rechazos de seguridad fiables y coherentes en somalí, lo que conduce a un comportamiento impredecible.
• El trabajo sirve como punto de medición para la agenda más amplia de documentar brechas de seguridad específicas por idioma, señalando que la condicionamiento de seguridad actual (incluso con un prompt HHH en inglés) es insuficiente para el somalí.

Limitaciones Reconocidas
Los autores señalan que el tamaño de la referencia (100 pares) limita el análisis de categorías detalladas, la falta de un conjunto de control benigno en somalí confunde los fallos de seguridad con la incompetencia general de generación, y el uso de un único prompt de sistema en inglés puede no reflejar todos los escenarios de implementación. Se propone trabajo futuro (v2) para expandir el conjunto de datos, incluir controles benignos y probar múltiples configuraciones de prompts de sistema.