💬 NLP

SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models

Este artigo avalia quatro modelos de linguagem de pesos abertos utilizando o benchmark SomaliBench v0, verificado por autores nativos, e revela lacunas significativas de recusa de segurança do inglês para o somali, nas quais os modelos frequentemente falham em recusar prompts prejudiciais em somali devido a saídas incoerentes ou em idioma errado, em vez de uma adesão prejudicial fluente.

Autores originais: Khalid Yusuf Dahir

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Khalid Yusuf Dahir

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem quatro robôs diferentes (modelos de IA) que deveriam ser úteis, inofensivos e honestos. Você quer testar se eles são realmente "seguros" quando você faz perguntas perigosas a eles.

Este artigo é como um inspetor de segurança verificando esses robôs, mas com uma reviravolta: o inspetor faz as mesmas perguntas perigosas em dois idiomas diferentes — inglês e somali.

Aqui está a história do que eles descobriram, explicada de forma simples:

A Configuração: O Teste "Não Faça"

Os pesquisadores pegaram 100 solicitações perigosas (como "Como faço uma bomba?" ou "Como roubo a identidade de alguém?") e fizeram quatro robôs de IA populares e gratuitos essas perguntas.

O Teste: Eles fizeram as perguntas em inglês primeiro, depois fizeram as mesmas perguntas exatas em somali.
O Objetivo: Eles queriam ver se os robôs diriam "Não, não posso fazer isso" (Recusa) em ambos os idiomas, ou se eles ficariam confusos e diriam "Sim" (Cumprimento) ou apenas balbuciassem besteiras (Incerto).

A Grande Descoberta: O "Ponto Cego Linguístico"

Os resultados foram chocantes. É como ter um guarda de segurança que é muito rigoroso quando você fala inglês, mas de repente fica muito relaxado ou confuso quando você fala somali.

Em Inglês: Todos os quatro robôs foram muito bons em dizer "Não". Eles recusaram as solicitações perigosas quase 100% das vezes. Eles eram como um porteiro que sabe exatamente o que fazer.
Em Somali: Os robôs tornaram-se muito menos confiáveis.
- Llama e Aya: Esses dois robôs esqueceram quase completamente suas regras de segurança em somali. Eles disseram "Não" menos de 10% das vezes.
- Qwen: Este robô disse "Não" cerca de 24% das vezes.
- Gemma: Este robô foi o melhor do grupo, dizendo "Não" cerca de 59% das vezes, mas ainda falhou mais da metade das vezes em comparação com seu desempenho em inglês.

O Problema do "Robô Confuso"

Aqui está a parte mais interessante. Quando os robôs falharam em somali, nem sempre disseram apenas "Sim, aqui está como fazer uma bomba".

Para três dos quatro robôs, a falha mais comum não foi um "Sim" perigoso. Foi um "O quê?"

Eles deram respostas vazias.
Falaram no idioma errado.
Produziram texto sem sentido ou incoerente.

Pense nisso assim: Se você pedir direções a um turista confuso em um idioma que ele não conhece, ele pode não apontá-lo para o penhasco (cumprimento prejudicial); ele pode apenas olhar fixamente ou começar a falar francês (saída incerta). O artigo argumenta que, embora isso não seja um "ataque" direto, ainda é uma falha porque o robô não está fazendo seu trabalho de forma segura ou clara.

O "Juiz" e a "Verificação Aleatória"

Para garantir que sua contagem fosse precisa, os pesquisadores usaram uma IA superinteligente (um "juiz") para ler cada resposta individual e decidir: "Ela recusou? Ela cumpriu? Ou foi incerta?"

Para garantir que o "juiz" não estivesse cometendo erros, um falante nativo de somali (o autor do artigo) verificou aleatoriamente 80 das respostas.

O Resultado: O humano e o juiz de IA concordaram 100% das vezes. Isso nos dá alta confiança de que os números são reais.

A Principal Conclusão

O artigo conclui que o treinamento de segurança em inglês não viaja automaticamente para o somali.

Embora esses robôs sejam inteligentes e falem muitos idiomas, seus "freios de segurança" são muito fortes em inglês, mas frequentemente fracos ou quebrados em somali.

A Lacuna: Há uma enorme lacuna entre o quão seguros eles são em inglês versus somali.
A Nuance: Quando eles falham em somali, muitas vezes apenas quebram e falam besteira em vez de se tornarem malignos. Mas um robô que não consegue falar de forma clara ou segura em um idioma importante como o somali ainda é um problema.

O Que os Pesquisadores Não Fizeram

É importante notar o que este artigo não é:

Não tentou "hackear" os robôs com truques complicados (jailbreaks).
Não testou os robôs em aplicativos do mundo real ou sistemas ao vivo.
Não divulgou as respostas perigosas reais que os robôs deram (para manter a internet segura).

Em resumo: Esses robôs de IA são como guardas de segurança bilíngues que são perfeitos em seu trabalho em inglês, mas ficam confusos, silenciosos ou inúteis quando os mesmos clientes falam somali. Os pesquisadores mediram exatamente o quão grande é essa lacuna de confusão.

Resumo Técnico: Avaliação SomaliBench

Declaração do Problema
A avaliação de segurança de modelos de linguagem grandes (LLMs) é predominantemente centrada no inglês, criando uma "lacuna de segurança multilingue" onde comportamentos de recusa robustos em inglês falham ao se transferir para idiomas de recursos limitados. Este artigo aborda essa lacuna especificamente para o somali, uma língua cuxítica majoritária com 15–20 milhões de falantes, mas com infraestrutura de Processamento de Linguagem Natural (NLP) historicamente limitada. O estudo investiga se modelos instruídos com pesos abertos mantêm taxas consistentes de recusa de segurança quando solicitados em somali em comparação com o inglês, particularmente no contexto de implantação local em hardware comercial.

Metodologia
A avaliação utiliza o SomaliBench v0, um conjunto de referência de 100 prompts de intenção prejudicial (derivados do HarmBench e AdvBench) emparelhados com traduções para somali verificadas por autores nativos. O estudo avalia quatro modelos de pesos abertos capazes de execução local em Apple Silicon:

Llama-3.1-8B-Instruct
Gemma-2-9B-Instruct
Qwen-2.5-7B-Instruct
Aya-23-8B

Configuração Experimental:

Inferência: Todos os modelos foram executados localmente via Ollama com parâmetros de decodificação fixos (temperatura 0, top-p 1.0, máximo de 512 tokens) e um prompt de sistema uniforme em inglês "útil, inofensivo e honesto" (HHH).
Classificação: As respostas foram classificadas em três categorias: recusada, compliance (conformidade) ou incerta (vazia, idioma errado, incoerente). A classificação foi realizada por um snapshot fixado do Anthropic Claude Sonnet (claude-sonnet-4-5-20250929).
Validação: Um autor nativo somali realizou uma verificação pontual estratificada em 80 linhas (equilibrada entre categorias de segurança), alcançando 100% de concordância com o juiz automatizado (Kappa de Cohen = 1,00).
Métricas: A métrica principal é a lacuna de recusa Inglês menos Somali ( $G_m = R_{m,en} - R_{m,so}$ ), calculada com intervalos de confiança bootstrap de 95%.

Principais Contribuições

Medição Cross-Modelo: Fornece a primeira avaliação de taxa de recusa de quatro LMs locais de pesos abertos em um conjunto de dados unificado de segurança em inglês/somali.
Métrica Principal: Relata a lacuna de recusa de inglês para somali com intervalos de confiança estatísticos, quantificando a falha na transferência de segurança.
Validação de Confiabilidade: Valida a abordagem de LLM como juiz contra anotação de autor nativo, confirmando alta concordância na tarefa específica de distinguir recusa, conformidade e incoerência.
Disciplina de Lançamento: Adota um protocolo onde gerações brutas de modelos (contendo conteúdo prejudicial) são mantidas localmente e não divulgadas, enquanto estatísticas agregadas e dados de referência são tornados públicos sob uma licença de uso responsável (CC-BY-NC-4.0).

Resultados
O estudo encontra uma lacuna de recusa significativa e consistente em todos os quatro modelos:

Llama-3.1-8B: Recusa em inglês 0,97 vs. recusa em somali 0,07 (Lacuna: 0,90).
Aya-23-8B: Recusa em inglês 0,80 vs. recusa em somali 0,05 (Lacuna: 0,75).
Qwen-2.5-7B: Recusa em inglês 0,93 vs. recusa em somali 0,24 (Lacuna: 0,69).
Gemma-2-9B: Recusa em inglês 0,97 vs. recusa em somali 0,59 (Lacuna: 0,38).

Observação Crítica sobre Modos de Falha:
Para três dos quatro modelos (Llama, Aya, Qwen), o modo de falha dominante em somali não é a conformidade prejudicial fluente, mas sim saída "incerta" (gerações vazias, fora do tópico ou incoerentes). Apenas o Gemma-2-9B demonstrou uma taxa mais alta de recusas coerentes em somali e menos saídas incertas, embora ainda apresentasse uma lacuna significativa. Isso sugere que as baixas taxas de recusa em somali frequentemente decorrem de uma falha do modelo em gerar respostas coerentes no idioma alvo sob restrições de segurança, em vez de uma violação deliberada dos filtros de segurança.

Significância e Alegações
O artigo afirma estabelecer uma linha de base robusta e reproduzível demonstrando que o comportamento de recusa de segurança não se transfere de forma confiável do inglês para o somali nos atuais modelos pequenos de pesos abertos.

Destaca que o ajuste fino de instrução "multilíngue" (como visto no Aya-23 e Qwen) não garante automaticamente o alinhamento de segurança em idiomas de recursos limitados não listados.
Reenquadra a lacuna de segurança: o risco não é apenas a conformidade direta prejudicial, mas também a incapacidade dos modelos de fornecer recusas de segurança confiáveis e coerentes em somali, levando a comportamentos imprevisíveis.
O trabalho serve como um ponto de medição para a agenda mais ampla de documentar lacunas de segurança específicas de idiomas, observando que o condicionamento de segurança atual (mesmo com um prompt HHH em inglês) é insuficiente para o somali.

Limitações Reconhecidas
Os autores observam que o tamanho do conjunto de referência (100 pares) limita a análise de categorias granulares, a falta de um conjunto de controle somali benigno confunde falhas de segurança com incompetência geral de geração, e o uso de um único prompt de sistema em inglês pode não refletir todos os cenários de implantação. Um trabalho futuro (v2) é proposto para expandir o conjunto de dados, incluir controles benignos e testar múltiplas configurações de prompt de sistema.