Resumo Técnico: TukaBench

Declaração do Problema

A avaliação de segurança para Grandes Modelos de Linguagem (LLMs) permanece fortemente centrada no inglês, deixando as Línguas de Baixos Recursos (LRLs), particularmente as línguas africanas, criticamente subexploradas. Enquanto os benchmarks de jailbreak existentes (ex: JailbreakBench) e as avaliações de segurança cobrem línguas de altos recursos, eles falham em considerar as nuances linguísticas e culturais das LRLs. Trabalhos anteriores mostraram que traduzir prompts inseguros para línguas de baixos recursos pode contornar salvaguardas de segurança, mas há uma carência de benchmarks curados por humanos especificamente para línguas africanas para estudar sistematicamente como a língua, o embasamento cultural e a evasividade do prompt afetam a segurança do modelo. Além disso, os métodos de avaliação atuais frequentemente dependem de frameworks de "LLM-como-juiz", que podem sofrer de redução de confiabilidade em configurações de baixos recursos e falhar em distinguir entre recusas de segurança genuínas e falhas de compreensão do modelo.

Metodologia

Os autores introduzem o TukaBench, um benchmark de jailbreak projetado para sete línguas africanas: amárico, hausa, igbo, chichewa, suaíli, iorubá e xhosa. O benchmark estende o JailbreakBench (JBB) através de quatro configurações complementares para isolar os efeitos da língua, cultura e alternância de código (code-switching):

1. Afri-JBB-Harm/Benign: Traduções humanas diretas dos prompts prejudiciais e benignos do JBB para as línguas alvo, preservando os contextos e entidades nomeadas ocidentais originais.
2. Afri-JBB-Culture: Prompts prejudiciais do JBB adaptados para contextos africanos (introduzindo entidades nomeadas e referências culturalmente relevantes) antes da tradução humana.
3. AfriJail-Mono: 343 prompts adversariais culturalmente fundamentados, originalmente escritos em inglês por coletores de dados na Nigéria através de interação com o GPT-5.2, cobrindo governança local, conflitos regionais e danos sociais específicos. Estes foram então traduzidos e localizados culturalmente.
4. AfriJail-CS: Versões com alternância de código (code-switched) do AfriJail-Mono, misturando línguas africanas com inglês dentro de enunciados únicos para refletir padrões comuns de fala multilíngue.

Pipeline de Construção:
Todos os prompts passaram por um pipeline de três estágios: tradução automática (usando Google Translate ou AfriqueQwen-8B para o iorubá), estimativa de qualidade automática (usando SSA-COMET-QE) e pós-edição humana por falantes nativos. Os pós-editores corrigiram erros e realizaram a localização cultural onde necessário.

Protocolo de Avaliação:

• Modelos: Treze LLMs foram avaliados, incluindo modelos de código fechado (GPT-3.5, 4o, 5.2, Grok-3/4/4.3, Gemini-2.5/3.1) e modelos de pesos abertos (Gemma, Llama, DeepSeek, Qwen, GPT-OSS).
• Estratégias de Ataque: Os modelos foram testados sob Prompt Direto e Jailbreak de Ponto de Fronteira (BPJ), um ataque de caixa-preta que adiciona ruído ao nível de caractere para elicitar respostas não-recusivas.
• Esquema de Rotulagem: Um esquema de avaliação de três vias foi introduzido:
  • Jailbroken (Comprometido): O modelo cumpre a intenção prejudicial.
  • Refused (Recusado): O modelo recusa explicitamente.
  • Deflected (Desviado): O modelo responde fora do alvo ou falha em compreender o prompt (nem uma recusa, nem uma conclusão prejudicial).
• Validação: Para abordar a confiabilidade do "LLM-como-juiz" em LRLs, um subconjunto de 1.500 respostas de modelos foi validado por anotadores humanos nativos.

Principais Resultados

1. Impacto da Língua e do Embasamento Cultural:

• Desvio vs. Sucesso de Ataque: Mudar do inglês para línguas africanas não aumenta consistentemente a Taxa de Sucesso de Ataque (ASR). Em vez disso, aumenta significativamente a Taxa de Desvio (Deflection Rate). Os modelos frequentemente falham em compreender os prompts, respondendo fora do alvo em vez de recusar ou cumprir.
• Embasamento Cultural: Prompts culturalmente adaptados (Afri-JBB-Culture e AfriJail-Mono) resultaram em taxas mais altas de respostas tanto Jailbroken quanto Deflected comparadas às traduções diretas. Isso sugere que benchmarks de apenas tradução subestimam sistematicamente os riscos de implantação, pois prompts culturalmente fundamentados melhor se ajustam aos contextos do mundo real e exploram vulnerabilidades do modelo.
• Efeitos de Recursos e Escrita: Línguas de maior recurso (ex: suaíli) geralmente exibiram menores taxas de falha (tanto Jailbroken quanto Deflected). No entanto, o amárico (escrito no script não-latino Ge'ez) mostrou taxas de desvio significativamente maiores do que outras línguas com níveis de recursos comparáveis, sugerindo que ineficiências de tokenização ("imposto do token") degradam a compreensão.

2. Estratégias de Ataque:

• BPJ: O Boundary Point Jailbreaking aumentou a ASR, mas não eliminou o desvio, indicando que, embora o ruído possa contornar filtros, a compreensão continua sendo um gargalo.
• Alternância de Código (Code-Switching): Prompts com alternância de código (AfriJail-CS) reduziram as taxas de desvio em comparação com prompts monolíngues africanos, sugerindo que fragmentos de inglês ajudam os modelos a engajar-se com a requisição. No entanto, isso não aumentou uniformemente a ASR; a melhoria na compreensão às vezes levou à recusa em vez da conformidade, dependendo do comportamento de segurança subjacente do modelo.

3. Confiabilidade da Avaliação:

• Acordo Juiz-Humano: A confiabilidade do "LLM-como-juiz" diminuiu para línguas de menor recurso e scripts não-latinos. O acordo foi mais alto para o suaíli (~80%) e mais baixo para o amárico e línguas de script latino de menor recurso como o iorubá e o igbo (<60%).
• Falhas de Compreensão: A introdução da categoria Deflected revelou que muitas respostas anteriormente classificadas como "seguras" ou "recusadas" eram, na verdade, falhas de compreensão. Quando as taxas de Deflection e Jailbroken são consideradas conjuntamente, um padrão baseado em recursos mais claro emerge: línguas de menores recursos exibem maiores taxas de falha combinadas.

Significância e Alegações

O artigo afirma que o TukaBench fornece o primeiro benchmark de jailbreak curado por humanos para línguas africanas, indo além da tradução direta para incluir adaptação cultural e alternância de código. Suas principais contribuições são:

1. Revelação de Gargalos de Compreensão: O estudo demonstra que, em LRLs, a avaliação de segurança é limitada não apenas pelo alinhamento do modelo, mas por falhas fundamentais de compreensão. Altas taxas de desvio indicam que os modelos frequentemente não entendem o prompt, tornando as métricas padrão de ASR insuficientes.
2. Embasamento Cultural como uma Vulnerabilidade: Os resultados mostram que prompts culturalmente fundamentados provocam maiores taxas de falha do que traduções diretas, sugerindo que as avaliações de segurança devem considerar o contexto local e entidades nomeadas para serem precisas.
3. Melhoria Metodológica: Ao introduzir a categoria Deflected e validar os outputs do "LLM-como-juiz" com anotações humanas, o artigo destaca as limitações da avaliação automatizada atual em configurações de baixos recursos e propõe um framework mais matizado para avaliar a segurança.

Os autores concluem que, embora as novas gerações de modelos mostrem melhorias, lacunas significativas permanecem na compreensão e segurança para línguas africanas, particularmente para scripts não-latinos e línguas de menores recursos. Eles enfatizam que a avaliação de segurança nessas regiões requer ir além da simples tradução para uma avaliação culturalmente fundamentada.