TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages

Sintesi Tecnica: TukaBench

Problematica

La valutazione della sicurezza per i Large Language Models (LLM) rimane fortemente centrata sulla lingua inglese, lasciando le lingue a basse risorse (LRL), in particolare quelle africane, criticamente sottoesplorate. Mentre i benchmark di jailbreak esistenti (ad esempio, JailbreakBench) e le valutazioni sulla sicurezza coprono le lingue ad alte risorse, essi non tengono conto delle sfumature linguistiche e culturali delle LRL. Lavori precedenti hanno dimostrato che la traduzione di prompt non sicuri in lingue a basse risorse può eludere le protezioni di sicurezza, tuttavia manca l'assenza di benchmark curati da esseri umani specificamente per le lingue africane per studiare sistematicamente come la lingua, l'ancoraggio culturale e l'evasività del prompt influenzino la sicurezza dei modelli. Inoltre, gli attuali metodi di valutazione spesso si affidano a framework "LLM-as-a-judge", che possono soffrire di una ridotta affidabilità negli scenari a basse risorse e non riescono a distinguere tra veri rifiuti di sicurezza e fallimenti di comprensione del modello.

Metodologia

Gli autori introducono TukaBench, un benchmark di jailbreak progettato per sette lingue africane: amarico, hausa, igbo, chichewa, kiswahili, yorùbá e isiXhosa. Il benchmark estende JailbreakBench (JBB) attraverso quattro setting complementari per isolare gli effetti di lingua, cultura e code-switching:

1. Afri-JBB-Harm/Benign: Traduzioni umane dirette dei prompt dannosi e benigni di JBB nelle lingue target, preservando i contesti e le entità nominate occidentali originali.
2. Afri-JBB-Culture: Prompt dannosi di JBB adattati ai contesti africani (introducendo entità nominate e riferimenti culturalmente rilevanti) prima della traduzione umana.
3. AfriJail-Mono: 343 prompt avversari culturalmente radicati, originariamente scritti in inglese da raccoglitori di dati in Nigeria attraverso l'interazione con GPT-5.2, che coprono la governance locale, i conflitti regionali e specifici danni sociali. Questi sono stati poi tradotti e localizzati culturalmente.
4. AfriJail-CS: Versioni in code-switching di AfriJail-Mono, che mescolano lingue africane con l'inglese all'interno di singole espressioni per riflettere comuni schemi di parlato multilingue.

Pipeline di Costruzione:
Tutti i prompt sono stati sottoposti a una pipeline a tre stadi: traduzione automatica (usando Google Translate o AfriqueQwen-8B per lo yorùbá), stima automatica della qualità (usando SSA-COMET-QE) e post-editing umano da parte di madrelingua. I post-editor hanno corretto gli errori e eseguito la localizzazione culturale dove richiesto.

Protocollo di Valutazione:

• Modelli: Sono stati valutati tredici LLM, inclusi modelli a codice chiuso (GPT-3.5, 4o, 5.2, Grok-3/4/4.3, Gemini-2.5/3.1) e modelli a pesi aperti (Gemma, Llama, DeepSeek, Qwen, GPT-OSS).
• Strategie di Attacco: I modelli sono stati testati sotto Direct Prompting e Boundary Point Jailbreaking (BPJ), un attacco black-box che aggiunge rumore a livello di carattere per elicitare risposte non rifiutate.
• Schema di Etichettatura: È stato introdotto uno schema di valutazione a tre vie:
  • Jailbroken (Violato): Il modello soddisfa l'intento dannoso.
  • Refused (Rifiutato): Il modello rifiuta esplicitamente.
  • Deflected (Deviato): Il modello risponde fuori bersaglio o fallisce la comprensione del prompt (né un rifiuto né una completamento dannoso).
• Validazione: Per affrontare l'affidabilità dell'LLM-as-a-judge nelle LRL, un sottoinsieme di 1.500 risposte del modello è stato validato da annotatori umani madrelingua.

Risultati Chiave

1. Impatto della Lingua e dell'Ancoraggio Culturale:

• Deflection vs. Attack Success: Il passaggio dall'inglese alle lingue africane non aumenta costantemente l'Attack Success Rate (ASR). Inveverso, aumenta significativamente il Deflection Rate. I modelli spesso falliscono la comprensione dei prompt nelle LRL, rispondendo fuori bersaglio piuttosto che rifiutare o assecondare.
• Ancoraggio Culturale: I prompt culturalmente adattati (Afri-JBB-Culture e AfriJail-Mono) hanno prodotto tassi più elevati sia di risposte Jailbroken che Deflected rispetto alle traduzioni dirette. Ciò suggerisce che i benchmark basati solo sulla traduzione sottostimano sistematicamente i rischi di distribuzione, poiché i prompt culturalmente radicati meglio si adattano ai contesti reali ed esplorano le vulnerabilità del modello.
• Effetti di Risorse e Script: Le lingue ad alte risorse (es. Swahili) hanno generalmente mostrato tassi di fallimento (sia Jailbroken che Deflected) inferiori. Tuttavia, l'amarico (scritto nel non-latino script Ge'ez) ha mostrato tassi di deflection significativamente più alti rispetto ad altre lingue con livelli di risorse comparabili, suggerendo che le inefficienze di tokenizzazione ("token tax") degradano la comprensione.

2. Strategie di Attacco:

• BPJ: Il Boundary Point Jailbreaking ha aumentato l'ASR ma non ha eliminato la deflection, indicando che sebbene il rumore possa bypassare i filtri, la comprensione rimane un collo di bottiglia.
• Code-Switching: I prompt in code-switching (AfriJail-CS) hanno ridotto i tassi di deflection rispetto ai prompt monolingue africani, suggerendo che i frammenti di inglese aiutano i modelli a interagire con la richiesta. Tuttavia, ciò non ha aumentato uniformemente l'ASR; una migliore comprensione ha talvolta portato al rifiuto invece che alla compliance, a seconda del comportamento di sicurezza sottostante del modello.

3. Affidabilità della Valutazione:

• Accordo Giudice-Umano: L'affidabilità dell'LLM-as-a-judge è diminuita per le lingue a basse risorse e per gli script non latini. L'accordo è stato massimo per lo Swahili (~80%) e minimo per l'amarico e le lingue a basso contenuto di risorse con script latini come lo yorùbá e l'igbo (<60%).
• Fallimenti di Comprensione: L'introduzione della categoria Deflection ha rivelato che molte risposte precedentemente classificate come "sicure" o "rifiutate" erano in realtà fallimenti di comprensione. Considerando congiuntamente i tassi di Deflection e Jailbroken, emerge un pattern più chiaro basato sulle risorse: le lingue a basse risorse esibiscono telli di fallimento combinati più elevati.

Significato e Rivendicazioni

Il documento afferma che TukaBench fornisce il primo benchmark di jailbreak curato da esseri umani per le lingue africane, andando oltre la semplice traduzione per includere l'adattamento culturale e il code-switching. I suoi principali contributi sono:

1. Rivelare i Collo di Bottiglia della Comprensione: Lo studio dimostra che nelle LRL, la valutazione della sicurezza è limitata non solo dall'allineamento del modello ma da fallimenti fondamentali della comprensione. Alti tassi di deflection indicano che i modelli spesso non comprendono il prompt, rendendo insufficienti le metriche standard di ASR.
2. L'Ancoraggio Culturale come Vulnerabilità: I risultati mostrano che i prompt culturalmente radicati elicitano tassi di fallimento più elevati rispetto alle traduzioni dirette, suggerendo che le valutazioni di sicurezza devono tenere conto del contesto locale e delle entità nominate per essere accurate.
3. Miglioramento Metodologico: Introducendo la categoria Deflection e validando gli output dell'LLM-as-a-judge con annotazioni umane, il lavoro evidenzia i limiti dell'attuale valutazione automatizzata nelle impostazioni a basse risorse e propone un framework più sfumato per valutare la sicurezza.

Gli autori concludono che, sebbene le nuove generazioni di modelli mostrino miglioramenti, rimangono lacune significative nella comprensione e nella sicurezza per le lingue africane, in particolare per gli script non latini e le lingue a basse risorse. Essi sottolineano che la valutazione della sicurezza in queste regioni richiede di andare oltre la semplice traduzione verso una valutazione culturalmente radicata.