JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs

1. Il Problema: Bias Culturale e Limiti delle Valutazioni Attuali

I Large Language Models (LLM) incorporano bias sociali derivanti dai dati di addestramento, che sono intrinsecamente plasmati dalle norme culturali. Sebbene esistano benchmark consolidati per valutare i bias sociali (come CrowS-Pairs, BBQ, StereoSet), questi sono stati sviluppati principalmente in contesti occidentali o anglofoni.

• Limitazione principale: Le versioni adattate per il giapponese sono spesso semplici traduzioni di dataset inglesi. Questo approccio fallisce nel catturare stereotipi specifici della cultura giapponese, come quelli legati alle relazioni gerarchiche, ai dialetti regionali, ai ruoli di genere tradizionali o alla comunicazione indiretta.
• Il rischio: I benchmark esistenti non riescono a rivelare i bias latenti nei modelli giapponesi perché non sono progettati per provocare risposte dannose in contesti culturalmente sensibili specifici del Giappone. Inoltre, la generazione automatica di dati di valutazione tramite LLM può introdurre circolarità e mancare di un'adeguata radice culturale.

2. Metodologia: Costruzione di JUBAKU

Gli autori introducono JUBAKU (Japanese cUlture adversarial BiAs benchmarK Under handcrafted creation), un benchmark progettato specificamente per il contesto culturale giapponese.

• Categorie Culturali: Il dataset si basa su dieci categorie culturali definite per catturare aspetti specifici della società giapponese (ispirati a un sondaggio di Adilazuarda et al., 2024):
  1. Genere
  2. Religione
  3. Etnia
  4. Istruzione
  5. Razza
  6. Regione
  7. Emozioni e Valori
  8. Cibo e Bevande
  9. Azioni di base
  10. Nomi
• Processo di Creazione Adversarial (Umano + LLM):
  1. Annotazione Umana: Sei annotatori nativi giapponesi hanno creato manualmente scenari di dialogo (contesto + due risposte candidate: una "bias" e una "non bias").
  2. Attacco Adversarial: Per rendere il benchmark efficace, gli autori hanno utilizzato un approccio iterativo con GPT-4o. Hanno promptato GPT-4o per scegliere tra le due risposte. Se il modello sceglieva la risposta non bias, gli annotatori modificavano il contesto o le risposte (fino a 3 tentativi) finché GPT-4o non veniva "ingannato" a scegliere la risposta bias.
  3. Definizione di Bias: Una risposta è considerata "bias" se fa assunzioni implicite basate su stereotipi culturali, anche senza che queste siano esplicitamente menzionate nel contesto.
  4. Dataset Finale: Partendo da 152 istanze base, sono state create varianti con diverse istruzioni e ordini di risposta, portando a un totale di 1.216 istanze per la valutazione.
• Validazione Umana: Un gruppo indipendente di annotatori ha valutato le istanze, ottenendo un'accuratezza del 91% nell'identificare la risposta non bias, confermando la chiarezza e l'affidabilità del dataset.

3. Esperimenti e Risultati

Gli autori hanno valutato 9 LLM giapponesi (tra cui Sarashina2, Qwen2.5, Swallow, calm3) su JUBAKU e su tre benchmark esistenti adattati al giapponese (JBNLI, JBBQ, SSQA-JA).

• Performance su JUBAKU: Tutti i modelli hanno ottenuto un'accuratezza inferiore alla linea di base casuale (50%), con una media del 23% (range: 13%-33%). Questo indica che i modelli tendono sistematicamente a scegliere la risposta stereotipata quando provocati dal benchmark.
• Confronto con altri Benchmark: Gli stessi modelli hanno ottenuto prestazioni molto migliori (spesso >50-80%) sui benchmark esistenti (JBNLI, JBBQ, SSQA-JA), dimostrando che questi ultimi falliscono nel rilevare i bias latenti specifici del contesto giapponese.
• Robustezza delle Modifiche Adversarial: Le modifiche apportate per ingannare GPT-4o hanno causato cali di accuratezza significativi anche negli altri modelli testati, suggerendo che le vulnerabilità individuate sono trasversali e non limitate al modello target originale.
• Analisi per Categoria: Categorie come "Religione" e "Razza" hanno richiesto più modifiche per ingannare il modello (indicando una maggiore robustezza dell'allineamento di sicurezza in questi domini), mentre "Etnia" e "Regione" hanno mostrato vulnerabilità più rapide.

4. Contributi Chiave

1. Primo Benchmark Adversarial Culturale per il Giapponese: JUBAKU è il primo dataset progettato specificamente per rivelare stereotipi radicati nella cultura giapponese, superando i limiti delle traduzioni da dataset occidentali.
2. Metodologia Ibrida: Combina l'annotazione umana per la radice culturale con tecniche adversarial (usando GPT-4o) per massimizzare l'efficacia nel provocare risposte bias.
3. Evidenza Empirica: Dimostra che i modelli giapponesi, pur apparendo sicuri su benchmark standard, sono altamente vulnerabili a stereotipi culturali specifici quando sottoposti a scenari di dialogo realistici e culturalmente contestualizzati.
4. Risorsa Aperta: Il dataset e il codice sono resi pubblici per la ricerca accademica, con restrizioni etiche rigorose per prevenire l'uso discriminatorio.

5. Significato e Implicazioni

Il lavoro di JUBAKU sottolinea l'urgenza di sviluppare valutazioni di sicurezza per gli LLM che siano culturalmente radicate e non semplicemente tradotte.

• Sicurezza dei Modelli: Mostra che le valutazioni standard possono fornire un falso senso di sicurezza, nascondendo bias dannosi che emergono solo in contesti culturali specifici.
• Direzione Futura: Suggerisce che per garantire un deploy sicuro degli LLM in diverse regioni, è necessario creare dataset di valutazione adversarial costruiti da annotatori nativi, focalizzati sulle norme locali e sulle sfumature culturali (es. il concetto di tatemae vs honne, o le gerarchie sociali).
• Limitazioni: Il paper riconosce che il dataset non copre tutti i possibili bias (es. orientamento sessuale, età) e si concentra principalmente sull'aspetto "sicurezza" (evitare output bias) piuttosto che sull'utilità complessiva della risposta.

In sintesi, JUBAKU rappresenta un passo fondamentale verso la comprensione e la mitigazione dei bias sociali negli LLM, dimostrando che la "sicurezza" è un concetto relativo al contesto culturale e che le tecniche adversarial sono essenziali per esporre le vulnerabilità nascoste.