A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory

Titolo

JUBAKU-v2: Un Benchmark Giapponese per la Valutazione dei Bias Sociali nel Ragionamento Basato sulla Teoria dell'Attribuzione

1. Il Problema

L'integrazione sociale dei Modelli Linguistici di Grande Dimensione (LLM) rende urgente la valutazione e la mitigazione dei bias sociali. Tuttavia, le attuali soluzioni per il contesto giapponese presentano due limiti fondamentali:

1. Dipendenza dalla traduzione: La maggior parte dei benchmark giapponesi esistenti (come JBNLI e JBBQ) si basa sulla traduzione di dati inglesi. Questo approccio non cattura adeguatamente le norme culturali e gli stereotipi specifici del Giappone.
2. Focus sul risultato, non sul processo: I benchmark attuali valutano il bias principalmente nelle conclusioni finali del modello. Studi recenti indicano che, anche quando i modelli allineati producono conclusioni superficialmente neutre, il bias sociale può persistere nel processo di ragionamento. Non isolare il ragionamento dalla conclusione rende difficile determinare se un cambiamento nel comportamento del modello sia dovuto al ragionamento o alla risposta finale.

2. Metodologia

Gli autori hanno sviluppato JUBAKU-v2, un nuovo dataset progettato per valutare i bias nel ragionamento mantenendo la conclusione neutra.

• Fondamento Teorico: Il dataset si basa sulla Teoria dell'Attribuzione della psicologia sociale, in particolare sull'Errore di Attribuzione Ultimo di Pettigrew (1979).

  • Definizione di Bias: Un ragionamento è considerato "biased" se:
    1. Afferma o assume caratteristiche interne (personalità, abilità, intenzioni) di un individuo basandosi esclusivamente sui suoi attributi (es. genere, nazionalità) senza verifica fattuale.
    2. Attribuisce irragionevolmente i successi di un individuo a fattori esterni, sottovalutandone le capacità.
  • Controllo delle Variabili: Per ogni esempio, la conclusione (la proposta di azione) è identica e neutra. L'unica differenza risiede nel ragionamento: uno si basa su "assunzioni attributive" (bias) e l'altro su "fattori situazionali" (neutro).

• Categorie Culturali: Sono state selezionate 10 categorie rilevanti per la cultura giapponese: Genere, Religione, Nazionalità/Etnia, Istruzione, Razza, Regione, Emozioni e Valori, Cibo e Bevande, Comportamenti di base e Nomi.

• Processo di Costruzione dei Dati:

  1. Generazione: Utilizzo di LLM (GPT-5.1) per riscrivere coppie dialogo-risposta da un dataset seed (JUBAKU v1), assicurando che le proposte finali fossero identiche per eliminare fattori confondenti.
  2. Selezione: Filtraggio dei casi in cui un modello (GPT-4o) tendeva a scegliere l'opzione bias.
  3. Revisione Umana: Gli autori hanno revisionato i dati per coerenza con le definizioni e naturalezza.
  4. Validazione: Un gruppo di 6 parlanti nativi giapponesi ha valutato i casi. Solo i casi con un accordo di almeno 3/6 valutatori sono stati inclusi.
  5. Struttura Finale: Il dataset finale contiene 216 casi di valutazione (derivati da 27 casi base, moltiplicati per 2 permutazioni di ordine e 4 template di prompt diversi).

3. Contributi Chiave

1. Costruzione di JUBAKU-v2: Un dataset contestualizzato nella cultura giapponese e basato sulla teoria dell'attribuzione, progettato specificamente per isolare il bias nel ragionamento.
2. Discriminabilità Superiore: Dimostrazione che il nuovo benchmark riesce a rilevare differenze di prestazioni tra modelli ad alte prestazioni (che spesso saturano i benchmark esistenti) con maggiore sensibilità.
3. Valutazione della Robustezza: Il design del dataset permette di testare la consistenza delle risposte del modello di fronte a variazioni dei prompt (prompt injection/variation).

4. Risultati Sperimentali

Gli esperimenti hanno coinvolto 9 modelli (inclusi GPT-4o, GPT-5.2, Claude 4 Sonnet, Qwen3 e serie GPT-OSS) confrontati con benchmark esistenti (JBNLI, JBBQ, SSQA-JA).

• Discriminabilità:

  • JUBAKU-v2 ha mostrato la varianza più alta (0.0278) tra i punteggi dei modelli rispetto agli altri benchmark (es. JBNLI: 0.0137, SSQA-JA: 0.00009).
  • Questo indica che JUBAKU-v2 è più efficace nel distinguere le capacità di modelli avanzati che altrimenti otterrebbero punteggi simili o saturi sugli altri dataset.
  • GPT-4o ha ottenuto un'accuratezza del 81.9% su JUBAKU-v2, significativamente inferiore rispetto a Claude 4 Sonnet (99.1%) e GPT-5.2 (98.1%), evidenziando differenze che altri benchmark non rilevavano.

• Robustezza (Consistenza):

  • È stata misurata la "Fluttuazione delle Risposte" (Answer Fluctuation Rate) variando i prompt.
  • Modelli come GPT-4o (81.5%) e Qwen3-30B-Instruct (88.9%) hanno mostrato un'alta instabilità, fornendo risposte diverse a seconda della formulazione del prompt.
  • Modelli come GPT-5.2 e Claude 4 Sonnet hanno mostrato una bassa fluttuazione (7.4%), indicando maggiore robustezza.

• Impatto del "Ragionamento" (Chain of Thought):

  • È stata osservata una differenza drastica tra Qwen3-30B-Instruct (48.1% di accuratezza, sotto il livello casuale) e Qwen3-30B-Thinking (95.8%).
  • Questo suggerisce che i modelli che utilizzano un processo di pensiero esplicito (inferenza) riescono a correggere i bias di attribuzione, mentre quelli che rispondono in modo intuitivo tendono a riprodurre i bias presenti nei dati di addestramento.

5. Significato e Conclusioni

Il paper dimostra che la valutazione dei bias sociali non può limitarsi alla sola analisi della conclusione finale.

• Importanza Culturale: È fondamentale creare benchmark nativi per specifiche regioni linguistiche, poiché i bias sono radicati nelle norme culturali locali.
• Qualità del Ragionamento: La capacità di un modello di identificare e correggere i bias è strettamente legata alla sua capacità di eseguire passaggi di ragionamento espliciti (thinking process).
• Futuro: JUBAKU-v2 offre un metodo più rigoroso per valutare l'allineamento etico degli LLM, rivelando che anche modelli ad alte prestazioni possono nascondere pregiudizi latenti nel loro processo decisionale. Il lavoro futuro prevede l'espansione del dataset ad altre lingue.