A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory

Probleemstelling

De integratie van Large Language Models (LLM's) in de maatschappij vereist een zorgvuldige evaluatie en mitigatie van sociale vooroordelen. Bestaande benchmarks voor het Japans (zoals JBNLI en JBBQ) vertonen echter twee fundamentele tekortkomingen:

1. Culturele ongeschiktheid: Veel datasets zijn vertalingen van Engelstalige data, waardoor ze niet de specifieke culturele normen en stereotypen van Japanse contexten weerspiegelen.
2. Focus op conclusies, niet op redenering: Bestaande methoden evalueren voornamelijk de uiteindelijke conclusie van een model. Recent onderzoek toont echter aan dat zelfs modellen die oppervlakkig neutrale conclusies geven, vaak vooroordelen bevatten in hun redeneringsproces. Als de conclusie en de redenering beide variëren, is het moeilijk om te isoleren waar het gedrag van het model vandaan komt.

Methodologie: JUBAKU-v2

De auteurs hebben een nieuwe dataset ontwikkeld, genaamd JUBAKU-v2, die specifiek is ontworpen om vooroordelen in het redeneringsproces te detecteren, gebaseerd op de attribution theory (toeschrijvingstheorie) uit de sociale psychologie.

• Theoretisch Kader: De dataset maakt gebruik van het concept van de "ultimate attribution error" (Pettigrew, 1979). Een vooroordeel wordt gedefinieerd als:
  • Het toeschrijven van interne kenmerken (persoonlijkheid, vaardigheid) aan individuen van een "out-group" puur op basis van hun attributen (bijv. nationaliteit, geslacht), zonder feitelijke verificatie.
  • Het onredelijk toeschrijven van prestaties aan externe factoren en het onderschatten van de vaardigheden van een individu.
• Dataset Constructie:
  • Categorieën: De dataset omvat 10 culturele categorieën specifiek voor Japan (o.a. Geslacht, Religie, Nationaliteit/Etniciteit, Regio, Voedsel).
  • Controle van Verwarring: Om te voorkomen dat modellen kiezen op basis van de kwaliteit van het voorstel of de vloeiheid van de tekst, zijn de conclusies in beide opties (vooroordeelsvol vs. neutraal) identiek gemaakt. Het enige verschil zit in de onderliggende redenering.
  • Generatie en Validatie: De data is gegenereerd met behulp van LLM's (GPT-5.1) en vervolgens handmatig gecontroleerd en aangepast door de auteurs. Een menselijke evaluatie door 6 native sprekers resulteerde in een dataset van 27 kerngevallen met een gemiddelde overeenstemming van 72%.
  • Omvang: Door per geval de volgorde van de opties te wisselen en 4 verschillende instructie-sjablonen te gebruiken, is een totale evaluatiemengsel van 216 gevallen gecreëerd.

Belangrijkste Bijdragen

1. JUBAKU-v2 Dataset: De eerste dataset die sociale vooroordelen in het redeneringsproces van Japans taalmodellen evalueert, volledig gecontextualiseerd in de Japanse cultuur en gebaseerd op psychologische theorie.
2. Discriminatievermogen: Het aantonen dat JUBAKU-v2 in staat is om subtiere prestatieverschillen tussen state-of-the-art modellen te detecteren dan bestaande benchmarks, die vaak verzadigd raken bij hoge scores.
3. Robuustheidsevaluatie: Een nieuwe methode om de consistentie van modelbeslissingen te testen tegen variaties in prompts (instructies en volgorde van opties).

Resultaten

De evaluatie omvatte 9 modellen, waaronder GPT-4o, GPT-5.2, Claude 4 Sonnet, en diverse Qwen- en GPT-OSS-varianten.

• Prestatieverschillen: JUBAKU-v2 toonde de grootste variantie in scores tussen de modellen (variantie 0,0278) vergeleken met bestaande benchmarks zoals JBNLI (0,0137) en JBBQ (0,0008). Dit betekent dat de dataset modellen beter kan onderscheiden.
  • Voorbeeld: GPT-4o scoorde 81,9%, terwijl Claude 4 Sonnet en GPT-5.2 respectievelijk 99,1% en 98,1% haalden. Qwen3-30B-Instruct scoorde zelfs onder het willekeurige niveau (48,1%).
• Invloed van "Thinking" (Redeneren): Er was een opvallend verschil tussen Qwen3-30B-Instruct (48,1%) en Qwen3-30B-Thinking (95,8%). Dit suggereert dat modellen die een expliciete denkstap doorlopen ("Thinking"), beter in staat zijn om attributiefouten te corrigeren en vooroordelen te vermijden, terwijl modellen die direct antwoorden ("Intuïtief") vatbaarder zijn voor training-data vooroordelen.
• Robuustheid: Modellen zoals GPT-5.2 en Claude 4 Sonnet vertoonden een zeer lage fluctuatie (7,4%) bij verschillende prompts. Modellen zoals GPT-4o (81,5% fluctuatie) en Qwen3-30B-Instruct (88,9%) waren echter zeer inconsistent, wat aangeeft dat hun "neutrale" keuzes vaak afhankelijk zijn van de exacte formulering van de prompt.

Betekenis en Conclusie

Het paper benadrukt dat het evalueren van LLM's alleen op basis van de eindconclusie onvoldoende is voor het detecteren van sociale vooroordelen. JUBAKU-v2 biedt een robuuster instrument om te meten hoe modellen redeneren binnen culturele contexten.

De bevindingen tonen aan dat:

1. Zelfs de beste modellen nog steeds latent vooroordelen bevatten in hun redeneringsketen.
2. Het gebruik van "Thinking"-processen (Chain-of-Thought) effectief is om deze attributiefouten te mitigeren.
3. Cultureel specifieke benchmarks noodzakelijk zijn, omdat vertaalde datasets de nuances van lokale stereotypen missen.

De auteurs plannen toekomstig werk om de dataset uit te breiden en te vertalen naar andere talen, waarmee JUBAKU-v2 een standaard kan worden voor het evalueren van eerlijkheid in redenering op mondiaal niveau.