TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend in algemene linguïstische taken, maar worstelen vaak met cultureel onderbouwd begrip. Hoewel er groeiende interesse is in cross-culturele evaluatie, blijft het Perzisch (Farsi) opvallend afwezig in belangrijke benchmarks. Bestaande Perzische benchmarks vertonen drie fundamentele tekortkomingen:

1. Vorm: Ze vertrouwen voornamelijk op meerkeuzevragen (MCQ), die feitelijke herinnering testen in plaats van conceptueel begrip of culturele nuance.
2. Morfologische complexiteit: Perzisch is een rijk morfologische taal met variaties in spelling, diacritica, formeel vs. informeel taalgebruik en numerieke systemen (Perzische vs. Arabische cijfers). Bestaande evaluatiemethoden gebruiken vaak "exact match" (exacte string-overlap), wat faalt bij semantisch identieke maar syntactisch verschillende antwoorden.
3. Beoordelingsbias: Alternatieven zoals LLM-based graders (bijv. GPT-4 als rechter) vertonen instabiliteit, prompt-gevoeligheid en neigen naar positie-bias. Bovendien missen ze vaak de specifieke culturele context van concepten zoals Taarof (een Perzische beleefdheidsritueel).

Methodologie

De auteurs presenteren TARAZ, een uitgebreid evaluatiekader dat specifiek is ontworpen voor Perzische culturele competentie via korte-vraag-taken (Short-Answer Questions, SAQ).

1. Dataverzameling en Adaptatie:
Het kader gebruikt drie datasets die verschillende aspecten van cultureel begrip testen:

• BLEnD: 500 vragen over alledaagse culturele kennis (voedsel, familie, feestdagen) met meerdere geldige antwoorden per vraag.
• PerCul-SAQ: Een conversie van het PerCul MCQ-dataset naar SAQ-formaat. Dit bevat 592 verhalende scenario's die cultureel redeneren vereisen (bijv. het identificeren van een cultureel artefact in een verhaal).
• ISN-SAQ: Afgeleid van het Iranian Social Norms dataset, bevat 535 vragen over sociale normen in specifieke contexten (bijv. gedrag op de markt, in de moskee of op het vliegveld).

2. Voorverwerking (Postprocessing):
Om de morfologische complexiteit van het Perzisch aan te pakken, implementeren de auteurs een specifieke voorverwerkingspiplijn voordat de scoring plaatsvindt:

• Normalisatie: Omzetten van Engelse en Arabische cijfers naar Perzische cijfers.
• Karakternormalisatie: Vervangen van Arabische lettervarianten door hun Perzische tegenhangers (bijv. ي in plaats van ی).
• Diacritica-verwijdering: Het verwijderen van klinkertekens om spellingvariaties te egaliseren.
• Stemming en Stopwoorden: Het verwijderen van veelvoorkomende stopwoorden en het afstammen van woorden tot hun basisvorm (stam).
• Segmentatie: Het splitsen van tekst op basis van leestekens en voegwoorden (zoals "en", "of", "ook") om meerdere mogelijke antwoorden in één reactie te detecteren.

3. Evaluatiemetrics:
In plaats van alleen exacte matching, gebruikt TARAZ een hybride syntactische en semantische benadering:

• Lexicale metrics: Exact Match (EM) en ROUGE (1, 2, L).
• Semantische metrics:
  • LLM-judge: GPT-5 wordt gebruikt als rechter voor semantische equivalentie.
  • Cosine Similarity: Gebruik van maux-gte-persian-v3, een gespecialiseerd Perzisch sentence-embedding model.
  • Hybride aanpak (Maux+Post): De combinatie van de bovenstaande voorverwerking met de cosine similarity. Dit is de kerninnovatie die semantische overeenkomsten vangt die oppervlakkige methoden missen.

Belangrijkste Bijdragen

1. TARAZ Framework: Het eerste gestandaardiseerde benchmark voor het meten van cultureel begrip in het Perzisch via korte antwoorden, met een robuust evaluatiekader dat morfologische variatie aankan.
2. Nieuwe Datasets: De creatie van ISN-SAQ en PerCul-SAQ, die 1127 voorbeelden transformeren van MCQ naar open-ended vragen die culturele normen en narratief redeneren testen.
3. Geavanceerde Voorverwerking: Een geautomatiseerde pipeline voor numerieke, morfologische en orthografische normalisatie die specifiek is voor de Perzische taal.
4. Uitgebreide Evaluatie: Een systematische test van 15 state-of-the-art modellen (gesloten bron, open gewichten, en Perzisch fine-tuned) over drie verschillende culturele domeinen.

Resultaten

De evaluatie omvatte 15 modellen, waaronder GPT-5, Claude Opus 4.1, LLaMA 3.1, DeepSeek-V3, en diverse Perzisch-finetuned modellen (zoals Maral, PersianMind, AVA-LLaMA).

• Prestatie van Modellen:

  • Gesloten bronmodellen (GPT-5, Claude Opus) presteerden consistent het beste op alle datasets, met name op BLEnD en PerCul-SAQ.
  • Open-weight modellen zoals Gemma-2-27B en DeepSeek-V3 toonden sterke prestaties, waarbij Gemma-2-27B zelfs dicht in de buurt kwam van gesloten modellen op de BLEnD dataset.
  • Perzisch fine-tuned modellen (vaak kleiner, 7-8B parameters) presteerden opvallend slecht. Veel van deze modellen produceerden repetitieve of betekenisloze tokens, wat resulteerde in zeer lage scores (vaak 0% op ROUGE-metrics). Dit suggereert dat taal-specifieke fine-tuning alleen onvoldoende is zonder diepgaande culturele pretraining.

• Impact van de Evaluatiemethode:

  • De hybride aanpak (Maux+Post) verbeterde de consistentie van de scoring met +10% ten opzichte van exact-match baselines.
  • Human Evaluation: Een menselijke evaluatie met drie annotatoren bevestigde dat de Maux-metric (hybride) een hogere overeenkomst vertoonde met menselijke oordelen (95,1% overeenkomst) dan de LLM-judge (82,4%). De LLM-judge bleek systematisch strenger te zijn en strafte semantisch correcte maar oppervlakkig verschillende antwoorden af.

• Categorie-specifieke inzichten:

  • Modellen hadden moeite met specifieke culturele concepten zoals voedsel en familie, maar presteerden beter op educatie en feestdagen.
  • Het redeneren over Iraanse sociale normen (ISN-SAQ) bleek voor alle modellen, zelfs de geavanceerde, een grote uitdaging.

Betekenis en Conclusie

TARAZ vult een kritieke lacune in het Perzische NLP-landschap door een robuust, semantisch onderbouwd evaluatiekader te bieden dat verder gaat dan feitelijke recall. De studie toont aan dat:

1. Cultureel begrip complex is: Zelfs de beste modellen worstelen met subtiele sociale normen en narratief redeneren in het Perzisch.
2. Voorverwerking essentieel is: Zonder specifieke normalisatie voor Perzische morfologie worden semantisch correcte antwoorden onterecht als fout beoordeeld.
3. Fine-tuning niet genoeg is: Het simpelweg fine-tunen van modellen op Perzische instructies is niet voldoende; er is meer gerichte investering nodig in cultureel onderbouwd pretraining en native instructiedata.

Het paper publiceert de datasets, code en modules, waarmee het een reproduceerbare basis legt voor toekomstig onderzoek naar cross-culturele LLM-evaluatie.