Technische Samenvatting: Waarheid kent geen taal: Het evalueren van waarachtigheid voorbij het Engels

Probleemstelling

De evaluatie van waarachtigheid in Large Language Models (LLM's) is voornamelijk beperkt gebleven tot het Engels, waarbij primair gebruik wordt gemaakt van de TruthfulQA benchmark. Hoewel TruthfulQA de standaard is voor het beoordelen van hoe LLM's menselijke onwaarheden nabootsen, beperkt de exclusieve beschikbaarheid in het Engels het begrip van de vraag of LLM's waarachtigheid behouden in verschillende talen, met name in talen met weinig middelen (low-resource). Bestaande pogingen om de dataset te vertalen waren informeel (machinaal vertaald) in plaats van professioneel, en misten een strikte beoordeling van de bruikbaarheid van de dataset voor niet-Engelse talen. Bovendien is het noodzakelijk om te bepalen of de culturele en temporele context die inherent is aan de oorspronkelijke Engelse vragen de evaluaties van waarachtigheid beïnvloedt bij vertaling, en of huidige automatische evaluatiemetrieken (zoals meerkeuzevragen) voldoende zijn voor de taalkruisende beoordeling van waarachtigheid.

Methodologie

Deze studie introduceert een professioneel vertaalde uitbreiding van de TruthfulQA benchmark naar vier talen: ** Baskisch, Catalaans, Galicisch en Spaans**. Het vertaalproces werd uitgevoerd door professionele moedertaalsprekers en hield zich aan specifieke richtlijnen om parallellisme te behouden terwijl culturele nuances werden behandeld (bijv. letterlijke vertaling van spreekwoorden, het lenen van acroniemen en de generalisering van cultuurspecifieke termen).

Experimentele Opstelling

De auteurs evalueerden 12 state-of-the-art open LLM's uit de Llama 3/3.1 en Gemma 2 families, variërend van 7B tot 70B parameters. Zowel base- als instruction-tuned varianten werden getest.

Er werden drie evaluatiemethoden gehanteerd:

1. Menselijke Evaluatie: Een handmatige beoordeling van 400 reacties (100 vragen × 4 modellen) op waarachtigheid en informatieve waarde met behulp van binaire labels.
2. Meerkeuze (MC2): De standaard automatische metriek gebruikt in leaderboards, die de waarschijnlijkheid van correcte antwoorden berekent ten opzichte van onjuiste antwoorden.
3. LLM-as-a-Judge: Een automatische evaluatie van generatie waarbij een fine-tuned judge-model (specifiek Gemma 2 9B Instruct, getraind op machinaal vertaalde data) de waarachtigheid van gegenereerde reacties evalueert. Deze methode werd gekozen vanwege de hoge correlatie met menselijke oordelen.

Daarnaast vergeleek de studie de professioneel vertaalde dataset met een versie die via Machine Translation (MT) is gegenereerd met behulp van Claude 3.5 Sonnet, om de levensvatbaarheid van MT voor het opschalen van waarachtigheidsbenchmarks te beoordelen. De dataset werd ook geanalyseerd door vragen te splitsen in universele (tijd/context-onafhankelijke) en context/tijd-afhankelijke categorieën.

Belangrijkste Bijdragen

1. Meertalige TruthfulQA Dataset: De eerste professioneel vertaalde versie van TruthfulQA die Baskisch, Catalaans, Galicisch en Spaans beslaat, waarmee het gat in de evaluatie van talen met weinig middelen wordt gedicht.
2. Evaluatiekader: Een uitgebreide vergelijking van evaluatiemethoden, die aantoont dat LLM-as-a-Judge aanzienlijk beter correleert met menselijke oordelen dan meerkeuze-metrieken (MC2) over alle talen heen.
3. Informativiteitsanalyse: De identificatie dat base-modellen vaak oninformatieve reacties produceren (bijv. "Ik heb geen commentaar"), wat de scores voor waarachtigheid in standaardmetrieken kunstmatig opblaast. De studie benadrukt de noodzaak om informativiteit apart te evalueren, met name voor base-modellen.
4. Vertaalbaarheid: Bewijs dat suggereert dat hoogwaardige machinevertaling een levensvatbaar, schaalbaar alternatief is voor professionele vertaling voor het uitbreiden van waarachtigheidsbenchmarks naar aanvullende talen, mits de vertaalmachine state-of-the-art is.

Resultaten

• Taalverschillen: LLM's presteren over het algemeen het best in het Engels en het slechtst in het Baskisch (de taal met de minste middelen). Echter, de algehele discrepantie in waarachtigheidsscores tussen talen is kleiner dan verwacht.
• Modelprestaties:
  • Instruction-tuned modellen presteren consequent beter dan base-modellen op het gebied van waarachtigheid.
  • Grotere modellen (bijv. 70B) hebben de neiging om kleinere tegenhangers binnen dezelfde familie te overtreffen, in tegenstelling tot sommige eerdere bevindingen waarbij modelgrootte niet correleerde met waarachtigheid.
  • Gemma 2 modellen vertoonden een superieure waarachtigheid vergeleken met Llama 3 modellen over de talen heen.
• Evaluatiemetrieken: De LLM-as-a-Judge methode vertoonde een hogere overeenstemming met menselijke evaluatoren (Cohen's Kappa) dan MC2. Opvallend genoeg presteerde een judge getraind op Engelse data beter dan MC2, zelfs bij het evalueren van niet-Engelse talen, hoewel een judge getraind op meertalige data het beste presteerde.
• Universele versus Contextuele Vragen: Modellen presteren aanzienlijk beter op universele kennisvragen (benaderen 90% nauwkeurigheid) vergeleken met tijd- en contextafhankelijke vragen. Dit suggereert dat statische benchmarks die een gebrek aan contextuele variëteit hebben, kunnen leiden tot prestatiesaturatie en er niet in slagen de uitdagingen van misinformatie in de echte wereld te reflecteren.
• Machinevertaling: Statistische tests bevestigden geen significant verschil in waarachtigheidsscores tussen de professioneel vertaalde en de machinaal vertaalde datasets, wat het gebruik van MT voor datasetexpansie ondersteunt.

Betekenis en Claims

Het artikel stelt dat hoewel het Engels de taal blijft waarin LLM's de hoogste waarachtigheid en coherentie vertonen, de kloof tussen het Engels en andere talen niet zo groot is als eerder gevreesd. De studie daagt de aanname uit dat meerkeuze-metrieken voldoende zijn voor de evaluatie van waarachtigheid, en pleit voor LLM-as-a-Judge benaderingen die de nuances van gegenereerde tekst beter vastleggen.

De auteurs benadrukken dat informativiteit een cruciale, vaak over het hoofd geziene factor is; zonder dit kunnen metrieken voor waarachtigheid bij base-modellen misleidend hoog zijn door niet-committende reacties. Bovendien wijzen de resultaten erop dat universele vragen steeds gemakkelijker correct te beantwoorden zijn voor moderne LLM's, wat suggereert dat toekomstige waarachtigheidsbenchmarks culturele en temporele variabiliteit moeten bevatten om rigoureus en relevant te blijven.

Ten slotte stelt het artikel dat machinevertaling een schaalbare, kosteneffectieve weg biedt voor het uitbreiden van waarachtigheidsbenchmarks naar een breder scala aan talen, wat potentieel de evaluatie van de veiligheid en betrouwbaarheid van LLM's buiten de Engelstalige wereld democratiseert. De auteurs merken echter bescheiden de beperkingen op met betrekking tot de specifieke reikwijdte van Iberische talen en de statische aard van de dataset, die de dynamische, real-world misinformatie mogelijk niet volledig kan vatten.