Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic

Dit artikel analyseert de tekortkomingen van bestaande benchmarks voor het IJslands, waarbij het waarschuwt dat ongeverifieerde synthetische of machinaal vertaalde data de resultaten kan vertekenen, en pleit voor betere evaluatiemethoden voor talen met een beperkte of gemiddelde hoeveelheid data.

De kern

Titel: Wie controleert de controleurs? Een verhaal over IJslandse AI en gebrekkige tests

Stel je voor dat je een nieuwe auto wilt kopen. De verkoper laat je een testrit doen op een speciaal aangelegde baan om te bewijzen hoe snel en veilig de auto is. Maar wat als die testbaan zelf vol zit met gaten, verkeerde borden en oneerlijke obstakels? Dan zegt de snelheidsmeter misschien dat de auto razendsnel is, maar in de echte wereld crasht hij direct.

Dit is precies wat deze paper over IJslandse Large Language Models (LLM's) – slimme AI's – zegt. De onderzoekers kijken naar de "testbanen" (benchmarks) die gebruikt worden om te meten hoe goed deze AI's IJslands spreken en begrijpen. En hun conclusie is schokkend: veel van die testbanen zijn zo slecht gebouwd, dat de resultaten niets zeggen over de echte vaardigheid van de AI.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Vertaal-machine" valkuil

Veel mensen denken: "Als we een goede Engelse test hebben, kunnen we die gewoon vertalen naar IJslands en klaar zijn we."
De onderzoekers zeggen: "Nee, dat is gevaarlijk."

Stel je voor dat je een recept voor een perfecte IJslandse vissoep neemt en het door een robot laat vertalen naar het Engels. De robot gebruikt woorden die hij uit een woordenboek plukt, maar hij snapt niet dat "vis" in dit geval een specifieke IJslandse vissoort is, of dat de kruiden anders moeten. Het resultaat is een soep die eruitziet als soep, maar die niet eetbaar is.

In de paper zien ze dat veel IJslandse tests machinaal vertaald zijn.

• Het probleem: De vertalingen zijn vaak raar, onnatuurlijk of zelfs fout. Soms vertaalt de machine een naam als "Louis Guðmundsson" in plaats van "Louis Pasteur", waardoor de vraag geen zin meer heeft.
• De consequentie: De AI scoort misschien goed op zo'n test, niet omdat hij slim is, maar omdat hij de rare, gebroken zinnen van de machine-vertaling heeft "geleerd". Het is alsof je een student laat examen doen in een taal die niemand spreekt, en hij haalt een 10 omdat hij de fouten in de vragen heeft onthouden.

2. De "Zelfgemaakte" tests (Synthetische data)

Soms maken AI's zelf hun eigen testvragen, gebaseerd op Wikipedia of andere teksten.
De onderzoekers vergelijken dit met een kok die zijn eigen recepten bedenkt zonder ooit te hebben gekookt.

• De AI genereert vragen en antwoorden, maar zonder dat een mens (een native speaker) er naar kijkt.
• Het resultaat? Vragen die er logisch uitzien, maar die feitelijk onzin zijn. Bijvoorbeeld: een vraag over de hoofdstad van Bolivia, terwijl de tekst gaat over Kim Jong-Un.
• Als je een AI op zo'n test test, meet je niet zijn kennis, maar alleen zijn vermogen om de rare patronen van de AI die de test maakte, na te bootsen.

3. De "Niet-inheemse" controleurs

Een groot deel van de tests is gemaakt door mensen die geen IJslands spreken.
Stel je voor dat een groep mensen die alleen Frans spreken, een test maken om te zien of iemand goed Nederlands spreekt. Ze gebruiken een woordenboek en een vertaal-app.

• Ze weten niet dat bepaalde zinnen in het Nederlands grammaticaal correct klinken, maar in de praktijk nooit gebruikt worden.
• Ze weten niet dat een woord in het IJslands een andere betekenis heeft dan in het Engels.
• Het resultaat: De test meet niet of de AI goed IJslands spreekt, maar of de AI goed kan raden wat die Franssprekende mensen denken dat IJslands is.

4. Wat zeggen de cijfers?

De onderzoekers hebben een steekproef gedaan van de bestaande tests. Ze keken naar honderden vragen en keurden ze na met drie labels:

• OK: Een goede, geldige vraag.
• Fout: Een vraag met kleine taalfouten.
• Ramp (IC): Een vraag die zo slecht is dat hij de test ongeldig maakt.

De bevindingen:

• Tests die door menselijke experts zijn gemaakt of vertaald, zijn bijna altijd goed.
• Tests die machinaal vertaald of door AI gegenereerd zijn, zitten vol met "rampen". Bij sommige tests (zoals HellaSwag-IS) was geen enkele vraag goed.
• Het is alsof je een olympische atleet laat rennen op een baan die vol ligt met rubberen banden en glijbanen. Als hij wint, is dat niet omdat hij de snelste is, maar omdat de baan zo gek is.

5. Waarom maakt dit uit?

Je zou kunnen zeggen: "Maar als de AI toch een hoge score haalt, is dat toch goed?"
Nee, zeggen de onderzoekers.

• Valse hoop: We denken dat de AI IJslands perfect spreekt, terwijl hij dat niet doet.
• Slechte ontwikkeling: Als ontwikkelaars hun AI's trainen op deze slechte tests, gaan ze de AI leren om die rare, gebroken zinnen te produceren. De AI wordt dan "slimmer" in het maken van fouten, in plaats van in het spreken van correct IJslands.
• Cultuurverlies: IJslands is een kleine taal. Als we AI's trainen op slechte data, kunnen we de unieke cultuur en nuances van de taal verliezen. De AI wordt dan een "Engelse machine" die een beetje IJslands nadoen.

De conclusie: Wie controleert de controleurs?

De titel van de paper vraagt: "Wie controleert de controleurs?"
Het antwoord is: De makers zelf, en de gemeenschap.

De onderzoekers roepen op tot een nieuwe manier van werken:

1. Geen blinde vertalingen: Gebruik geen machine-vertalingen zonder dat native speakers ze hebben gecontroleerd.
2. Mensen aan het roer: Laat mensen die IJslands spreken en begrijpen de tests maken.
3. Kwaliteit boven kwantiteit: Liever 100 perfecte vragen dan 10.000 slechte vragen.

Kortom: We kunnen niet zomaar de tests van het Engels overnemen en hopen dat het werkt. Voor kleine talen als IJslands moeten we onze eigen, eerlijke testbanen bouwen, anders rijden we met onze AI's tegen de muur, terwijl we denken dat we op de snelweg zitten.

Technische samenvatting

Titel: Wie benchmarkt de benchmarks? Een case study van LLM-evaluatie in het IJslands

Auteurs: Finnur Ágúst Ingimundarson et al. (Universiteit van Zürich, Universiteit van IJsland, Árni Magnússon Instituut)

---

1. Het Probleem

De snelle opkomst van Large Language Models (LLM's) heeft de noodzaak vergroot voor robuuste benchmarks, vooral voor taakgebonden prestaties en natuurlijke taalproductie. Voor taakgebonden talen (low/medium-resource languages), zoals het IJslands, is het echter vaak moeilijk om menselijk gecreëerde benchmarks bij te houden. Als gevolg hiervan maken onderzoekers en ontwikkelaars steeds vaker gebruik van:

• Machine-vertaalde (MT) benchmarks: Bestaande benchmarks (vaak uit het Engels) die automatisch worden vertaald.
• Synthetische data: Data gegenereerd door LLM's op basis van bestaande bronnen (bijv. Wikipedia).

De kernproblemen die dit artikel aanpakt zijn:

1. Validiteitsverlies: Deze methoden introduceren vaak ernstige fouten, vertaalfouten ("translationese") en culturele onjuistheden die de validiteit van de test ondermijnen.
2. Gebrek aan verificatie: In low-resource settings wordt de output van vertalingen of synthetische generatie zelden gecontroleerd door native speakers.
3. Vervuiling en vertekening: Modellen kunnen optimaliseren voor deze gebrekkige data, wat leidt tot een overdreven inschatting van hun vaardigheden in de doeltaal, terwijl ze in werkelijkheid geen diep cultureel of linguïstisch begrip hebben.

2. Methodologie

De auteurs voeren een kwantitatieve foutanalyse uit op bestaande benchmarks voor het IJslands.

• Selectie van Benchmarks: Er is een overzicht gemaakt van twee publieke leaderboards voor het IJslands: die van Miðeind en EuroEval. Dit omvat benchmarks zoals WinoGrande-IS, ARC-Challenge-IS, Belebele, HellaSwag-IS, MMLU-IS, en diverse QA-datasets.
• Steekproefneming: Van de meeste datasets werd een willekeurige steekproef genomen (250 voorbeelden voor grote datasets, anders 10%).
• Annotatie: Drie auteurs met een achtergrond in IJslandse taalkunde en NLP hebben de steekproeven geannoteerd met drie labels:
  • IC (Incorrect): Ernstig gebrekkig, slecht machine-vertaald, of feitelijk fout.
  • F (Flawed): Bevat fouten (spelling, grammatica, woordkeuze) maar is niet volledig onbruikbaar.
  • OK (Valid): Een geldig voorbeeld.
• Betrouwbaarheid: Er werd gebruikgemaakt van Krippendorff's alpha om de inter-rater betrouwbaarheid (IRR) te berekenen.
• Focust: De analyse onderscheidt tussen benchmarks die menselijk zijn geverifieerd/vertaald en die puur synthetisch of machine-vertaald zijn.

3. Belangrijkste Resultaten

De analyse toont een duidelijk en zorgwekkend verschil tussen menselijk gecureerde en machine-gegenereerde benchmarks:

• Ernstige kwaliteitproblemen bij MT-benchmarks:
  • HellaSwag-IS: Bijna 100% van de geannoteerde steekproef werd als "IC" (ernstig gebrekkig) gemarkeerd. Geen enkel voorbeeld werd als geldig beschouwd.
  • MMLU-IS: Minder dan 10% van de steekproef was geldig ("OK").
  • ARC-Challenge (EuroEval-versie): Slechts 20% was geldig, vergeleken met 55% voor de menselijk gelokaliseerde versie van Miðeind. De EuroEval-versie bevatte zelfs vragen met 399 keer herhaalde woorden.
• Problemen met Lokalisatie en Terminologie:
  • Machine-vertalingen falen vaak bij specifieke terminologie (bijv. wetenschappelijke termen zoals "bi-flagellate" of "autotroph") en namen (bijv. "Louis Pasteur" werd vertaald naar "Louis Guðmundsson", wat de betekenis vernietigt).
  • Culturele misalignement: Vragen over Amerikaanse scholen of specifieke geografische locaties (bijv. Nevada) zijn niet relevant voor een IJslandse context zonder aanpassing.
• Synthetische QA-datasets:
  • MultiWikiQA-IS: Minder dan de helft van de voorbeelden was geldig. Er werden feitelijke fouten gevonden (bijv. een vraag over de hoofdstad van Bolivia gekoppeld aan context over Kim Jong-Un).
  • IcelandicQA: Deze dataset, waarbij LLM-gegenereerde vragen handmatig zijn geverifieerd en gecorrigeerd, presteerde aanzienlijk beter, hoewel er nog steeds validiteitsfouten waren.
• Gebrek aan Moedertaalsprekers:
  • Benchmarks zoals ScaLA-IS bevatten problemen omdat ze gebaseerd zijn op getranscribeerde parlementaire toespraken die niet als geschreven tekst bedoeld waren, en waar kunstmatige corrupties (voor grammaticatests) soms geen zinvol gebrekkig IJslands opleverden.
  • Een recent voorbeeld (GAMBIT+) toonde aan dat het genereren van gender-neutrale paren in het IJslands onmogelijk is voor veel beroepen, wat leidde tot "hallucinaties" van vrouwelijke vormen die in het IJslands niet bestaan.

4. Kernbijdragen

1. Kwantitatief Bewijs: Het artikel levert empirisch bewijs dat machine-vertaalde en synthetische benchmarks voor low-resource talen vaak onbruikbaar zijn voor betrouwbare evaluatie, met validiteitspercentages die soms onder de 10% dalen.
2. Critische Analyse van Bestaande Leaderboards: Het blootlegt dat populaire benchmarks voor het IJslands (zoals HellaSwag en MMLU vertalingen) fundamenteel gebrekkig zijn en mogelijk leiden tot misleidende ranglijsten.
3. Advies voor Validiteit: De auteurs benadrukken het belang van construct validity. Een test moet meten wat het bedoelt te meten; als de testdata zelf fout is, is de meting van het model nutteloos.
4. Richtlijnen voor Low-Resource Talen: Het paper stelt een nieuwe standaard voor voor het ontwikkelen van benchmarks in talen met minder data.

5. Betekenis en Conclusie

De studie concludeert dat de huidige praktijk van het "automatisch vertalen" of "synthetisch genereren" van benchmarks voor low/medium-resource talen een groot risico vormt voor de NLP-community.

• Gevaar voor Modelontwikkeling: Als modellen worden getraind of geoptimaliseerd op deze gebrekkige data, leren ze oppervlakkige patronen of "translationese" in plaats van echte taalvaardigheid.
• Aanbevelingen:
  • Vermijd machine-vertaalde benchmarks zonder menselijke verificatie.
  • Betrek native sprekers bij het creëren en valideren van data.
  • Geef de voorkeur aan menselijk geschreven en gecureerde data boven synthetische data.
  • Benchmark-ontwikkeling moet een continu proces van kritische evaluatie zijn, niet een eenmalige taak.

De auteurs pleiten voor een verschuiving naar participatief ontwerp met native sprekers om te waarborgen dat evaluatiemetingen de werkelijke linguïstische en culturele specificiteiten van de taal weerspiegelen, en niet slechts de vertaalfouten van een machine.