Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

Probleemstelling

Ondanks de snelle vooruitgang in Large Language Models (LLMs) en hun prestaties in vraag- en antwoordtaken (QA), blijft er een significant tekort aan onderzoek voor taalspecifieke toepassingen in minder vertegenwoordigde talen zoals het Grieks. Bestaande meertalige modellen vertonen vaak een bias ten opzichte van hoog-resourced talen (zoals Engels) en kunnen sociale, culturele en historische nuances van het Grieks verkeerd interpreteren. Daarnaast ontbreekt het aan uitgebreide, menselijk gecurateerde benchmarks om monolinguele (Griekse) modellen effectief te vergelijken met meertalige tegenhangers. Bestaande Griekse datasets zijn beperkt in aantal en diversiteit, en veel zijn machine-vertaald, wat de kwaliteit en culturele relevantie kan ondermijnen.

Methodologie

De auteurs hebben een uitgebreid experimenteel kader opgezet om de prestaties van 11 LLMs (zowel monolingueel Grieks als meertalig) te evalueren op Griekse QA-taken.

1. Modelselectie:

   • Er werden 11 modellen getest, variërend van open-weight modellen tot een proprietair model (GPT-4o mini).
   • Monolinguele Griekse modellen: Meltemi 7B en Llama Krikri 8B (specifiek voor het Grieks getraind).
   • Meertalige modellen: Gemma 2 9B, Llama 3.1 8B, Mistral-familie (Nemo, Ministral), Aya Expanse, Command R, EuroLLM, en Teuken.
   • Alle modellen hadden minimaal 7 miljard parameters.

2. Datasets:

   • Bestaande datasets: Er werden vijf bestaande, menselijk gecurateerde Griekse QA-datasets gebruikt (o.a. Greek Medical MCQA, Greek ASEP MCQA, BELEBELE, INCLUDE, Greek Truthful QA) die verschillende domeinen bestrijken (medisch, civiele dienst, onderwijs, algemeen).
   • Nieuwe dataset (DemosQA): De auteurs introduceerden een nieuwe dataset, opgebouwd uit sociale media-berichten (Reddit, subreddit r/greece). Deze dataset bevat 600 zorgvuldig geselecteerde vraag-antwoordparen, waarbij de beste antwoorden zijn gekozen op basis van community-upvotes en handmatige filtering door de auteurs om kwaliteit en neutraliteit te garanderen.

3. Evaluatie Framework:

   • Hardware & Quantisatie: Om de inferentie mogelijk te maken op beperkte hardware (12 GB VRAM), werd 4-bit model quantisatie (via bitsandbytes) toegepast. Dit verlaagt de geheugeneisen aanzienlijk met minimale nauwkeurigheidsverlies.
   • Prompting Strategieën: Drie verschillende strategieën werden getest:
     1. Instruction Prompt: Directe instructie om het beste antwoord te kiezen.
     2. Role Prompt: Toewijzing van een rol (bijv. "Je bent een model voor de Griekse taal") gevolgd door de instructie.
     3. Zero-shot Chain-of-Thought (CoT): Het model wordt gevraagd stap-voor-stap te redeneren voordat het antwoord kiest.
   • Meting: De prestaties werden gemeten aan de hand van nauwkeurigheid (accuracy) op multiple-choice vragen.

Belangrijkste Bijdragen

1. DemosQA: De introductie van een nieuw, hoogwaardig Grieks QA-dataset afgeleid van sociale media, dat de Griekse sociale en culturele "zeitgeist" beter weergeeft dan bestaande, vaak vertaalde datasets.
2. Efficiënt Evaluatie Framework: Een memory-efficiënt framework dat 4-bit quantisatie gebruikt, waardoor het mogelijk is om grote LLMs lokaal te evalueren zonder dure GPU-clusters, wat de reproduceerbaarheid voor de gemeenschap vergroot.
3. Uitgebreide Vergelijking: De eerste systematische vergelijking van 11 monolinguele en meertalige LLMs op 6 verschillende Griekse QA-datasets met drie verschillende prompting-methoden.
4. Open Source: De publicatie van code en data om reproduceerbaarheid te waarborgen.

Resultaten

De experimentele resultaten (samengevat in de tabellen 3-6 van het paper) tonen de volgende inzichten:

• Top-performers:
  • GPT-4o mini (proprietair) behaalde over het algemeen de hoogste scores, vooral op gespecialiseerde domeinen zoals medische vragen, civiele dienst (ASEP) en onderwijs (INCLUDE).
  • Llama Krikri 8B (monolingueel Grieks) en Gemma 2 9B (meertalig) presteerden het beste onder de open-weight modellen. Llama Krikri 8B presteerde zelfs gelijk aan GPT-4o mini op de DemosQA-dataset.
• Domein-specifieke prestaties: Er is een duidelijke prestatiekloof tussen GPT-4o mini en open-weight modellen op domein-specifieke datasets (medisch, juridisch). Dit suggereert dat het ontbreken van gespecialiseerde kennis niet volledig kan worden gecompenseerd door prompt engineering.
• Invloed van Prompting:
  • GPT-4o mini presteerde het beste met simpele instructie-prompts.
  • Open-weight modellen profiteerden vaak van Role Prompts (het toewijzen van een rol).
  • Chain-of-Thought (CoT) leidde soms tot betere resultaten voor modellen met sterke redeneercapaciteiten, maar veroorzaakte bij veel open-weight modellen een daling in nauwkeurigheid door hallucinaties tijdens het redeneringsproces.
• DemosQA Validatie: De consistentie van de modelrangschikkingen tussen DemosQA en bestaande benchmarks bevestigt de kwaliteit en bruikbaarheid van de nieuwe dataset.

Betekenis en Conclusie

Dit onderzoek benadrukt dat hoewel meertalige modellen krachtig zijn, monolinguele, taalspecifiek getrainde modellen (zoals Llama Krikri 8B) in staat zijn om op veel Griekse taken te concurreren met of zelfs te presteren als state-of-the-art proprietair modellen, vooral in algemene en sociaal-culturele contexten.

De studie onderstreept de noodzaak van:

1. Het ontwikkelen van meer Griekse LLMs die vanaf nul worden getraind op corpora die regionale dialecten en historische teksten bevatten.
2. Het creëren van meer menselijk gecurateerde datasets om machine-vertaalfouten en culturele bias te vermijden.
3. Het gebruik van memory-efficiënte technieken (zoals 4-bit quantisatie) om onderzoek naar LLMs in minder vertegenwoordigde talen toegankelijker te maken voor onderzoekers zonder toegang tot high-end hardware.

De paper biedt een solide basis voor toekomstig onderzoek in het Griekse NLP-landschap en daagt de gemeenschap uit om meer taalinclusieve en cultureel onderbouwde modellen te ontwikkelen.