CLARIN-PT-LDB: An Open LLM Leaderboard for Portuguese to assess Language, Culture and Civility

Probleemstelling

Er is een aanzienlijke lacune in de evaluatie van Large Language Models (LLM's) specifiek voor het Europees Portugees (PT-PT). Hoewel er veel benchmarks en leaderboards bestaan voor het Engels en zelfs voor het Braziliaans Portugees, ontbreekt er een open, reproduceerbare leaderboard die specifiek gericht is op de Europese variant.

Daarnaast zijn bestaande benchmarks voor andere talen vaak verzadigd (modellen scoren bijna perfect) of vertonen data-contaminatie. Cruciaal is dat geen enkele bestaande benchmark voor Portugees (Europees of Braziliaans) twee essentiële aspecten van modelprestaties adresseert:

1. Veiligheid (Safeguards): De capaciteit van een model om schadelijke of ongewenste inhoud te weigeren.
2. Culturele uitlijning: Hoe goed een model aansluit bij de Portugese cultuur, geschiedenis en maatschappelijke context.

Methodologie

De auteurs hebben CLARIN-PT-LDB ontwikkeld, een open leaderboard gehost op HuggingFace Spaces. De kern van de methodologie bestaat uit de volgende elementen:

• Evaluatie-aanpak: Alle taken worden puur generatief geëvalueerd. Zelfs bij meerkeuzevragen of ja/nee-vragen genereert het model de tekst van het antwoord (bijv. "sim" of "1") in plaats van te vertrouwen op logit-rangschikking. Dit maakt de evaluatie toepasbaar op zowel open als gesloten (API) modellen.
• Benchmarks: De leaderboard omvat tien benchmarks, waarvan zeven nieuw zijn of specifiek voor deze context zijn aangepast:
  1. Tuguesice-PT: Een nieuw, handmatig gemaakt benchmark (327 items) om culturele uitlijning te testen. De vragen impliceren diepgaande kennis van de Portugese cultuur (bijv. "Wat is de langste brug?") zonder expliciet naar Portugal te verwijzen, om te voorkomen dat modellen gewoon feiten ophalen in plaats van culturele context te tonen.
  2. DoNotAnswer-PT: Een vertaalde en handmatig gecurateerde versie van het Engelstalige Do-Not-Answer benchmark (939 items). Het test de veiligheidsmechanismen van modellen door verzoeken om schadelijke inhoud (racisme, geweld, illegale activiteiten) te stellen. Evaluatie gebeurt via een "judge model" (Llama 3.3 70B) dat het antwoord classificeert als een weigering of een acceptatie.
  3. MuSR: Een vertaling van een redeneringsbenchmark (Chain-of-Thought) met 756 items, gericht op het oplossen van complexe narratieve puzzels.
  4. NLU QA Benchmarks: Vertaalde versies van populaire Engelstalige benchmarks, waaronder MMLU, MMLU Pro, GPQA Diamond, en AA-Omniscience-Public. Deze testen kennis en redenering op academisch niveau.
  5. PORTULAN ExtraGLUE: Bestaande benchmarks (CoPA, MRPC, RTE) vertaald naar Europees Portugees voor taalkundig inzicht en inferentie.
• Technische Infrastructuur:
  • Backend: Gebaseerd op het EleutherAI LM Evaluation Harness. De evaluatie draait op een eigen infrastructuur met NVIDIA L40S en RTX Pro 6000 GPU's, ondersteund door de PORTULAN CLARIN Research Infrastructure.
  • Frontend: Een webinterface via HuggingFace Spaces die gebruikers toelaat om open modellen in te dienen en resultaten te vergelijken.

Belangrijkste Bijdragen

1. Eerste Leaderboard voor PT-PT: Het paper introduceert de eerste open leaderboard die specifiek is ontworpen voor het Europees Portugees, waardoor een belangrijke kloof in de NLP-community wordt gedicht.
2. Nieuwe Benchmarks voor Cultuur en Veiligheid:
   • De introductie van Tuguesice-PT vult het gat in de evaluatie van culturele uitlijning.
   • De introductie van DoNotAnswer-PT biedt de eerste gestandaardiseerde manier om de veiligheid van PT-PT-modellen te testen.
3. Generatieve Evaluatiestandaard: Door consequent een generatieve aanpak te hanteren (in plaats van logit-rangschikking), wordt de leaderboard robuuster en toepasbaar op een breder scala aan modellen, inclusief die welke niet open source zijn.
4. Open Science en Reproduceerbaarheid: De volledige infrastructuur, inclusief de code en de datasets, is toegankelijk via HuggingFace, wat reproduceerbaarheid in de wetenschap bevordert.

Resultaten

De paper presenteert de initiële resultaten op de leaderboard voor verschillende modellen, waaronder Gervásio (een op Europees Portugees gefinetuned model), Llama (de basismodellen), en Mistral.

• Grootte-effect: Er is een duidelijke correlatie tussen modelgrootte en prestatie (bijv. 70B-modellen scoren aanzienlijk hoger dan 8B-modellen op benchmarks zoals MMLU en GPQA).
• Finetuning-effect: Het model Gervásio (70B) presteert significant beter dan het basismodel Llama (70B) op de culturele uitlijningstest (Tuguesice-PT), met een score van 39,76% tegenover 25,69%. Dit onderstreept het belang van specifiek taal- en cultuurgebaseerde training.
• Veiligheid: Modellen tonen hoge scores op DoNotAnswer-PT (rond de 86-91%), wat aangeeft dat de veiligheidsmechanismen van huidige LLM's ook in het Portugees goed functioneren, hoewel er ruimte is voor verbetering.
• Moeilijkheidsgraad: De resultaten tonen aan dat de nieuwere, moeilijkere benchmarks (zoals MMLU Pro en GPQA Diamond) een grotere spreiding in prestaties veroorzaken dan de traditionele benchmarks, waardoor ze beter geschikt zijn om state-of-the-art modellen te onderscheiden.

Betekenis

CLARIN-PT-LDB is een mijlpaal voor de NLP-gemeenschap in het Portugees. Het verschuift de focus van louter taalkundige competentie naar een holistische evaluatie die cultuur en ethiek omvat. Door een gestandaardiseerde, open platform te bieden, stimuleert het de ontwikkeling van betere, veiliger en cultureel meer relevante AI-modellen voor de Portugese sprekerswereld. Het paper benadrukt bovendien dat "saturatie" van benchmarks niet universeel is; voor minderheidstalen en specifieke culturele varianten is er nog veel ruimte voor innovatie en verbetering.