La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America

Dit paper introduceert La Leaderboard, het eerste open-source platform dat generatieve grote taalmodellen evalueert op basis van de linguïstische en culturele diversiteit van het Spaans, inclusief variëteiten uit Spanje en Latijns-Amerika en talen zoals Baskisch, Catalaans en Galicisch.

De kern

Stel je voor dat je een grote, internationale schoolwedstrijd hebt voor slimme computers (AI). Tot nu toe waren de meeste proefvragen in deze wedstrijd alleen in het Engels. Dat is alsof je alleen maar meet hoe goed een atleet kan rennen op een specifiek type asfalt, terwijl we vergeten zijn dat er ook modder, zand en ijspaden zijn waar mensen ook lopen.

Deze paper introduceert LA LEADERBOARD, een nieuwe, openbare ranglijst die speciaal is ontworpen om te kijken hoe goed deze slimme computers zijn in Spaans en de talen van Spanje en Latijns-Amerika (zoals Catalaans, Baskisch en Galicisch).

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Engelse Bril"

Tot nu toe werden AI-modellen getest met vragen die vaak vertaald waren vanuit het Engels.

• De Analogie: Stel je voor dat je een Italiaanse kok wilt testen op zijn pizza-koken, maar je geeft hem een recept dat eerst in het Engels is vertaald en dan weer terug naar het Italiaans. De vertaling is misschien wel goed, maar de smaak (de cultuur, de nuances, de grappen) is vaak verdwenen.
• Het Resultaat: De AI's leken slim, maar ze begrepen de echte cultuur van Spaanssprekende mensen niet goed. Ze konden bijvoorbeeld niet goed begrijpen hoe een grap in Argentinië anders is dan in Spanje.

2. De Oplossing: Een Echte "Spaans-School"

De auteurs van dit paper hebben een nieuwe ranglijst gebouwd met 66 verschillende proefvragen (datasets).

• De Vergelijking: In plaats van één groot examen in het Engels, hebben ze 66 kleine, specifieke toetsen gemaakt. Sommige vragen gaan over juridische zaken, andere over medische diagnoses, weer andere over humor of het begrijpen van grappen.
• De Belangrijkste Regel: Alle vragen zijn gemaakt door moedertaalsprekers. Het is alsof je de examencommissie niet uit een ander land haalt, maar uit de buurt zelf. Zo weten ze precies welke woorden je gebruikt in Mexico versus in Spanje, en welke grappen echt grappig zijn.

3. De Deelnemers: 50 Slimme Computers

Ze hebben 50 verschillende AI-modellen op deze nieuwe ranglijst getest.

• De Uitslag: Net als bij een sportwedstrijd zie je dat sommige modellen (zoals Gemma en Llama) overal goed zijn, maar dat er ook modellen zijn die specifiek voor deze regio's zijn gemaakt (zoals Salamandra en EuroLLM) en daar verrassend goed scoren.
• De Les: Het blijkt dat een model dat is getraind op een enorme hoeveelheid data (breed maar ondiep) soms beter presteert dan een model dat alleen op Spaans is getraind, maar dat modellen die specifiek voor de lokale cultuur zijn gemaakt, wel de beste "smaak" hebben.

4. De Groene Rekening: Minder Energie, Meer Wijsheid

Een heel belangrijk punt in dit paper is dat ze niet alleen kijken naar hoe slim de AI is, maar ook naar hoeveel energie het kost om die test te doen.

• De Analogie: Veel onderzoeken gebruiken een "grote hamer" om een "nagel" te slaan. Ze gebruiken 10 voorbeelden om een vraag te beantwoorden, terwijl 2 voorbeelden vaak genoeg zijn. Dat is alsof je een vrachtwagen huurt om een postzegel te bezorgen; het werkt, maar het kost onnodig veel brandstof.
• De Innovatie: De makers van LA LEADERBOARD hebben besloten om minder voorbeelden te gebruiken in hun tests. Dit bespaart enorm veel stroom en CO2-uitstoot. Ze zeggen: "Laten we slim testen in plaats van zwaar testen."

5. Een Gemeenschapsproject

Dit is geen project van één groot bedrijf, maar een gemeenschapsinitiatief.

• De Vergelijking: Het is alsof een hele stad samenkomt om een park te bouwen. Onderzoekers, bedrijven en vrijwilligers hebben allemaal hun eigen "bloemen" (datasets) bijgedragen.
• Het Doel: Ze willen dat andere talengemeenschappen (zoals Nederlanders, Fransen of Brazilianen) hetzelfde doen. Ze delen hun blauwdrukken zodat iedereen zijn eigen lokale AI-ranglijst kan bouwen.

Samenvattend

LA LEADERBOARD is als een nieuwe, eerlijke sportwedstrijd voor AI.

1. Het gebruikt echte, lokale vragen in plaats van vertaalde Engelse vragen.
2. Het test 50 verschillende AI's op hun kennis van Spaans en de talen van Spanje/Latijns-Amerika.
3. Het doet dit op een milieuvriendelijke manier door minder rekenkracht te verspillen.
4. Het is gratis en open, zodat iedereen kan zien welke AI het beste is voor onze cultuur.

Het doel is simpel: zorgen dat de slimme computers van de toekomst niet alleen Engels spreken, maar ook echt begrijpen wat het betekent om Spaans te spreken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America" in het Nederlands.

Probleemstelling

Huidige benchmarks en leaderboards voor Large Language Models (LLMs) vertonen een sterke bias naar het Engels en een beperkt aantal hoog-risourcelanden. Hoewel het Spaans vaak wordt opgenomen in meertalige evaluaties, zijn de datasets vaak beperkt, vertaald (door machines of mensen) en falen ze om de linguïstische rijkdom en culturele nuances van de Spaanstalige wereld te vangen.
Specifiek ontbreekt er een open-source leaderboard die de diversiteit van de Spaanse variëteiten (Spanje, Mexico, Argentinië, Chili, Uruguay) en de officiële talen van Spanje (Catalaans, Baskisch, Galicisch) simultaan evalueert. Bestaande initiatieven zijn vaak gesloten, gebruiken alleen discriminatieve taken, of evalueren slechts een vast aantal modellen. Dit gebrek aan representatie belemmert de ontwikkeling van AI-systemen die werkelijk dienstbaar zijn aan de 600 miljoen Spaanstalige sprekers.

Methodologie

De auteurs introduceren LA LEADERBOARD, het eerste open-source initiatief dat is ontworpen om generatieve LLMs te evalueren op basis van de behoeften van de Spaanstalige gemeenschap.

1. Data Collectie en Samenstelling:

• Datasets: De leaderboard bestaat uit 66 datasets die zijn verzameld via een community-gedreven campagne (13 onderzoeksgroepen).
• Talen: Het omvat 22 datasets in Spaans (met variëteiten uit Spanje en Latijns-Amerika), 18 in Catalaans, 17 in Baskisch en 9 in Galicisch.
• Kwaliteitsborging: Er wordt prioriteit gegeven aan datasets die oorspronkelijk in de doeltaal zijn geschreven (55%) of door native sprekers zijn vertaald/reviewed. Machinevertalingen worden alleen gebruikt indien grondig gecontroleerd door experts om culturele en linguïstische nuances te behouden.
• Taken: De evaluatie omvat diverse taken zoals redeneren, ethiek, taalvaardigheid, wiskunde, natural language inference (NLI), vraag-antwoord (QA), samenvatting en tekstgeneratie. Er zijn ook specifieke domeinen zoals medisch, juridisch en pers.

2. Evaluatie-Setup en Efficiency:

• Few-Shot Configuratie: Een belangrijke methodologische keuze is het gebruik van minder few-shot voorbeelden dan gebruikelijk in de literatuur (vaak 0 tot 3 shots in plaats van 5+). Dit wordt gedaan om:
  • De rekenkosten en het milieu-impact te verminderen.
  • Cognitive bias te minimaliseren (door alle mogelijke antwoorden in de shots te verdelen bij MCQA).
  • De contextvenster-beperkingen van verschillende modellen te respecteren.
• Metrics: Voor Multiple Choice Questions (MCQA) worden log-probabiliteiten gebruikt. Voor tekstgeneratie worden metrics zoals BLEU, ROUGE en Semantic Answer Similarity (SAS) toegepast, inclusief een aangepaste "Judge-LLM" metric.
• Reproduceerbaarheid: De leaderboard is volledig open-source (Apache 2.0 licentie), gebouwd op de Hugging Face-template en de LM Evaluation Harness. Alle commando's en normalisatieformules zijn publiek beschikbaar.

3. Energie- en Milieuevaluatie:

• De evaluatie van 50 modellen op 66 taken werd uitgevoerd op 2 NVIDIA H100 GPU's.
• Er werd nauwkeurig gemeten naar energieverbruik (kWh) en CO2-uitstoot, waarbij rekening werd gehouden met de locatie (Barcelona).

Belangrijkste Bijdragen

1. Eerste Open-Source Leaderboard voor Spaanse Variëteiten: Een schaalbaar framework dat specifiek is ontworpen voor de linguïstische en culturele diversiteit van Spanje en Latijns-Amerika, inclusief minderheidstalen.
2. Efficiënte Evaluatiemethodologie: Een rationele aanpak voor het kiezen van het aantal few-shot voorbeelden die de balans vindt tussen eerlijke evaluatie, reproduceerbaarheid en duurzaamheid (lagere CO2-voetafdruk).
3. Gedetailleerde Analyse van SOTA-modellen: Een uitgebreide vergelijking van 50 open-weight modellen, inclusief inzichten in hun prestaties per taal, taaktype, modelgrootte en trainingsstrategie.
4. Community-Driven Benadering: Een gedocumenteerde methode voor het verzamelen van datasets en het opzetten van een leaderboard, bedoeld om andere taalgemeenschappen te inspireren om vergelijkbare initiatieven te starten.

Resultaten

De leaderboard evalueerde 50 modellen (van 1B tot 32B parameters), waaronder families zoals Gemma, Llama, Qwen, EuroLLM en Salamandra.

• Top-Presterende Modellen: De modellen die consistent in de top 10 staan over alle talen zijn Gemma-2-9B (base en instruct), Meta-Llama-3.1-8B-IT en de gekwantiseerde versies van Qwen2.5-IT (14B en 32B).
• Taalspecifieke Prestaties:
  • Modellen die specifiek zijn getraind op Spaanse talen (zoals Salamandra en EuroLLM) presteren zeer goed in Baskisch en Galicisch, maar soms iets minder in Spaans en Catalaans vergeleken met modellen getraind op grotere, onbalansere corpora.
  • Gemma-2-9B presteert over het algemeen het best, waarschijnlijk door de transfer van patronen uit Engels, wiskunde en code naar de doeltalen.
• Taakprestaties:
  • Modellen presteren het beste op NLI-taken (tekstuele implicatie) en het slechtst op taalvaardigheidstests (zoals samenvatting) en wiskundig redeneren.
  • Galicisch scoort over het algemeen lager dan de andere talen, terwijl Baskisch sterke resultaten laat zien in redeneren maar zwakker in QA.
• Energie vs. Prestatie: Er is een sterke correlatie gevonden tussen modelgrootte/energieverbruik en prestatie. Instructie-getuned modellen verbruiken vaak minder energie dan hun base-versies vanwege minder verbositeit (kortere antwoorden).
• Trainingsstrategie: Modellen die vanaf nul zijn voorgeprogrammeerd op een groot meertalig corpus (zoals Qwen en Llama) tonen de meest homogene dekking. Modellen die alleen fine-tuning hebben ondergaan op doeltaaldata zonder uitgebreide pre-training, tonen vaak beperkte verbeteringen in redeneren en QA.

Betekenis en Toekomstperspectief

LA LEADERBOARD stelt een nieuwe standaard voor meertalige LLM-evaluatie. Het benadrukt dat linguïstische competentie niet losstaat van culturele bewustwording. Door een open, transparant en community-gedreven platform te bieden, faciliteert het de ontwikkeling van AI-systemen die de diversiteit van de Spaanstalige wereld eerlijk vertegenwoordigen.

Toekomstige stappen omvatten:

• Het integreren van de recent gedoneerde datasets, met een speciale focus op inheemse talen van Latijns-Amerika (zoals Guarani, Náhuatl, Quechua).
• Het toevoegen van grotere open en propriëtaire modellen.
• Het organiseren van een hackathon om benchmarks voor culturele geschiktheid per land te creëren.
• Het verder uitbreiden van de community om de representativiteit van Latijns-Amerikaanse Spaanse variëteiten te vergroten.

Dit werk is een cruciale stap richting inclusieve AI die niet alleen de "high-resource" talen bedient, maar ook de talloze variëteiten en minderheidstalen binnen de Spaanstalige wereld.