Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Dit artikel introduceert Maistros 8B, een state-of-the-art open-weights Grieks groot taalmodel dat is ontwikkeld via kennisdistillatie vanuit grote redeneringsmodellen en is fijngefineerd op de nieuw gecreëerde CulturaQA-dataset, tezamen met een uitgebreid evaluatiekader dat is ontworpen om prestatiekloven in onderbelaste talen aan te pakken.

De kern

Stel je voor dat je een briljante, wereldklasse chef hebt (een Groot Redenerend Model) die ongelooflijke, complexe maaltijden kan bereiden, maar een enorme, industriële keuken met honderden ovens nodig heeft en een fortuin kost om te runnen. Deze chef is geweldig, maar ze is te groot en te duur om in een normale huiskamerkeuken te passen.

Ondertussen heb je een kleinere, lokale kok (een Standaard Groot Taalmodel) die probeert Grieks eten te leren koken. Helaas heeft deze lokale kok slechts een paar kookboeken gezien, en de meeste daarvan zijn geschreven in het Engels of andere talen. Wanneer er om specifieke Griese gerechten, geschiedenis of cultuur wordt gevraagd, raadt de lokale kok vaak verkeerd of verzonnen hij ingrediënten die niet bestaan.

Dit artikel gaat over een project genaamd Maistros (wat "Meester" betekent in het Grieks) dat probeert die lokale kok te leren een Grieks culinaire expert te worden zonder de enorme industriële keuken nodig te hebben.

Hier is hoe ze het deden, opgesplitst in eenvoudige stappen:

1. Het Probleem: De "Griekse Kloof"

Grote AI-modellen zijn verbazingwekkend, maar ze zijn voornamelijk getraind op Engelse data. Wanneer je ze vraagt over Griekse cultuur, geschiedenis of specifieke lokale wetten, struikelen ze vaak. Ze weten misschien het algemene idee van "eten", maar ze kennen de specifieke smaak van een traditionele Griekse moussaka niet of de details van de Griekse geschiedenis. Bovendien zijn de superslimme modellen die deze dingen wél kennen, te groot en te traag om op normale computers te draaien.

2. De Oplossing: Een Gespecialiseerd Kookboek (CulturaQA)

Om dit op te lossen, hadden de onderzoekers een beter kookboek nodig. Ze vertaalden niet zomaar Engelse boeken; ze creëerden een gloednieuw boek genaamd CulturaQA.

• Hoe ze het maakten: Ze vroegen een superslimme AI (de "industriële chef") om 2.700 vragen en antwoorden te schrijven over Griekse cultuur, met onderwerpen zoals geschiedenis, eten, politiek en sport.
• De Menselijke Aanraking: Omdat AI soms kan "hallucineren" (dingen verzinnen), las een team van mensen elke vraag en elk antwoord door. Ze corrigeerden grammaticafouten, verwijderden verzonnen feiten en zorgden ervoor dat de culturele details accuraat waren.
• Het Resultaat: Een hoogwaardige, door mensen geverifieerde collectie Griekse kennis die daarvoor niet bestond.

3. De Training: Kennisdistillatie (De "Schaduwchef"-methode)

Nu hadden ze het perfecte kookboek, maar ze moesten de lokale kok (het Ministral 3 8B-model) leren hoe het te gebruiken.

• In plaats van alleen het boek te lezen, gebruikten ze een techniek genaamd Kennisdistillatie. Denk hierbij aan de lokale kok die naast de superslimme chef staat, hen ziet problemen oplossen, en de redenering achter de antwoorden leert.
• Ze gebruikten een slimme, geheugenefficiënte trainingsmethode (genaamd LoRA) die vergelijkbaar is met het geven van een set lichtgewicht, gespecialiseerde gereedschappen aan de lokale kok, in plaats van hen te laten hun hele hersenen herbouwen. Dit maakte het mogelijk om het model te trainen op één standaardcomputer in plaats van op een enorme supercomputer.

4. Het Resultaat: Maistros 8B

Het resultaat is Maistros 8B, een nieuw AI-model dat:

• Open is: Iedereen kan het gratis downloaden en gebruiken.
• Grieks-gespecialiseerd is: Het weet veel meer over Griekse cultuur, geschiedenis en taal dan de standaardmodellen.
• Efficiënt is: Het draait op normale hardware, in tegenstelling tot de gigantische modellen.

Hoe Presteerde Het?

De onderzoekers stelden Maistros 8B op de proef tegen negen andere AI-modellen (zowel gratis als betaald) met behulp van negen verschillende Griekse quizzen.

• De Lokale Concurrenten Verslaan: Maistros 8B versloeg bijna elk ander gratis model. Het was het beste in het beantwoorden van vragen over Griekse financiën en algemene cultuur.
• De Giganten Achtervolgen: Hoewel de enorme, betaalde "industriële chef"-modellen (zoals GPT-5 en Gemini) overall nog steeds iets beter waren, kwam Maistros 8B op veel gebieden zeer dicht in de buurt. Op het specifieke gebied van Griekse financiën was het bijna even goed als de duurste modellen.
• Statistisch Bewijs: Ze voerden wiskundige tests uit om te bewijzen dat Maistros niet gewoon geluk had; de verbeteringen waren echt en significant.

Wat Ze Niet Beweerden

Het is belangrijk om te noteren wat dit artikel niet zei:

• Ze beweerden niet dat Maistros perfect is; de betaalde modellen zijn nog steeds iets beter.
• Ze beweerden niet dat dit werkt voor elke taal ter wereld, alleen voor het Grieks.
• Ze beweerden niet dat dit model klaar is voor medische diagnose of juridisch advies (hoewel ze het testten op medische en juridische vragen, beweerden ze niet dat het veilig is voor professioneel gebruik in de echte wereld).

De Conclusie

Het artikel laat zien dat je geen supercomputer nodig hebt om een slimme Griekse AI te bouwen. Door een hoogwaardige, door mensen gecontroleerde dataset te creëren en slimme trainingstrucs te gebruiken, kun je een standaard AI omtoveren tot een Griekse expert die draait op gewone computers. Ze hebben hun "kookboek" (de dataset), hun "gereedschappen" (de code) en de "chef" (het model) met de wereld gedeeld zodat anderen van hen kunnen leren.

Technische samenvatting

Technische Samenvatting: Maistros – Een Griekse Large Language Model Aangepast via Kennisdistillatie

Probleemstelling
Ondanks de snelle vooruitgang van Large Language Models (LLM's) en het ontstaan van Large Reasoning Models (LRM's) die complex meerstapsredeneren aankunnen, blijven er aanzienlijke prestatieverschillen bestaan tussen talen met veel en weinig hulpbronnen. Modern Grieks, gekenmerkt door een eigen alfabet, rijke morfologie en syntactische variabiliteit, blijft een taal met beperkte hulpbronnen in het NLP-landschap. Bestaande modellen die het Grieks beheersen, vertrouwen vaak op beperkte trainingsdata, wat resulteert in suboptimale prestaties bij Vraag-en-Antwoord (QA) taken, met name die welke culturele of domeinspecifieke kennis vereisen. Bovendien, hoewel recente LRM's de nauwkeurigheid verbeteren door expliciete redeneersporen, maken hun enorme parameteraantallen (honderden miljarden) en hoge inferentielatentie ze onpraktisch voor implementatie in conventionele rekenomgevingen. Er bestaat een kritieke kloof in de beschikbaarheid van hoogwaardige, door mensen samengestelde Griekse QA-datasets die geschikt zijn voor training, aangezien de meeste bestaande bronnen uitsluitend voor evaluatie zijn ontworpen.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een pijplijn voor die is gecentreerd rond kennisdistillatie van een krachtige LRM naar een compact model met open gewichten, ondersteund door een nieuw samengestelde dataset.

1. Datasetcreatie (CulturaQA): De auteurs introduceerden CulturaQA, een synthetische en door mensen samengestelde dataset bestaande uit 2.700 Griekse vraag-antwoordparen. Het generatieproces omvatte:

   • Het selecteren van 180 Griekse sleutelwoorden over 11 culturele domeinen (bijv. geschiedenis, politiek, economie, mythologie).
   • Het genereren van 15 vragen per sleutelwoord met GPT-5, gevolgd door het laten beantwoorden van deze vragen door het model zelf.
   • Rigoureuze menselijke curatie in de loop (human-in-the-loop) om taalkundige fouten (grammatica, spelling, polytonische problemen) te corrigeren, hallucinaties te verwijderen, feitelijke onjuistheden te herstellen en niet-Griekse artefacten te elimineren.
   • Gestratificeerd splitsen in trainings- (2.000), validatie- (200) en testsets (500).

2. Modelontwikkeling (Maistros 8B):

   • Basismodel: De auteurs kozen Ministral 3 8B, een algemeen doel open-gewichten LLM, als fundament.
   • Fijnafstappingsstrategie: Zij hanteerden Supervised Fine-Tuning (SFT) met Low-Rank Adaptation (LoRA) om kennis uit CulturaQA in het basismodel te distilleren.
   • Technische Configuratie: Training gebruikte 4-bit kwantisatie (NF4) en een 8-bit AdamW-optimizer om het geheugengebruik te verkleinen. De LoRA-configuratie omvatte een rang van 16 en een alfa van 32 (schaalfactor 2,0). Het model werd getraind gedurende 4 epochen met een leersnelheid van 2e-5, een batchgrootte van 2 (opgeteld tot 16), en een maximale sequentielengte van 3.269 tokens.
   • Verliesfunctie: Volgend op best practices werd de verliesberekening gemaskeerd voor gebruikers-/systeemprompts, waarbij de optimalisatie uitsluitend gericht was op de gegenereerde antwoordtokens van de assistent om te voorkomen dat het model leert de prompt te voorspellen.

3. Evaluatiekader:

   • Er werd een geheugenefficiënt kader ontwikkeld om negen LLM's (waaronder propriëtaire modellen zoals Gemini 3 Flash en GPT-5 Mini, en open-gewichten modellen zoals Krikri 8B en Plutus 8B) te evalueren over negen Griekse QA-datasets.
   • Maten: Meerkeuzetaken werden geëvalueerd met behulp van nauwkeurigheid (via regelgebaseerd parseren), terwijl de open-einde CulturaQA-taak gebruikmaakte van BERTScore F1.
   • Statistische Analyse: Significantie werd beoordeeld met de exacte McNemar-toets voor binaire nauwkeurigheid en de Wilcoxon-tekensomrangtoets voor continue BERTScore, aangevuld met bootstrap-resampling voor 95% betrouwbaarheidsintervallen.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

1. CulturaQA: Een hoogwaardige, door mensen samengestelde Griekse dataset die specifiek is ontworpen voor LLM-training en -evaluatie, en diverse culturele en domeinspecifieke onderwerpen bestrijkt.
2. Maistros 8B: Een state-of-the-art open-gewichten Griekse LLM ontwikkeld via kennisdistillatie en fijnafstemming op CulturaQA, geoptimaliseerd voor lokale implementatie op handelshardware.
3. Evaluatiekader: Een geheugenefficiënt, aanpasbaar kader voor het evalueren van LLM's op diverse Griekse QA-taken met behulp van standaardmaten.
4. Uitgebreide Benchmarking: Een rigoureuze evaluatie van negen LLM's over negen door mensen samengestelde datasets, die een vergelijkende analyse biedt van open-gewichten versus propriëtaire modellen in de Griekse context.

Resultaten
Empirische evaluatie over de negen datasets leverde de volgende bevindingen op:

• Propriëtaire versus Open-Gewichten: Propriëtaire modellen (Gemini 3 Flash en GPT-5 Mini) presteerden consistent beter dan alle open-gewichten modellen over de meeste benchmarks.
• Prestaties van Maistros 8B: Maistros 8B behaalde state-of-the-art prestaties onder open-gewichten modellen op de meeste datasets, wat betekenisvolle verbeteringen toonde ten opzichte van het basismodel (Ministral 3 8B).
  • Het behaalde statistisch significante verbeteringen ten opzichte van het basismodel in 5 van de 9 datasets (bijv. Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • Op de domeinspecifieke Plutus QA (Griekse economie) presteerde Maistros 8B beter dan alle andere open-gewichten modellen en verkleinde het de kloof met GPT-5 Mini tot een verschil van 3,56%.
  • Op de CulturaQA-testset kwam Maistros 8B de prestaties van propriëtaire modellen dicht in de buurt, terwijl het andere open-gewichten alternatieven aanzienlijk overtrof.
• Beperkingen: Maistros 8B toonde geen statistisch significante verbeteringen ten opzichte van het basismodel op Demos QA en Greek Truthful QA, en bleef onder de prestaties van propriëtaire modellen op alle benchmarks.

Betekenis en Beweringen
De auteurs beweren dat dit werk de levensvatbaarheid aantoont van het gebruik van hoogwaardige, door LRM gegenereerde en door mensen samengestelde synthetische data om robuuste open-gewichten modellen te trainen voor talen met beperkte hulpbronnen. De studie benadrukt dat gerichte fijnafstemming op cultureel verankerde data de modelprestaties aanzienlijk kan verbeteren in specifieke domeinen (zoals financiën) en in algemeen cultureel begrip.

Het artikel behoudt echter een bescheiden houding met betrekking tot de kloof tussen open en propriëtaire modellen. De auteurs erkennen dat Maistros 8B, hoewel het een belangrijke stap voorwaarts is voor open-source Griekse NLP, nog niet de mogelijkheden van propriëtaire modellen zoals Gemini 3 Flash evenaart. Het werk dient als fundament voor toekomstig onderzoek, waarbij wordt gesuggereerd dat verdere uitbreiding van datasets om lange antwoorden, diverse inhoud en regionale dialecten te omvatten, noodzakelijk is om de complexiteit van het Modern Grieks volledig te vatten. De auteurs benadrukken dat hun vrijgave van code, model en data gericht is op het ondersteunen van reproduceerbaarheid en de ontwikkeling van taalkundig accurate, cultureel verankerde taalmodellen voor het Grieks.