Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Technische Zusammenfassung: Maistros – Ein griechisches Large Language Model, angepasst durch Knowledge Distillation

Problemstellung
Trotz des raschen Fortschritts bei Large Language Models (LLMs) und dem Aufkommen von Large Reasoning Models (LRMs), die zu komplexer mehrstufiger Argumentation fähig sind, bestehen weiterhin erhebliche Leistungsunterschiede zwischen ressourcenstarken und unterversorgten Sprachen. Das Neugriechische, gekennzeichnet durch sein eigenes Alphabet, eine reiche Morphologie und syntaktische Variabilität, bleibt im NLP-Umfeld eine unterversorgte Sprache. Bestehende griechenlandfähige Modelle stützen sich häufig auf begrenzte Trainingsdaten, was zu suboptimalen Leistungen bei Frage-Antwort-Aufgaben (QA) führt, insbesondere bei solchen, die kulturelles oder domänenspezifisches Wissen erfordern. Darüber hinaus machen ihre massiven Parameterzahlen (Hunderte von Milliarden) und hohe Inferenz-Latenz, obwohl aktuelle LRMs die Genauigkeit durch explizite Argumentationsspuren verbessern, deren Einsatz in herkömmlichen Rechenumgebungen unpraktisch. Es besteht eine kritische Lücke bei der Verfügbarkeit hochwertiger, menschlich kurierter griechischer QA-Datensätze, die für das Training geeignet sind, da die meisten bestehenden Ressourcen ausschließlich zur Evaluation konzipiert wurden.

Methodik
Um diese Herausforderungen zu adressieren, schlagen die Autoren eine Pipeline vor, die auf Knowledge Distillation von einem leistungsstarken LRM zu einem kompakten, Open-Weights-Modell basiert, unterstützt durch einen neu kuratierten Datensatz.

1. Datensatzerstellung (CulturaQA): Die Autoren führten CulturaQA ein, einen synthetischen und menschlich kuratierten Datensatz, der 2.700 griechische Frage-Antwort-Paare umfasst. Der Generierungsprozess umfasste:

   • Die Auswahl von 180 griechischen Schlüsselphrasen über 11 kulturelle Domänen hinweg (z. B. Geschichte, Politik, Wirtschaft, Mythologie).
   • Die Generierung von 15 Fragen pro Schlüsselphrase mittels GPT-5, gefolgt davon, dass das Modell seine eigenen Fragen beantwortete.
   • Eine strenge menschliche Kuratierung im Loop zur Korrektur sprachlicher Fehler (Grammatik, Rechtschreibung, polytonische Probleme), zur Entfernung von Halluzinationen, zur Behebung faktischer Ungenauigkeiten und zur Eliminierung nicht-griechischer Artefakte.
   • Eine geschichtete Aufteilung in Trainings- (2.000), Validierungs- (200) und Testsets (500).

2. Modellentwicklung (Maistros 8B):

   • Basis-Modell: Die Autoren wählten Ministral 3 8B, ein allgemeines Open-Weights-LLM, als Fundament.
   • Fine-Tuning-Strategie: Sie setzten Supervised Fine-Tuning (SFT) unter Verwendung von Low-Rank Adaptation (LoRA) ein, um Wissen aus CulturaQA in das Basis-Modell zu destillieren.
   • Technische Konfiguration: Das Training nutzte eine 4-Bit-Quantisierung (NF4) und einen 8-Bit-AdamW-Optimierer, um den Speicherbedarf zu reduzieren. Die LoRA-Konfiguration umfasste einen Rang von 16 und ein Alpha von 32 (Skalierungsfaktor 2,0). Das Modell wurde für 4 Epochen mit einer Lernrate von 2e-5, einer Batch-Größe von 2 (akkumuliert auf 16) und einer maximalen Sequenzlänge von 3.269 Tokens trainiert.
   • Verlustfunktion: Entlang bewährter Praktiken wurde die Verlustberechnung für Benutzer-/System-Prompts maskiert, wobei die Optimierung ausschließlich auf den vom Assistenten generierten Antwort-Token fokussiert wurde, um zu verhindern, dass das Modell lernt, den Prompt vorherzusagen.

3. Evaluierungsrahmen:

   • Es wurde ein speichereffizienter Rahmen entwickelt, um neun LLMs (einschließlich proprietärer Modelle wie Gemini 3 Flash und GPT-5 Mini sowie Open-Weights-Modelle wie Krikri 8B und Plutus 8B) über neun griechische QA-Datensätze hinweg zu evaluieren.
   • Metriken: Multiple-Choice-Aufgaben wurden mittels Genauigkeit (durch regelbasiertes Parsen) evaluiert, während die offene CulturaQA-Aufgabe BERTScore F1 nutzte.
   • Statistische Analyse: Die Signifikanz wurde mittels McNemar's exaktem Test für binäre Genauigkeit und Wilcoxon-Vorzeichen-Rang-Tests für kontinuierlichen BERTScore bewertet, ergänzt durch Bootstrap-Resampling für 95%-Konfidenzintervalle.

Hauptbeiträge
Die Arbeit leistet vier primäre Beiträge:

1. CulturaQA: Ein hochwertiger, menschlich kurierter griechischer Datensatz, der speziell für das Training und die Evaluation von LLMs entwickelt wurde und diverse kulturelle und domänenspezifische Themen abdeckt.
2. Maistros 8B: Ein State-of-the-Art Open-Weights griechisches LLM, das durch Knowledge Distillation und Fine-Tuning auf CulturaQA entwickelt wurde und für den lokalen Einsatz auf handelsüblicher Hardware optimiert ist.
3. Evaluierungsrahmen: Ein speichereffizienter, anpassbarer Rahmen zur Evaluation von LLMs bei diversen griechischen QA-Aufgaben unter Verwendung standardisierter Metriken.
4. Umfassendes Benchmarking: Eine rigorose Evaluation von neun LLMs über neun menschlich kuratierte Datensätze hinweg, die eine vergleichende Analyse von Open-Weights- versus proprietären Modellen im griechischen Kontext bietet.

Ergebnisse
Die empirische Evaluation über die neun Datensätze hinweg ergab folgende Erkenntnisse:

• Proprietär vs. Open-Weights: Proprietäre Modelle (Gemini 3 Flash und GPT-5 Mini) schnitten über die meisten Benchmarks hinweg konsistent besser ab als alle Open-Weights-Modelle.
• Leistung von Maistros 8B: Maistros 8B erzielte unter den Open-Weights-Modellen auf den meisten Datensätzen State-of-the-Art-Leistung und zeigte sinnvolle Verbesserungen gegenüber seinem Basis-Modell (Ministral 3 8B).
  • Es erzielte statistisch signifikante Verbesserungen gegenüber dem Basis-Modell in 5 von 9 Datensätzen (z. B. Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • Auf dem domänenspezifischen Plutus QA (griechische Wirtschaft) übertraf Maistros 8B alle anderen Open-Weights-Modelle und verringerte die Lücke zu GPT-5 Mini auf einen Unterschied von 3,56 %.
  • Auf dem CulturaQA-Testset erreichte Maistros 8B eine Leistung, die der proprietärer Modelle nahe kam, und übertraf gleichzeitig andere Open-Weights-Alternativen signifikant.
• Einschränkungen: Maistros 8B zeigte keine statistisch signifikanten Verbesserungen gegenüber dem Basis-Modell auf Demos QA und Greek Truthful QA und blieb auf allen Benchmarks unter der Leistung proprietärer Modelle.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit die Machbarkeit demonstriert, hochwertige, von LRMs generierte und menschlich kuratierte synthetische Daten zu verwenden, um robuste Open-Weights-Modelle für unterversorgte Sprachen zu trainieren. Die Studie hebt hervor, dass gezieltes Fine-Tuning auf kulturell fundierten Daten die Modellleistung in spezifischen Domänen (wie Finanzen) und im allgemeinen kulturellen Verständnis erheblich verbessern kann.

Die Arbeit nimmt jedoch eine bescheidene Haltung bezüglich der Lücke zwischen Open-Source- und proprietären Modellen ein. Die Autoren erkennen an, dass Maistros 8B zwar einen bedeutenden Schritt nach vorne für Open-Source-griechische NLP darstellt, aber noch nicht die Fähigkeiten proprietärer Modelle wie Gemini 3 Flash erreicht. Die Arbeit dient als Grundlage für zukünftige Forschung und legt nahe, dass eine weitere Erweiterung der Datensätze um langformatige Antworten, diverse Inhalte und regionale Dialekte notwendig ist, um die Komplexität des Neugriechischen vollständig zu erfassen. Die Autoren betonen, dass ihre Veröffentlichung von Code, Modell und Daten darauf abzielt, Reproduzierbarkeit sowie die Entwicklung linguistisch genauer und kulturell fundierter Sprachmodelle für das Griechische zu unterstützen.