Technische Samenvatting: Mi:dm 2.0 – Korea-centrische tweetalige Large Language Models

Probleemstelling

Ondanks de proliferatie van Large Language Models (LLMs) die de Koreaanse taal ondersteunen, blijft er een aanzienlijke kloof bestaan in modellen die werkelijk geworteld zijn in de realiteit van de Koreaanse samenleving. Bestaande modellen lijden vaak aan onvoldoende of kwalitatief laagwaardige Koreaanse trainingsdata, wat leidt tot beperkte linguïstische prestaties en een mismatch met de Koreaanse culturele sensibiliteit. Dit resulteert in onnatuurlijke reacties, emotionele incongruentie, of zelfs taalwisseling vanuit het perspectief van Koreaanse gebruikers. Bovendien zijn bestaande Koreaanse datasets structureel ongebalanceerd, zwaar gekanteld naar geesteswetenschappen en sociale wetenschappen, terwijl ze een tekort vertonen aan representatie in STEM, toegepaste wetenschappen en diverse structurele formaten (bijv. langvormige redeneringen, code). De uitdaging ligt in het ontwikkelen van een model dat niet alleen Koreaanse tekst verwerkt, maar ook de unieke waarden, cognitieve kaders en het algemeen begrip dat inherent is aan de Koreaanse cultuur internaliseert, terwijl het efficiënt opereert binnen de beperkingen van middelen.

Methodologie

1. Data Engineering en Curatie

De ontwikkeling van Mi:dm 2.0 geeft prioriteit aan datakwaliteit boven kwantiteit, waarbij een rigoureuze, meerfasige pijplijn wordt toegepast om het tekort aan hoogwaardige Koreaanse corpora aan te pakken.

• Data Classificatie: Een multidimensionaal kader categoriseert data op basis van taal, domein (Geesteswetenschappen, STEM, Toegepaste Wetenschappen, etc.), bron (Organisch versus Synthetisch) en linguïstische stijl (Formeel/Informeel, Geschreven/Gesproken).
• Filtering Pijplijn: Een 8-fasige filtering wordt toegepast op Koreaanse webdata, inclusclusief document-deduplicatie, heuristische filtering, perplexity-filtering, correctie van defecte documenten, modelgebaseerde kwaliteitsfiltering, verwijdering van toxische inhoud, regel-niveau deduplicatie en PII-anonimisering.
• Synthetische Datageneratie: Om domein-imbalans (met name in STEM en toegepaste wetenschappen) en structurele diversiteit te compenseren, genereren de auteurs hoogwaardige synthetische data. Strategieën omvatten:
  • Domein Balancering: Het omzetten van zaadconcepten naar tekstboekachtige uitleg en scenario-gestuurde narratieven voor ondervertegenwoordigde domeinen.
  • Reconstructie: Het herschrijven van kwalitatief laagwaardige maar topisch relevante, eruit gefilterde Common Crawl-documenten om bruikbare tokens te herstellen.
  • Cross-linguale Augmentatie: Het herschrijven van Engelse webdocumenten naar natuurlijke Koreaanse formaten (bijv. het omzetten van inhoud in vragen voor universitaire toelatingsexamens) om structurele diversiteit te introduceren zonder te vertrouwen op directe vertaling.
  • Redeneerdata: Het construeren van Long Chain-of-Thought (LongCoT) datasets voor wiskunde en code-redenering.
• Tokenizer: Een aangepaste tokenizer is ontworpen specifiek voor de morfologische structuur van het Koreaans om de token-compressie en computationele efficiëntie te verbeteren.

2. Modelarchitectuur en Trainingsstrategieën

Mi:dm 2.0 wordt uitgebracht in twee configuraties: Base (11.5B parameters) en Mini (2.3B parameters). Beiden maken gebruik van een Transformer decoder-only architectuur met Grouped Query Attention (GQA) en SiLU-activatie.

• Mi:dm 2.0 Base (Depth-up Scaling):

  • Fase 1: Een 8B parameter model wordt vanaf nul getraind op een gecureerde corpus.
  • Fase 2: Het model wordt uitgebreid naar 11.5B parameters met behulp van een Depth-up Scaling (DuS) strategie. Lagen met een hoge cosinus-gelijkenis in embedding-veranderingen (wat duidt op stabiele informatiebehoud) worden geïdentificeerd en gedupliceerd om de diepte te vergroten van 32 naar 48 lagen zonder complexe architecturale wijzigingen.
  • Long-Context Extensie: De Rotary Position Embedding (RoPE) basis frequentie wordt aangepast om de contextlengte uit te breiden van 8K naar 32K tokens.

• Mi:dm 2.0 Mini (Pruning en Distillatie):

  • Afgeleid van het Base-model via een meerfasig proces om te optimaliseren voor omgevingen met beperkte middelen.
  • Fase 1: Breedte-pruning reduceert het model tot een intermediair 5B "Base-half" model.
  • Fase 2: Kennisdistillatie wordt uitgevoerd met zowel het intermediaire model als het volledige Base-model als docenten. Het student-model wordt verder gepruned naar 2.3B parameters, waarbij gebruik wordt gemaakt van gewichtsdeling voor embeddings.

3. Post-Training (Alignment)

De post-training fase richt zich op zes kerncapaciteiten: Instructie-opvolging (IF), Redeneren, Retrieval-Augmented Generation (RAG), Agent-vermogen, Veiligheid en Long Context Handling.

• Supervised Fine-Tuning (SFT): Meerdere SFT-modellen worden getraind op diverse datasets (General Chat, IF, Reasoning, RAG, Tool Use, Safety) en hun gewichten worden samengevoegd om capaciteiten te verenigen.
• Preference Optimization (RL): Reinforcement Learning wordt toegepast met behulp van menselijke en AI-voorkeuren om het model af te stemmen op veiligheid, betrouwbaarheid en gebruikersintentie.
• Veiligheidstraining: Uitgebreide datasets worden geconstrueerd om onschadelijkheid, eerlijkheid en rolconsistentie te behandelen, inclusief specifieke afhandeling voor grensgevallen.

Belangrijkste Bijdragen

• Definitie van Korea-centrische AI: Het artikel stelt een kader vast voor "Korea-centrische AI", waarbij de nadruk ligt op de internalisering van Koreaanse sociaal-culturele waarden, normen en redeneerpatronen in plaats van louter linguïstische bekwaamheid.
• Data-centrische Innovatie: De introductie van een eigen, meerfasige data-reinigingspijplijn en strategische synthetische augmentatie die specifiek is ontworpen om domein-imbalans (bijv. onderrepresentatie van STEM) in Koreaanse corpora te corrigeren.
• Efficiënte Scaling Technieken: De succesvolle toepassing van Depth-up Scaling (DuS) om de modelcapaciteit uit te breiden en meerfasige pruning/distillatie om een hoogwaardig 2.3B model te creëren, wat competitieve resultaten laat zien met aanzienlijk lagere computationele overhead.
• Omvattende Evaluatie Suite: De ontwikkeling van propriëtaire Korea-specifieke benchmarks (K-Pragmatics, K-Referential, Ko-Sovereign) en Responsible AI (RAI) evaluaties die zijn afgestemd op de Koreaanse context, waarmee verder wordt gegaan dan Engels-gecentreerde metrieken.

Resultaten

• Koreaanse Benchmarks: Mi:dm 2.0 Base bereikt state-of-the-art prestaties op Korea-specifieke benchmarks. Het presteert beter dan de binnenlandse baseline (Exaone-3.5-7.8B) met 9.6% in redeneren en 8.7% in algemene kennis. Opvallend genoeg toont het een voordeel van 17.1% ten opzien van Exaone-3.5-7.8B op de K-Referential-hard benchmark en leidt het in de HAERAE benchmark voor cultureel begrip.
• Algemene Benchmarks: Op Engelse benchmarks (MMLU, GSM8K, etc.) demonstreert Mi:dm 2.0 Base competitieve prestaties, met name in instructie-opvolging en wiskunde, waarbij het vaak vergelijkbare gegrootte wereldwijde modellen overtreft.
• Efficiëntie: Mi:dm 2.0 Mini (2.3B) bereikt prestaties die vergelijkbaar zijn met of beter zijn dan het 2.4B Exaone-model in instructie-opvolging en taken rondom de Koreaanse samenleving/cultuur, ondanks het hebben van minder parameters.
• Veiligheid en Robuustheid: In RAI-evaluaties behaalt Mi:dm 2.0 Base een "Not Unsafe Rate" van 97.75% in inhoudelijke veiligheid, waarmee het Llama-3.1-8B overtreft. In red teaming-scenario's vertoont het de laagste Attack Success Rate (36.72%) van de vergelijkbare modellen.

Betekenis en Claims

Het artikel claimt dat Mi:dm 2.0 een nieuwe standaard zet voor echte Korea-centrische AI door verder te gaan dan linguïstische verwerking en culturele nuances en maatschappelijke waarden te belichamen. De auteurs stellen dat hun aanpak — waarbij prioriteit wordt gegeven aan rigoureuze datacuratie, strategische synthetische augmentatie en efficiënte scaling technieken — de ontwikkeling van hoogwaardige modellen mogelijk maakt, zelfs met beperkte computationele middelen en kleinere trainingscorpora vergeleken met wereldwijde tegenhangers.

Door zowel de Base als de Mini modellen onder de MIT-licentie vrij te geven, beoogt KT de adoptie van AI in de Koreaanse industrieën, publieke diensten en het onderwijs te versnellen. De modellen worden gepositioneerd als fundamentele elementen van "K-intelligence", bedoeld om de Koreaanse AI-ontwikkelaarsgemeenschap te versterken en betrouwbare, cultureel passende tools te bieden voor real-world toepassingen. Het artikel concludeert dat het succes van Mi:dm 2.0 de cruciale rol van precieze datasamenstelling en efficiënte trainingsstrategieën bij het verbeteren van modelprestaties valideert, en een blauwdruk biedt voor het ontwikkelen van gespecialiseerde, hoogwaardige LLM's in omgevingen met beperkte middelen of specifieke linguïstische kenmerken.