💬 NLP

A.X K1 Technical Report

A.X K1 is een nieuw Mixture-of-Experts taalmodel met 519 miljard parameters dat, getraind op 10 biljoen tokens, uitblinkt in efficiënte redeneercapaciteiten en superieure prestaties in het Koreaans dankzij een unieke 'Think-Fusion' trainingsmethode.

Oorspronkelijke auteurs: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee

Gepubliceerd 2026-02-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee, Sangyeol Lee, Sungeun Lee, Youngsoon Lee, Yujin Lee, Seongmin Ok, Chanyong Park, Hyewoong Park, Junyoung Park, Hyunho Yang, Subin Yi, Dhammiko Arya, Soohyun Bae, Dongyeon Cho, Seungmo Cho, Sangho Choi, Yongseok Choi, Gyoungeun Han, Yong-jin Han, Seokyoung Hong, Hyeon Hwang, Wonbeom Jang, Minjeong Ju, Wonjin Jung, Keummin Ka, Sungil Kang, Dongnam Kim, Jonghwi Kim, Joonghoon Kim, SaeRom Kim, Sangjin Kim, Seongwon Kim, Youngjin Kim, Seojin Lee, Sunwoo Lee, Taehoon Lee, Chanwoo Park, Sohee Park, Sooyeon Park, Yohan Ra, Sereimony Sek, Seungyeon Seo, Gun Song, Sanghoon Woo, Janghan Yoon, Sungbin Yoon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent brein wilt bouwen, maar je hebt niet de tijd of het geld om de hele wereldbibliotheek te kopiëren. Je moet slim omgaan met je middelen. Dat is precies wat de onderzoekers van SK Telecom hebben gedaan met hun nieuwe AI-model: A.X K1.

Hier is de uitleg in begrijpelijke taal:

1. De "Slimme Wisselaar" (Het MoE-concept)

De meeste AI-modellen zijn als een enorme encyclopedie waar je elke keer dat je een vraag stelt, alle pagina's tegelijk moet doorbladeren. Dat is traag en kost bakken met energie.

A.X K1 werkt volgens het Mixture-of-Experts (MoE) principe. Zie dit als een gigantisch kantoorpand met 519 miljard "specialisten" (experts) in verschillende kamers. Als jij een vraag stelt over wiskunde, rent de AI niet naar alle kamers, maar stuurt hij alleen een klein team van 33 miljard experts (de actieve parameters) naar de juiste kamer. Zo is het model enorm slim (veel kennis), maar blijft het razendsnel en efficiënt (weinig energieverbruik).

2. De "Denk-knop" (Think-Fusion)

Dit is de meest unieke eigenschap van A.X K1. Normaal gesproken is een AI ofwel een "snelle prater" (geeft direct antwoord, maar maakt fouten bij moeilijke vragen) of een "diepe denker" (denkt lang na, maar is traag bij simpele vragen).

De onderzoekers hebben een techniek bedacht genaamd Think-Fusion. Je kunt het vergelijken met een auto die zowel een snelle stadsauto als een krachtige terreinwagen is:

De "Non-thinking" modus: Als je vraagt "Hoe laat is het?", geeft de AI direct antwoord. Geen gedoe, geen vertraging.
De "Thinking" modus: Als je vraagt om een ingewikkeld wiskundig probleem op te lossen, zet de AI de "denk-modus" aan. De AI begint dan hardop te "nadenken" (het zogenaamde <think> proces), waarbij hij stap voor stap zijn logica uitschrijft voordat hij het eindantwoord geeft.

Het mooie is: dit zit in één en hetzelfde model. Je kunt de gebruiker zelf laten kiezen: "Wil je een snel antwoord, of wil je dat ik echt even diep nadenk?"

3. De "Koreaanse Specialist" (Sovereign AI)

Veel grote AI-modellen (zoals die van de VS) zijn heel goed in Engels, maar begrijpen de nuances, cultuur en specifieke taal van andere landen soms minder goed. A.X K1 is gebouwd met een specifiek doel: een "digitale trots" voor Korea zijn. Het model is getraind op een enorme berg data (10 biljoen woorden!) om de Koreaanse taal en cultuur perfect te beheersen, zodat het een betrouwbare partner is voor de Koreaanse industrie en overheid.

Samenvatting: Wat hebben ze bereikt?

De onderzoekers hebben bewezen dat je met een slimme strategie (de juiste experts kiezen, een slimme "denk-knop" toevoegen en slimme data gebruiken) een AI kunt maken die:

Extreem slim is (vooral in wiskunde en programmeren).
Flexibel is (snel voor simpele taken, diepgaand voor moeilijke).
Efficiënt is (niet onnodig veel rekenkracht verspilt).

Het is eigenlijk een digitale multitasker die precies weet wanneer hij moet vliegen en wanneer hij moet wandelen.

Technische Samenvatting: A.X K1 Technical Report

1. Probleemstelling (The Problem)

De ontwikkeling van geavanceerde Large Language Models (LLM's) kampt met twee fundamentele uitdagingen bij de praktische implementatie:

Balans tussen capaciteit en efficiëntie: Modellen met een enorme kenniscapaciteit (nodig voor redeneren) zijn vaak te zwaar voor efficiënte inferentie (gebruik) in real-world scenario's.
De "Reasoning-Latency" paradox: Modellen die diep kunnen redeneren (zoals 'thinking models'), genereren vaak een enorme hoeveelheid tokens tijdens het denkproces. Dit leidt tot hoge latentie en kosten, wat ongewenst is voor eenvoudige taken waarbij een direct antwoord volstaat.
Soevereine AI: Er is een gebrek aan hoogwaardige basismodellen die de specifieke linguïstische en culturele nuances van de Koreaanse taal en context volledig begrijpen.

2. Methodologie (Methodology)

Architectuur

A.X K1 is een Mixture-of-Experts (MoE) model met een totale omvang van 519 miljard parameters, waarvan er 33 miljard actief zijn per token. De architectuur is geoptimaliseerd op basis van scaling laws:

Multi-head Latent Attention (MLA): Gebruikt om de KV-cache efficiëntie te verbeteren en geheugenverbruik bij lange contexten te verminderen.
Groot Vocabulaire: Een geoptimaliseerde vocabulaire van 160K tokens voor betere dekking van meertalige data (Engels, Koreaans, Chinees, Japans, Spaans).
Dual-Normalization: Gebruik van RMSNorm zowel vóór als na de MoE-lagen voor trainingstabiliteit.

Pre-training

Het model is getraind op een corpus van circa 10 biljoen (10T) tokens. Het trainingsproces bestond uit drie fasen:

General Knowledge Stage: Opbouw van basiskennis (7T tokens).
High-Quality Reasoning Stage: Focus op complexe logica en STEM-data (1,66T tokens).
Long-Context Adaptation: Uitbreiding van de contextlengte van 4K naar 32K tokens.

Post-training: Het "Think-Fusion" Concept

De belangrijkste innovatie is de Think-Fusion methode, die het model in staat stelt om te schakelen tussen twee modi:

Thinking Mode: Gebruikt een <think>...</think> structuur voor uitgebreide redeneerpaden (Chain-of-Thought).
Non-thinking Mode: Geeft directe, beknopte antwoorden zonder extra rekenkracht.

Dit werd bereikt door:

Dual-track SFT: Onafhankelijke fine-tuning van een instructie-model en een redeneer-model.
Model Merging: Het lineair samenvoegen van deze twee modellen ( $\alpha=0.8$ ).
Mode-Overlap Dataset (MOD): Fine-tuning op een dataset die voor dezelfde prompt zowel een redeneerpad als een direct antwoord bevat, om "mode confusion" (verwarring tussen de modi) te voorkomen.
On-policy Reinforcement Learning (RL): Gebruik van de DAPO- en GSPO-frameworks om de nauwkeurigheid en het format (correcte tags) te optimaliseren.

3. Belangrijkste Bijdragen (Key Contributions)

Efficiënte MoE-schaalbaarheid: Het bewijzen dat een 500B+ parameter model stabiel getraind kan worden binnen strikte computationele en tijdgebonden budgetten.
Think-Fusion Framework: Een nieuwe methode om expliciete redeneercapaciteit te combineren met directe inferentie-efficiëntie in één enkel model.
Sovereign AI voor Korea: De ontwikkeling van een model dat superieur presteert op Koreaanse benchmarks, wat de afhankelijkheid van buitenlandse modellen vermindert.

4. Resultaten (Results)

Redeneervermogen: In de Thinking Mode presteert A.X K1 uitstekend in wiskunde. Op de AIME25 benchmark scoort het model 89.8, wat hoger is dan DeepSeek-V3.1 (88.4) en GLM-4.6 (86.0).
Taalspecifieke superioriteit: Op Koreaanse kennisbenchmarks zoals KMMLU (80.2) presteert het model beter dan de vergelijkbare state-of-the-art modellen.
Tokenisatie-efficiëntie: De nieuwe tokenizer is significant efficiënter voor de Koreaanse taal dan bestaande oplossingen (zoals OpenAI o200k), wat resulteert in lagere token-counts per sample.
Inference Controle: Het model slaagt erin om via gebruikerscontrole (control tokens) effectief te schakelen tussen diep redeneren en snelle antwoorden.

5. Betekenis (Significance)

A.X K1 markeert een belangrijke stap in de democratisering van geavanceerde AI. Het laat zien dat men niet alleen hoeft te schalen in grootte, maar dat architecturale intelligentie (zoals de keuze voor MoE en Think-Fusion) cruciaal is voor praktische toepasbaarheid. Het model biedt een brug tussen de theoretische kracht van "reasoning models" en de economische realiteit van grootschalige cloud-implementaties, terwijl het tegelijkertijd een sterke culturele en linguïstische basis legt voor de Koreaanse AI-ecosysteem.