Riassunto Tecnico: A.X K1 Technical Report

1. Il Problema (Problem Statement)

Il documento identifica due sfide fondamentali nello sviluppo e nel deployment dei Large Language Models (LLM) moderni:

• Bilanciamento tra Capacità e Deployment: I modelli con elevate capacità di ragionamento richiedono un numero enorme di parametri, il che spesso contrasta con la necessità di mantenere una latenza di inferenza accettabile e costi di computazione gestibili in scenari reali.
• Inefficienza del Processo di Ragionamento (Thinking Process): I modelli che utilizzano catene di pensiero estese (Chain-of-Thought) eccellono in compiti complessi, ma applicare lo stesso livello di "pensiero" a query semplici comporta uno spreco computazionale e un'esperienza utente degradata a causa della lentezza nelle risposte.

2. Metodologia (Methodology)

Architettura del Modello

A.X K1 è un modello Mixture-of-Experts (MoE) addestrato da zero con le seguenti specifiche:

• Parametri Totali: 519 miliardi.
• Parametri Attivi: 33 miliardi (per ottimizzare il throughput di inferenza).
• Design: Basato su leggi di scaling per ottimizzare la dimensione del vocabolario (160K token) e la granularità degli esperti. Utilizza la Multi-head Latent Attention (MLA) per migliorare l'efficienza della cache KV e il Multi-Token Prediction (MTP) per supportare il speculative decoding.
• Stabilità: Implementazione di uno schema di "dual normalization" (RMSNorm prima e dopo i layer MoE) per prevenire picchi di perdita (loss spikes) durante l'addestramento.

Pre-training e Dati

Il modello è stato addestrato su un corpus di circa 10 trilioni di token attraverso una pipeline multi-stadio:

1. General Knowledge Stage: 7 trilioni di token per stabilire le basi linguistiche.
2. High-Quality Reasoning Stage: 1,66 trilioni di token focalizzati su STEM, codice e dati sintetici ad alta complessità.
3. Long-Context Adaptation: Estensione progressiva della finestra di contesto da 4K a 32K token.
   La pipeline di dati include un sofisticato sistema di parsing di documenti PDF, generazione di dati sintetici (basata su seed corpus e argomenti specifici) e un sistema di curation basato su classificatori di qualità, dominio e difficoltà.

Post-training: La tecnica "Think-Fusion"

La principale innovazione metodologica è il framework Think-Fusion, che permette al modello di supportare due modalità in un unico checkpoint:

• Instruct SFT: Addestramento su istruzioni dirette (senza tag di pensiero).
• Reasoning SFT: Addestramento su tracce di ragionamento (utilizzando il formato <think>...</think>).
• Fisica della Fusione: Invece di un addestramento congiunto costoso, gli autori utilizzano il Model Merging lineare tra i due modelli specializzati, seguito da un fine-tuning su un Mode-Overlap Dataset (MOD). Questo dataset contiene coppie di risposte (una con ragionamento e una diretta) per lo stesso prompt, eliminando la "confusione di modalità" e garantendo che il modello sappia quando essere conciso e quando approfondire.
• Reinforcement Learning (RL): Utilizzo di un approccio on-policy (DAPO con perdita GSPO) con ricompense basate sia sulla correttezza della soluzione che sulla correttezza del formato (per evitare tag malformati).

3. Contributi Chiave (Key Contributions)

1. Efficienza Computazionale: Dimostrazione di come un modello MoE massiccio possa essere ottimizzato per il deployment reale bilanciando parametri totali e attivi.
2. Ragionamento Controllabile (Think-Fusion): Introduzione di un metodo per permettere all'utente di scegliere tra una modalità di "pensiero profondo" (per compiti complessi) e una modalità "diretta" (per bassa latenza) all'interno dello stesso modello.
3. Ingegneria su Scala Frontier: Dimostrazione della capacità di gestire l'addestramento end-to-end di un modello da oltre 500B di parametri sotto vincoli di tempo e risorse hardware (1.536 GPU H200).

4. Risultati (Results)

• Performance di Ragionamento: In modalità "Thinking", A.X K1 supera modelli leader come DeepSeek-V3.1 e GLM-4.6 in benchmark matematici critici come AIME25 (89.8 contro 88.4 di DeepSeek).
• Vantaggio Linguistico: Il modello stabilisce un vantaggio distintivo nei benchmark in lingua coreana (es. KMMLU), dimostrando una comprensione culturale e linguistica superiore rispetto ai modelli globali.
• Efficienza del Tokenizer: Il tokenizer proprietario mostra un'efficienza superiore nella gestione del coreano e del codice rispetto ai tokenizer di OpenAI e Qwen.
• Modalità Non-Thinking: Sebbene mostri prestazioni leggermente inferiori nei benchmark di conoscenza pura rispetto ai modelli più grandi, eccelle nel seguire istruzioni specifiche (IFBench).

5. Significato (Significance)

A.X K1 rappresenta un passo fondamentale verso la Sovereign AI (AI Sovrana). Sviluppando un modello di frontiera che comprende profondamente le caratteristiche linguistiche e culturali della Corea, SK Telecom mira a ridurre la dipendenza dai modelli proprietari stranieri e a creare un ecosistema AI locale affidabile per industrie, governo e accademia. Inoltre, il framework Think-Fusion offre un modello pratico per rendere i modelli di ragionamento avanzato scalabili e utilizzabili in applicazioni commerciali dove la latenza è un fattore critico.