💬 NLP

A.X K1 Technical Report

A.X K1은 519B 파라미터 규모의 MoE(Mixture-of-Experts) 언어 모델로, 10T 토큰 학습과 'Think-Fusion' 기술을 통해 추론 능력과 효율성을 동시에 확보하며 특히 한국어 성능에서 강점을 보이는 모델입니다.

원저자: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee

게시일 2026-02-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee, Sangyeol Lee, Sungeun Lee, Youngsoon Lee, Yujin Lee, Seongmin Ok, Chanyong Park, Hyewoong Park, Junyoung Park, Hyunho Yang, Subin Yi, Dhammiko Arya, Soohyun Bae, Dongyeon Cho, Seungmo Cho, Sangho Choi, Yongseok Choi, Gyoungeun Han, Yong-jin Han, Seokyoung Hong, Hyeon Hwang, Wonbeom Jang, Minjeong Ju, Wonjin Jung, Keummin Ka, Sungil Kang, Dongnam Kim, Jonghwi Kim, Joonghoon Kim, SaeRom Kim, Sangjin Kim, Seongwon Kim, Youngjin Kim, Seojin Lee, Sunwoo Lee, Taehoon Lee, Chanwoo Park, Sohee Park, Sooyeon Park, Yohan Ra, Sereimony Sek, Seungyeon Seo, Gun Song, Sanghoon Woo, Janghan Yoon, Sungbin Yoon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 한 줄 요약: "생각할 때와 대답할 때를 스스로 조절하는, 똑똑한 한국형 만능 두뇌"

이 논문은 SK텔레콤이 만든 **'A.X K1'**이라는 거대한 인공지능(AI) 모델에 대한 이야기입니다. 이 AI는 단순히 아는 게 많은 것을 넘어, **"지금 이 문제는 깊게 고민해야 할 문제인가, 아니면 바로 대답해도 되는 문제인가?"**를 스스로 판단할 수 있는 능력을 갖췄습니다.

1. 🏗️ 모델의 구조: "거대한 도서관 속의 효율적인 전문가들" (MoE 방식)

보통의 AI가 모든 질문에 대해 자기 몸 전체를 다 써서 대답한다면, A.X K1은 **'MoE(Mixture-of-Experts, 전문가 혼합)'**라는 방식을 사용합니다.

비유하자면: 아주 큰 종합병원과 같습니다. 환자(질문)가 오면 병원 전체 인력이 다 움직이는 게 아니라, 내과 의사, 외과 의사, 소아과 의사 중 딱 필요한 전문가 몇 명(33B 파라미터)만 호출해서 진료를 보는 식이죠.
효과: 전체 규모는 519B(5,190억 개)라는 엄청난 지식을 가진 거대 도서관급이지만, 실제로 질문에 답할 때는 필요한 전문가만 쓰기 때문에 속도는 빠르고 효율적입니다.

2. ⚡ 핵심 기술: "생각 모드 vs 직관 모드" (Think-Fusion)

이 논문의 가장 놀라운 점은 **'Think-Fusion'**이라는 기술입니다. 기존 AI들은 어려운 문제를 풀 때 너무 오래 생각해서 답답하거나, 쉬운 문제에도 너무 길게 설명해서 에너지를 낭비하곤 했습니다.

비유하자면: 우리 뇌의 **'깊은 사고(Deep Thinking)'**와 **'직관(Intuition)'**을 합친 것입니다.
- 수학 문제나 복잡한 코딩을 만났을 때: "잠시만요, 차근차근 생각해보겠습니다..."라며 스스로 논리적인 추론 과정(<think> 태그 사용)을 거쳐 완벽한 답을 내놓습니다. (마치 수학자가 연습장에 풀이 과정을 적는 것과 같죠.)
- "오늘 날씨 어때?" 같은 간단한 질문을 받았을 때: 고민 없이 바로 "맑습니다!"라고 대답합니다. (마치 우리가 눈을 깜빡이는 것처럼 즉각적인 반응을 하는 거죠.)
사용자 제어: 사용자는 이 AI에게 "너 지금부터는 깊게 생각해서 대답해!" 혹은 "그냥 바로 짧게 말해줘!"라고 모드를 직접 조절할 수 있습니다.

3. 🇰🇷 한국어 특화: "한국의 문화와 언어를 가장 잘 아는 AI" (Sovereign AI)

외국에서 만든 AI(ChatGPT 등)는 한국의 역사, 문화, 미묘한 언어적 뉘앙스를 놓칠 때가 많습니다. A.X K1은 처음부터 한국어와 한국적 맥락을 깊게 학습하도록 설계되었습니다.

비유하자면: 외국인이 번역기로 말하는 한국어가 아니라, 한국에서 나고 자란 똑똑한 한국인 전문가와 대화하는 느낌을 주는 것입니다. 실제로 한국어 벤치마크(KMMLU 등)에서 세계적인 모델들과 대등하거나 더 뛰어난 성적을 거두었습니다.

4. 🛠️ 만드는 과정: "엄청난 양의 데이터를 정제하는 거대한 필터링 공장"

이 AI를 만들기 위해 10조 개의 데이터를 학습시켰습니다. 하지만 그냥 다 집어넣은 게 아닙니다.

비유하자면: 엄청난 양의 원석(데이터)을 가져와서, **'품질 검사기'**를 돌려 불순물을 제거하고, **'난이도 분류기'**를 통해 쉬운 것부터 어려운 것 순서대로 학습시키는 정교한 공정을 거쳤습니다. 덕분에 AI가 아주 체계적으로 똑똑해질 수 있었습니다.

🌟 결론: A.X K1이 가져올 미래

A.X K1은 단순히 "말 잘하는 기계"가 아닙니다.

필요할 땐 깊게 고민하고,
필요할 땐 빠르게 대답하며,
한국어를 가장 잘 이해하는,

매우 **경제적이고 똑똑한 '맞춤형 두뇌'**입니다. 이는 앞으로 우리가 스마트폰, 자동차, 업무용 도구 등 다양한 곳에서 AI를 훨씬 더 편리하고 효율적으로 사용할 수 있게 만들어 줄 것입니다.

[기술 요약] A.X K1: 추론 능력과 효율성을 동시에 잡은 대규모 MoE 언어 모델

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)은 파라미터 스케일링과 강화 학습을 통해 비약적인 추론 능력을 보여주고 있으나, 실제 배포 단계에서는 다음과 같은 두 가지 핵심적인 상충 관계(Trade-off) 문제에 직면합니다.

지식 용량 vs. 추론 효율성: 강력한 추론을 위해서는 방대한 지식 용량이 필요하지만, 이는 곧 막대한 추론 비용과 지연 시간(Latency)으로 이어져 실용적인 배포를 어렵게 합니다.
추론 깊이의 획일성: 복잡한 문제에는 깊은 사고(Thinking) 과정이 필요하지만, 단순한 질의에도 긴 사고 과정을 거치는 것은 계산 자원의 낭비이며 사용자 경험을 저해합니다.

2. 핵심 방법론 (Methodology)

A.X K1은 위 문제를 해결하기 위해 **"계산 효율적인 MoE 구조"**와 **"사용자 제어형 추론 모드"**를 결합한 설계를 채택했습니다.

A. 아키텍처 설계 (Architecture)

MoE (Mixture-of-Experts) 구조: 총 파라미터 519B 중 실제 추론 시 활성화되는 파라미터는 33B로 설정하여, 방대한 지식 용량을 유지하면서도 추론 효율성을 극대화했습니다.
MLA (Multi-head Latent Attention): KV 캐시 효율을 높여 긴 문맥(Long-context) 처리 시 메모리 오버헤드를 줄였습니다.
최적화된 토크나이저: 한국어, 영어, 중국어, 일본어 등을 효율적으로 처리하기 위해 **160K 크기의 어휘 사전(Vocabulary)**을 구축하여 토큰화 효율을 높였습니다.

B. Think-Fusion 학습 레시피 (Key Innovation)

단일 모델 내에서 '사고 모드(Thinking mode)'와 '직접 답변 모드(Non-thinking mode)'를 전환할 수 있는 혁신적인 학습 방식을 제안했습니다.

Dual-track SFT: 사고 과정(<think>...</think>)이 포함된 'Reasoning SFT'와 일반적인 지시 이행을 위한 'Instruct SFT'를 독립적으로 수행합니다.
Think-Fusion SFT: 두 모델의 가중치를 선형 결합(Linear Merging)한 후, **Mode-Overlap Dataset (MOD)**을 통해 미세 조정합니다. 동일한 질문에 대해 '사고 경로'와 '직접 답변 경로'를 모두 학습시켜 모드 간 혼란(Mode confusion)을 방지합니다.
On-policy RL (GSPO 기반): 강화 학습 단계에서 사고 토큰의 형식을 엄격히 준수하도록 Format-aware Reward를 도입하여, 사용자가 제어 토큰을 통해 추론 깊이를 선택할 수 있게 합니다.

C. 데이터 및 사전 학습 (Pre-training)

10T 토큰 데이터셋: 웹 데이터, 코드, STEM, 합성 데이터(Synthetic Data)를 포함한 10조 개의 토큰을 사용했습니다.
커리큘럼 학습: 데이터의 난이도에 따라 기초 지식 $\rightarrow$ 고난도 추론 $\rightarrow$ 긴 문맥 적응 순으로 학습 단계를 구성했습니다.

3. 주요 기여 (Key Contributions)

효율적인 MoE 스케일링: 고정된 계산 예산 내에서 Scaling Law를 적용하여 500B급 모델을 성공적으로 구축했습니다.
Think-Fusion 프레임워크: 모델 하나로 복잡한 추론과 빠른 응답을 모두 지원하는 '제어 가능한 추론(Controllable Reasoning)' 기술을 구현했습니다.
Sovereign AI 생태계 구축: 한국어의 언어적, 문화적 특성을 깊이 이해하는 고성능 파운데이션 모델을 개발하여 외산 모델 의존도를 낮추는 전략적 기반을 마련했습니다.

4. 주요 결과 (Results)

추론 능력 (Thinking Mode): 수학 분야(AIME25)에서 89.8점을 기록하며 DeepSeek-V3.1(88.4)과 GLM-4.6(86.0)을 능가하는 뛰어난 성능을 보였습니다.
한국어 특화 성능: 한국어 지식 벤치마크(KMMLU)에서 80.2점을 기록하여 글로벌 모델 대비 우수한 한국어 이해력을 입증했습니다.
토큰화 효율: 한국어 데이터 처리 시 기존 모델(OpenAI o200k 등) 대비 훨씬 적은 토큰 수를 사용하여 처리 속도와 비용 면에서 우위를 점했습니다.
모드 전환: 사용자의 요구에 따라 사고 과정을 포함한 심층 추론과 간결한 직접 답변 사이를 유연하게 전환할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

A.X K1은 단순히 모델의 크기를 키우는 것을 넘어, **"실제 서비스 환경에서 어떻게 하면 고성능 추론 모델을 경제적으로 배포할 것인가?"**라는 실무적인 질문에 대한 해답을 제시합니다. 특히 한국어 성능을 극대화하면서도 글로벌 수준의 수학/코딩 추론 능력을 확보함으로써, 국내 산업 및 공공 분야에서 신뢰할 수 있는 AI 인프라로서의 가능성을 보여주었습니다.