💬 NLP

A.X K1 Technical Report

Presentamos A.X K1, un modelo de lenguaje de mezcla de expertos (MoE) de 519 mil millones de parámetros entrenado con 10 billones de tokens que introduce el método "Think-Fusion" para permitir un razonamiento controlable y eficiente, destacando especialmente en su rendimiento en el idioma coreano.

Autores originales: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee

Publicado 2026-02-12

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee, Sangyeol Lee, Sungeun Lee, Youngsoon Lee, Yujin Lee, Seongmin Ok, Chanyong Park, Hyewoong Park, Junyoung Park, Hyunho Yang, Subin Yi, Dhammiko Arya, Soohyun Bae, Dongyeon Cho, Seungmo Cho, Sangho Choi, Yongseok Choi, Gyoungeun Han, Yong-jin Han, Seokyoung Hong, Hyeon Hwang, Wonbeom Jang, Minjeong Ju, Wonjin Jung, Keummin Ka, Sungil Kang, Dongnam Kim, Jonghwi Kim, Joonghoon Kim, SaeRom Kim, Sangjin Kim, Seongwon Kim, Youngjin Kim, Seojin Lee, Sunwoo Lee, Taehoon Lee, Chanwoo Park, Sohee Park, Sooyeon Park, Yohan Ra, Sereimony Sek, Seungyeon Seo, Gun Song, Sanghoon Woo, Janghan Yoon, Sungbin Yoon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Cerebro "Switch": Conociendo a A.X K1

Imagina que tienes un asistente personal en casa. Normalmente, tienes dos opciones: o tienes un asistente que es un genio matemático pero que tarda 10 minutos en responderte hasta qué marca de leche comprar, o tienes uno que es rapidísimo pero que, si le pides que resuelva un problema de física, te da una respuesta errónea en un segundo.

A.X K1 es un nuevo modelo de inteligencia artificial (un "cerebro digital" gigante) que ha logrado algo increíble: tiene un interruptor interno. Puede decidir cuándo ser un pensador profundo y lento, y cuándo ser un asistente rápido y directo.

Aquí te explico cómo funciona usando tres analogías:

1. El Arquitecto de "Muchos Expertos" (MoE)

Imagina que en lugar de construir un solo robot gigante que intenta saberlo todo, construiste una gran oficina con 519 mil millones de piezas de conocimiento, pero que funciona como un equipo de especialistas.

Cuando le haces una pregunta, no se activan todos los "empleados" a la vez (eso gastaría demasiada energía y sería muy lento). En su lugar, el modelo actúa como un director de orquesta que solo llama a los 33 mil millones de parámetros "activos" que realmente saben de ese tema. Es como si para arreglar un reloj, la oficina solo llamara al relojero, en lugar de activar a todo el equipo de ingenieros, cocineros y abogados. Esto lo hace extremadamente eficiente.

2. El Truco de la "Fusión de Pensamiento" (Think-Fusion)

Esta es la verdadera magia de A.X K1. Los científicos de SK Telecom usaron una técnica llamada Think-Fusion.

Imagina que estás estudiando para un examen.

Modo "Pensamiento" (Thinking Mode): Es cuando te sientas con un cuaderno, haces esquemas, borrones y razonamientos paso a paso antes de dar la respuesta final. Es lento, pero perfecto para matemáticas o código.
Modo "Directo" (Non-thinking Mode): Es cuando alguien te pregunta "¿Qué hora es?" y respondes "Las tres" sin pensarlo. Es instantáneo.

A.X K1 fue entrenado para que, mediante una instrucción simple, pueda elegir entre "escribir sus pensamientos" (usando etiquetas especiales como <think>) o simplemente darte la respuesta. Es como un atleta que puede correr un maratón de resistencia o hacer un sprint de 100 metros según lo que le pidas.

3. El Especialista en su Propia Cultura (Sovereign AI)

A menudo, las inteligencias artificiales más famosas hablan el mundo desde una perspectiva muy occidental. A.X K1 ha sido diseñado con un enfoque especial en el idioma y la cultura coreana.

Es como si, en lugar de contratar a un traductor que solo sabe cambiar palabras de un idioma a otro, contrataras a un experto que realmente entiende los modismos, la cortesía y la forma de pensar de Corea. Esto lo hace mucho más útil y confiable para las empresas y el gobierno de ese país.

En resumen: ¿Por qué es importante?

Es inteligente pero ahorrador: No gasta toda su energía en preguntas fáciles.
Es versátil: Puedes pedirle que "piense mucho" para un problema difícil o que "sea breve" para una charla casual.
Es un gigante eficiente: Aunque es enorme (519B de parámetros), su diseño permite que funcione de manera práctica en el mundo real, sin necesidad de una supercomputadora del tamaño de un edificio para cada pregunta.

A.X K1 no es solo un cerebro más grande; es un cerebro más inteligente en cómo decide usar su propia capacidad.

Resumen Técnico: A.X K1 (SK Telecom)

A.X K1 es un modelo de lenguaje de gran escala basado en una arquitectura de Mezcla de Expertos (MoE) con 519 mil millones de parámetros (de los cuales 33 mil millones son activos por token). El modelo ha sido diseñado para equilibrar la capacidad de razonamiento avanzado con la eficiencia de inferencia, permitiendo un control explícito sobre el proceso de "pensamiento" del modelo.

1. El Problema (Problem Statement)

El desarrollo de modelos de lenguaje (LLMs) enfrenta dos desafíos fundamentales al intentar implementar capacidades de razonamiento profundo en entornos reales:

Equilibrio entre Capacidad y Despliegue: Los modelos con gran capacidad de conocimiento suelen ser extremadamente costosos de ejecutar. Es necesario optimizar la arquitectura para que el conocimiento sea denso pero la latencia de inferencia sea manejable.
Ineficiencia del Razonamiento Continuo: Los modelos de razonamiento (tipo reasoning models) generan una gran cantidad de tokens de "pensamiento" para cada consulta. Aplicar este proceso profundo a tareas simples resulta en un desperdicio computacional y una mala experiencia de usuario debido a la lentitud.

2. Metodología (Methodology)

A. Diseño de Arquitectura y Pre-entrenamiento:

Escalado Basado en Leyes: Utilizando leyes de escalado para MoE y tamaño de vocabulario, configuraron un modelo de 519B parámetros con un vocabulario optimizado de 160K tokens (diseñado para cubrir múltiples idiomas, con especial énfasis en coreano).
Pre-entrenamiento Masivo: Entrenado desde cero con aproximadamente 10 billones (10T) de tokens. El proceso se dividió en tres etapas: conocimiento general, razonamiento avanzado y adaptación de contexto largo (hasta 128K).
Optimización de Sistema: Implementaron Multi-head Latent Attention (MLA) para mejorar la eficiencia del caché KV y utilizaron precisión FP8 para acelerar el entrenamiento en GPUs NVIDIA H200.

B. Post-entrenamiento: El método "Think-Fusion":
Para resolver la dicotomía entre razonamiento y velocidad, introdujeron una receta innovadora:

SFT Dual: Entrenaron dos modelos independientes a partir del mismo checkpoint: uno de instrucción general (modo directo) y otro de razonamiento (modo con etiquetas <think>...</think>).
Think-Fusion SFT: Realizaron una fusión lineal de pesos ( $\alpha=0.8$ ) entre ambos modelos. Para evitar la "confusión de modo" (que el modelo piense cuando no debe), utilizaron un Dataset de Solapamiento de Modos (MOD), que contiene pares de respuestas (una razonada y otra directa) para la misma pregunta.
Aprendizaje por Refuerzo (RL) On-policy: Utilizaron el marco DAPO con pérdida GSPO para refinar el comportamiento, aplicando recompensas basadas tanto en la exactitud de la respuesta como en el cumplimiento estricto del formato de las etiquetas de pensamiento.

3. Contribuciones Clave (Key Contributions)

Modelo Híbrido Controlable: La capacidad de alternar entre un modo de "pensamiento profundo" (para matemáticas o código) y un modo "directo" (para respuestas rápidas) en un único modelo unificado.
Eficiencia Computacional: Un diseño de MoE que maximiza la densidad de conocimiento bajo presupuestos de cómputo fijos.
Soberanía de IA (Sovereign AI): Un esfuerzo estratégico para crear un modelo de frontera que comprenda profundamente las características lingüísticas y culturales de Corea, reduciendo la dependencia de modelos extranjeros.

4. Resultados (Results)

Razonamiento Matemático: En el benchmark AIME25, A.X K1 alcanzó un 89.8, superando a modelos líderes como DeepSeek-V3.1 (88.4) y GLM-4.6 (86.0).
Dominio del Idioma Coreano: Superó a sus competidores en benchmarks específicos de Corea como KMMLU (80.2), demostrando una comprensión superior del contexto local.
Eficiencia de Tokenización: El tokenizador diseñado es significativamente más eficiente para el idioma coreano en comparación con otros modelos SOTA (como OpenAI o Qwen).
Limitaciones: Aunque es competitivo, el modelo muestra una ligera brecha en tareas de contexto extremadamente largo y generación de código compleja en comparación con los modelos más grandes entrenados con presupuestos de cómputo mucho mayores.

5. Significancia (Significance)

El trabajo de SK Telecom demuestra que es posible construir un modelo de escala de frontera (500B+ parámetros) de manera eficiente mediante un diseño consciente del sistema (system-aware design). La introducción de Think-Fusion marca un avance en la democratización del razonamiento avanzado, permitiendo que las empresas utilicen modelos potentes de forma escalable, ajustando el costo computacional según la complejidad de la tarea en tiempo real.