Resumo Técnico: A.X K1 Technical Report

1. O Problema (Contexto e Desafios)

O relatório aborda a dificuldade de equilibrar a capacidade de raciocínio avançado com a eficiência de inferência em modelos de linguagem de grande escala (LLMs). Os autores identificam dois desafios fundamentais:

• Equilíbrio entre Conhecimento e Implementação: Modelos com alta capacidade de raciocínio tendem a ser massivos, o que dificulta o uso prático em hardware real.
• Custo de Raciocínio (Latência): Processos de "pensamento" (como o Chain-of-Thought) aumentam drasticamente o número de tokens gerados, resultando em alta latência e custos computacionais proibitivos para tarefas simples que não exigem raciocínio profundo.

2. Metodologia

A SK Telecom desenvolveu o A.X K1 como um modelo de Mistura de Especialistas (MoE - Mixture-of-Experts) treinado do zero, utilizando uma abordagem de design orientada por leis de escala (scaling laws).

Arquitetura do Modelo

• Escala: 519 bilhões de parâmetros totais, mas apenas 33 bilhões de parâmetros ativos por token, otimizando a eficiência de inferência.
• Componentes: Utiliza Multi-head Latent Attention (MLA) para eficiência de cache KV, suporte a Multi-token Prediction (MTP) para decodificação especulativa e um esquema de normalização dupla (RMSNorm) para estabilidade.
• Tokenizador: Vocabulário otimizado de 160K tokens, projetado para cobrir eficientemente múltiplos idiomas (Inglês, Coreano, Chinês, Japonês e Espanhol).

Treinamento (Pre-training)

• Dados: Treinado em um corpus de 10 trilhões de tokens, incluindo dados da web, código, STEM, livros e dados sintéticos de alta qualidade.
• Pipeline de Dados: Implementaram um pipeline de três estágios: Filtragem de Qualidade, Classificação de Domínio e Pontuação de Dificuldade (para aprendizado por currículo).
• Estágios de Treinamento: 1) Conhecimento Geral; 2) Raciocínio de Alta Qualidade (foco em STEM e dados complexos); 3) Adaptação de Longo Contexto (até 32K tokens).

Pós-treinamento: A Receita "Think-Fusion"

A principal inovação metodológica é o Think-Fusion, que permite ao modelo alternar entre dois modos em um único checkpoint unificado:

1. Modo de Pensamento (Thinking Mode): Gera cadeias de raciocínio explícitas usando a tag <think>...</think>.
2. Modo Direto (Non-thinking Mode): Respostas concisas e de baixa latência.

• Processo: O modelo é inicializado via fusão linear de dois modelos especializados (um de instrução e um de raciocínio) e, em seguida, refinado com um Dataset de Sobreposição de Modos (MOD) e Aprendizado por Reforço On-policy (usando o framework DAPO/GSPO) para evitar confusão de modos.

3. Principais Contribuições

• Modelo MoE de Alta Eficiência: Demonstra a viabilidade de treinar um modelo de >500B parâmetros sob restrições de orçamento computacional e tempo.
• Controle de Raciocínio pelo Usuário: Introdução do Think-Fusion, permitindo que o usuário escolha entre profundidade de raciocínio ou velocidade de resposta.
• Soberania de IA (Sovereign AI): Desenvolvimento de um modelo de fronteira com compreensão profunda das nuances linguísticas e culturais da Coreia, reduzindo a dependência de modelos estrangeiros.

4. Resultados

Os resultados mostram que o A.X K1 é altamente competitivo com modelos de código aberto de ponta (como DeepSeek-V3.1 e GLM-4.6):

• Matemática: Superou modelos maiores no benchmark AIME25 (89.8), demonstrando uma capacidade de raciocínio excepcional.
• Língua Coreana: Obteve resultados superiores em benchmarks específicos de coreano (como KMMLU), validando sua eficácia como modelo de soberania linguística.
• Eficiência de Tokenização: O tokenizador mostrou-se significativamente mais eficiente para o idioma coreano em comparação com modelos da OpenAI e Qwen.
• Modos de Inferência: O modelo conseguiu manter a versatilidade, entregando respostas rápidas no modo direto e raciocínios complexos no modo de pensamento.

5. Significância

O trabalho do A.X K1 é significativo por provar que é possível construir um modelo de "classe de fronteira" (frontier-class) de forma eficiente, sem necessidade de recursos computacionais infinitos, desde que o design da arquitetura e o pipeline de dados sejam rigorosamente guiados por leis de escala e engenharia de sistemas. Além disso, estabelece um novo padrão para modelos híbridos que podem ser adaptados dinamicamente para diferentes necessidades de uso (do chat rápido à resolução de problemas matemáticos complexos).