Resumo Técnico: Mi:dm 2.0 – Grandes Modelos de Linguagem Bilíngues Centrados na Coreia

Declaração do Problema

Apesar da proliferação de Grandes Modelos de Linguagem (LLMs) que suportam a língua coreana, permanece uma lacuna significativa em modelos que sejam verdadeiramente fundamentados nas realidades da sociedade coreana. Os modelos existentes frequentemente sofrem com dados de treinamento em coreano insuficientes ou de baixa qualidade, levando a um desempenho linguístico limitado e a um desalinhamento com as sensibilidades culturais coreanas. Isso resulta em respostas não naturais, incongruência emocional ou até mesmo alternância de idioma sob a perspectiva dos usuários coreanos. Além disso, os conjuntos de dados coreanos existentes são estruturalmente desequilibrados, fortemente inclinados para as humanidades e ciências sociais, carecendo de representação em STEM, ciências aplicadas e diversos formatos estruturais (ex: raciocínio de longo formato, código). O desafio reside em desenvolver um modelo que não apenas processe o texto em coreano, mas que também internalize os valores únicos, estruturas cognitivas e o raciocínio de senso comum inerentes à cultura coreana, tudo isso operando eficientemente dentro de restrições de recursos.

Metodologia

1. Engenharia e Curadoria de Dados

O desenvolvimento do Mi:dm 2.0 prioriza a qualidade dos dados sobre a quantidade, empregando um pipeline rigoroso de múltiplos estágios para abordar a escassez de corpora coreanos de alta qualidade.

• Classificação de Dados: Um framework multidimensional categoriza os dados por idioma, domínio (Humanidades, STEM, Ciências Aplicadas, etc.), fonte (Orgânica vs. Sintética) e estilo linguístico (Formal/Informal, Escrito/Falado).
• Pipeline de Filtragem: Um processo de filtragem de 8 estágios é aplicado aos dados da web em coreano, incluindo desduplicação de documentos, filtragem heurística, filtragem de perplexidade, correção de documentos corrompidos, filtragem de qualidade baseada em modelos, remoção de conteúdo tóxico, desduplicação ao nível de linha e anonimização de PII (Informações de Identificação Pessoal).
• Geração de Dados Sintéticos: Para compensar os desequilíbrios de domínio (particularmente em STEM e ciências aplicadas) e a diversidade estrutural, os autores geram dados sintéticos de alta fidelidade. As estratégias incluem:
  • Equilíbrio de Domínio: Conversão de conceitos semente em explicações do tipo livro didático e narrativas orientadas por cenários para domínios sub-representados.
  • Reconstrução: Reescrever documentos do Common Crawl de baixa qualidade, mas topicamente relevantes, que foram filtrados, para recuperar tokens utilizáveis.
  • Aumento Cross-lingual: Reescrever documentos da web em inglês para formatos naturais em coreano (ex: converter conteúdo em questões de exames de admissão universitária) para introduzir diversidade estrutural sem depender de tradução direta.
  • Dados de Raciocínio: Construção de datasets de Cadeia de Pensamento Longa (LongCoT) para raciocínio matemático e de código.
• Tokenizer: Um tokenizer customizado foi projetado especificamente para a estrutura morfológica do coreano para melhorar a compressão de tokens e a eficiência computacional.

2. Arquitetura do Modelo e Estratégias de Treinamento

O Mi:dm 2.0 é lançado em duas configurações: Base (11,5B de parâmetros) e Mini (2,3B de parâmetros). Ambos utilizam uma arquitetura Transformer decoder-only com Grouped Query Attention (GQA) e ativação SiLU.

• Mi:dm 2.0 Base (Depth-up Scaling):

  • Estágio 1: Um modelo de 8B de parâmetros é pré-treinado do zero em um corpus curado.
  • Estágio 2: O modelo é expandido para 11,5B de parâmetros usando uma estratégia de Depth-up Scaling (DuS). Camadas com alta similaridade de cosseno nas mudanças de embedding (indicando preservação estável de informação) são identificadas e duplicadas para aumentar a profundidade de 32 para 48 camadas sem mudanças arquitetônicas complexas.
  • Extensão de Longo Contexto: A frequência da base de Rotary Position Embedding (RoPE) é ajustada para estender o comprimento do contexto de 8K para 32K tokens.

• Mi:dm 2.0 Mini (Pruning e Destilação):

  • Derivado do modelo Base através de um processo de múltiplos estágios para otimizar para ambientes com restrição de recursos.
  • Estágio 1: O pruning de largura reduz o modelo para um modelo intermediário "Base-half" de 5B.
  • Estágio 2: A destilação de conhecimento é realizada utilizando tanto o modelo intermediário quanto o modelo Base completo como professores. O modelo aluno é posteriormente podado para 2,3B de parâmetros, utilizando compartilhamento de pesos para embeddings.

3. Pós-Treinamento (Alinhamento)

A fase de pós-treinamento foca em seis capacidades principais: Seguimento de Instruções (IF), Raciocínio, Geração Aumentada de Recuperação (RAG), Capacidade de Agente, Segurança e Manipulação de Longo Contexto.

• Supervised Fine-Tuning (SFT): Múltiplos modelos de SFT são treinados em datasets diversos (Chat Geral, IF, Raciocínio, RAG, Uso de Ferramentas, Segurança) e seus pesos são fundidos para unificar capacidades.
• Otimização de Preferência (RL): O Aprendizado por Reforço é aplicado usando preferências humanas e de IA para alinhar o modelo com segurança, confiabilidade e intenção do usuário.
• Treinamento de Segurança: Datasets extensos são construídos para lidar com inocuidade, honestidade e consistência de papel, incluindo o tratamento específico para consultas limítrofes.

Principais Contribuições

• Definição de IA Centrada na Coreia: O artigo estabelece um framework para uma "IA centrada na Coreia", enfatizando a internalização de valores socioculturais, normas e padrões de raciocínio coreanos, em vez de mera proficiência linguística.
• Inovação Centrada em Dados: A introdução de um pipeline proprietário de limpeza de dados de múltiplos estágios e geração estratégica de dados sintéticos especificamente projetados para corrigir desequilíbrios de domínio (ex: sub-representação de STEM) em corpora coreanos.
• Técnicas Eficientes de Escalonamento: A aplicação bem-sucedida de Depth-up Scaling (DuS) para expandir a capacidade do modelo e de pruning/destilação de múltiplos estágios para criar um modelo de alto desempenho de 2,3B, demonstrando resultados competitivos com um overhead computacional significativamente menor.
• Suíte de Avaliação Abrangente: O desenvolvimento de benchmarks proprietários específicos para a Coreia (K-Pragmatics, K-Referential, Ko-Sovereign) e avaliações de IA Responsável (RAI) adaptadas ao contexto coreano, indo além das métricas centradas no inglês.

Resultados

• Benchmarks Coreanos: O Mi:dm 2.0 Base alcança desempenho de estado da arte em benchmarks específicos da Coreia. Ele supera o baseline doméstico (Exaone-3.5-7.8B) em 9,6% em raciocínio e 8,7% em conhecimento geral. Notavelmente, mostra uma vantagem de 17,1% sobre o Exaone-3.5-7.8B no benchmark K-Referential-hard e lidera no benchmark HAERAE para compreensão cultural.
• Benchmarks Gerais: Em benchmarks de inglês (MMLU, GSM8K, etc.), o Mi:dm 2.0 Base demonstra desempenho competitivo, particularmente em seguimento de instruções e matemática, muitas vezes superando modelos globais de tamanho similar.
• Eficiência: O Mi:dm 2.0 Mini (2,3B) alcança desempenho comparável ou superior ao modelo Exaone de 2,4B em seguimento de instruções e tarefas de sociedade/cultura coreana, apesar de possuir menos parâmetros.
• Segurança e Robustez: Nas avaliações de RAI, o Mi:dm 2.0 Base alcança uma "Taxa de Não Insegurança" de 97,75% em segurança de conteúdo, superando o Llama-3.1-8B. Em cenários de red teaming, demonstra a menor Taxa de Sucesso de Ataque (36,72%) entre modelos comparáveis.

Significância e Alegações

O artigo afirma que o Mi:dm 2.0 estabelece um novo padrão para uma verdadeira IA centrada na Coreia ao ir além do processamento linguístico para incorporar nuances culturais e valores sociais. Os autores argumentam que sua abordagem — priorizando a curadoria rigorosa de dados, o aumento sintético estratégico e técnicas de escalonamento eficientes — permite o desenvolvimento de modelos de alto desempenho mesmo com recursos computacionais limitados e corpora de treinamento menores comparados aos seus equivalentes globais.

Ao lançar tanto o modelo Base quanto o Mini sob a licença MIT, a KT visa acelerar a adoção de IA em indústrias coreanas, serviços públicos e educação. Os modelos são posicionados como elementos fundamentais da "K-intelligence", destinados a fortalecer a comunidade de desenvolvedores de IA coreana e fornecer ferramentas confiáveis e culturalmente apropriadas para aplicações do mundo real. O artigo conclui que o sucesso do Mi:dm 2.0 valida o papel crítico da composição precisa de dados e das estratégias de treinamento eficientes para aumentar o desempenho do modelo, oferecendo um blueprint para o desenvolvimento de LLMs especializados e de alta qualidade em ambientes de recursos limitados ou linguisticamente específicos.