💬 NLP

Llamion Technical Report

O artigo apresenta o Llamion, uma família de modelos de pesos abertos com 14 bilhões de parâmetros que transforma com sucesso a arquitetura Orion-14B no formato Llama por meio de uma receita inovadora chamada KEPT, alcançando desempenho de ponta em benchmarks como o KoMMLU e preservando capacidades avançadas, como o processamento de contextos longos, com recursos mínimos de treinamento.

Autores originais: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kisu Yang, Yoonna Jang, Hyeonseok Moon, Hwanseok Jang, Taewoo Lee, Hyungjin Lee, Jeseung Lee, Juhyoung Park, Heuiseok Lim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Mover uma Casa sem Perder os Móveis

Imagine que você possui uma casa magnífica, totalmente mobiliada (um modelo de IA poderoso chamado Orion) construída sobre uma fundação única e personalizada. Ela funciona muito bem, mas as leis de zoneamento da cidade local (o padrão de arquitetura Llama) só permitem casas construídas sobre uma fundação específica e padronizada.

Se você tentar apenas mover a casa para a nova fundação, o encanamento pode quebrar, as portas podem não encaixar e os móveis podem se perder. Geralmente, para corrigir isso, você teria que comprar uma casa nova e passar anos re-mobiliando-a do zero usando plantas antigas (um processo chamado re-treinamento). Isso é caro, lento e exige que você tenha as plantas originais, o que frequentemente não acontece.

Llamion é o resultado de uma nova e inteligente estratégia de mudança chamada KEPT. Em vez de reconstruir a casa, a equipe conseguiu mover os mesmos móveis exatos e o mesmo layout exato para a nova fundação padronizada, mantendo a personalidade e as habilidades da casa intactas.

Como Eles Fizeram: A Receita "KEPT"

A equipe usou uma receita de três etapas chamada KEPT (Preservação Eficiente de Conhecimento para Transformação) para mover a IA de Orion para o estilo Llama:

Mapeamento de Parâmetros Normal (NPM): "A Mudança Direta"
Para as partes da IA que funcionam da mesma maneira em ambas as casas (como o vocabulário e os centros de lógica), eles simplesmente pegaram os móveis e os colocaram no mesmo lugar exato na nova casa. Nenhuma alteração necessária.
Mapeamento de Parâmetros Otimizado (OPM): "O Encaixe Perfeito"
Algumas partes da casa antiga usavam um tipo diferente de dobradiça de porta (chamada LayerNorm) do que a nova casa (que usa RMSNorm). Em vez de adivinhar como corrigi-los, a equipe provou matematicamente que, se você apenas trocar as dobradiças diretamente sem qualquer trabalho extra, elas encaixam perfeitamente. Esta etapa exigiu zero treinamento e nenhum dado extra. É como perceber que seu sofá antigo se encaixa perfeitamente na nova sala de estar sem precisar de estofamento novo.
Destilação de Conhecimento Cross-arquitetura (XKD): "O Acompanhamento"
Após mover os móveis, a casa pode parecer ligeiramente "estranha". Para corrigir isso, eles usaram a IA original (Orion) como um professor congelado. Eles pediram que a nova IA (Llamion) observasse o professor respondendo perguntas e copiasse suas respostas exatamente.
- O Pulo do Gato: Eles não precisaram da biblioteca original de livros em que o professor foi treinado. Eles precisaram apenas de uma pequena pilha de cartões de conversa aleatórios (cerca de 123 milhões de palavras) para praticar a cópia do estilo do professor.

Os Resultados: Uma Mudança Milagrosa

Os resultados dessa "mudança" foram surpreendentemente bem-sucedidos:

Velocidade e Custo: Eles fizeram isso em um único chip de computador poderoso (uma GPU A100) em apenas quatro dias. Geralmente, re-treinar um modelo assim leva meses e custa uma fortuna.
Desempenho: O novo modelo, Llamion, fala coreano tão bem quanto o Orion original. Na verdade, em um teste de conhecimento coreano (KoMMLU), ele obteve 66,87%, superando o próximo melhor modelo por uma margem enorme (mais de 7 pontos).
A Transferência "Mágica": A parte mais impressionante é o que eles não ensinaram ao novo modelo durante a mudança.
- Codificação: Os dados de treinamento tinham quase nenhum código de computador, mas o Llamion ainda consegue escrever Python perfeitamente.
- Memória Longa: Os dados de treinamento eram curtos (4.000 palavras), mas o Llamion ainda consegue lembrar e processar documentos enormes (200.000 palavras) exatamente como o original.

Por Que Isso Importa

Pense nisso assim: Se você ensinar um aluno a imitar o estilo de cozimento de um chef mestre usando um pequeno livro de receitas, o aluno geralmente aprende apenas aquelas receitas específicas. Mas, como o Llamion foi treinado para imitar o cérebro do chef mestre (a lógica oculta) em vez de apenas memorizar as receitas, ele herdou a capacidade do chef de cozinhar qualquer coisa, mesmo pratos que não estavam no pequeno livro de receitas.

Resumo

O artigo afirma que o Llamion é um novo modelo de IA que pega uma IA coreana poderosa, mas "não padrão" (Orion), e a transforma no formato padrão da indústria "Llama". Eles fizeram isso usando um método inteligente (KEPT) que move o conhecimento do modelo diretamente e usa uma quantidade minúscula de dados para ajustar o encaixe. O resultado é um modelo compatível com ferramentas padrão, que roda mais rápido e mantém todas as habilidades do modelo original — incluindo codificação e memória longa — sem precisar ser re-treinado do zero.

Resumo Técnico: Llamion e KEPT

Declaração do Problema

O ecossistema de Modelos de Linguagem de Grande Escala (LLMs) de código aberto está fragmentado por escolhas arquitetônicas de baixo nível divergentes (por exemplo, LayerNorm vs. RMSNorm, atenção multi-cabeça vs. atenção com consulta agrupada, codificações posicionais absolutas vs. RoPE). Embora o campo tenha convergido amplamente para um modelo padronizado da "família Llama" (apenas decodificador, RoPE, RMSNorm, SwiGLU), muitos modelos pré-treinados competentes utilizam arquiteturas não padrão. Converter esses modelos para o modelo padrão é necessário para compatibilidade com ferramentas e pilhas de implantação mainstream (que frequentemente impõem trust_remote_code=False), mas tais transformações arquitetônicas tipicamente resultam em perda significativa de conhecimento.

O remédio convencional, uptraining (treinamento contínuo em um novo corpus), é custoso e intensivo em dados. Requer um corpus que cubra todo o conhecimento aprendido anteriormente para evitar o esquecimento catastrófico, uma condição frequentemente impossível de atender quando os dados originais de pré-treinamento são privados. Além disso, o uptraining incorre em uma fração não trivial do custo de computação do pré-treinamento original.

Metodologia: KEPT

Os autores introduzem o KEPT (Preservação Eficiente de Conhecimento para Transformação), uma receita de três etapas para converter um modelo fonte ( $M_{src}$ ) com uma arquitetura não padrão em um modelo alvo ( $M_{tgt}$ ) com uma arquitetura padronizada, sem exigir acesso ao corpus original de pré-treinamento. O KEPT alinha as saídas da rede modificada com a rede original em qualquer distribuição de entrada razoável.

O processo consiste em:

Mapeamento de Parâmetros Normal (NPM): Para módulos onde o cálculo permanece inalterado (por exemplo, embeddings de tokens, projeções de atenção, MLPs), os parâmetros são copiados literalmente da fonte para o alvo. Isso fornece uma inicialização de alta qualidade.
Mapeamento de Parâmetros Otimizado (OPM): Para módulos onde o cálculo muda, mas admite uma inicialização principista, aplica-se um mapeamento sem treinamento. O artigo foca na transição LayerNorm para RMSNorm. Os autores provam que, sob o regime de ativação de média próxima de zero induzido pelo decaimento de peso (comum em modelos treinados com AdamW), os pesos RMSNorm ótimos são simplesmente os pesos LayerNorm ( $\theta \leftarrow \gamma$ ), e o termo de viés ( $\beta$ ) pode ser descartado. Esta solução analítica elimina a necessidade de treinamento neste módulo específico.
Destilação de Conhecimento Cross-arquitetura (XKD): Uma etapa de alinhamento residual onde o modelo alvo (aluno) é treinado para reproduzir as saídas do modelo fonte congelado (professor). O professor e o aluno têm o mesmo tamanho, distinguindo-se da destilação clássica baseada em compressão. Os autores utilizam dois objetivos:
- Objetivo de estado oculto: Corresponde às ativações do fluxo residual camada por camada.
- Objetivo de logit: Corresponde aos logits de saída finais da cabeça LM. O objetivo de logit é encontrado para convergir mais rápido e produzir resultados marginalmente melhores, provavelmente porque impõe uma restrição mais fraca nas trajetórias internas que já estão bem inicializadas pelo NPM/OPM.

Principais Contribuições

Família de Modelos Llamion: O lançamento de três checkpoints de 14 bilhões de parâmetros (Base, Chat, LongChat) derivados do Orion-14B (um modelo com LayerNorm e atenção não padrão) convertidos para o modelo da família Llama. Esses modelos carregam com trust_remote_code=False na biblioteca Hugging Face Transformers.
Prova Teórica para OPM: Uma solução de forma fechada demonstrando que os pesos RMSNorm ótimos substituindo o LayerNorm sob alinhamento de saída L2 são equivalentes aos pesos LayerNorm originais no regime de média próxima de zero, tornando a conversão da camada de normalização sem treinamento.
Conversão Eficiente: O método recupera o comportamento do modelo fonte usando apenas ~123 milhões de tokens em uma única GPU A100 ao longo de quatro dias, uma fração da computação necessária para o uptraining.
Preservação de Capacidade Zero-Shot: O método preserva capacidades totalmente ausentes do corpus de transferência, especificamente programação em Python e manipulação de contexto de 200K tokens, demonstrando que o KEPT transfere o conhecimento inerente do professor, em vez de meramente reaprender o corpus de transferência.

Resultados

Os autores avaliaram o Llamion contra o Orion-14B original e outras linhas de base em vários benchmarks:

Benchmark H6 (Few-Shot em Inglês): O Llamion-Base alcançou uma pontuação média de 60,53 (usando o objetivo de logit), recuperando quase todo o desempenho do Orion (60,83). Em contraste, apenas o mapeamento de parâmetros (OPM) reduziu o desempenho para 31,19, e o uptraining (UT) sem destilação atingiu 57,77. O XKD baseado em logit superou o uptraining em ~2,76 pontos no mesmo orçamento de computação.
MT-Bench (Diálogo Multi-turno): O Llamion-Chat alcançou uma pontuação de 7,034, igualando o Orion-Chat (7,116) dentro de 0,1 pontos. Apenas o uptraining (5,709) e apenas o OPM (1,226) performaram significativamente pior, destacando a necessidade do objetivo de destilação para coerência generativa.
KoMMLU (MMLU Coreano): O Llamion-Base pontuou 66,87%, excedendo a próxima melhor entrada no Open Ko LLM Leaderboard em >7,0 pontos absolutos. Isso confirma a preservação das fortes capacidades de idioma coreano do Orion.
Transferência Zero-Shot:
- Programação: O Llamion-Chat gerou código Python competente, apesar de o corpus de transferência (MIRACL) conter essencialmente nenhum texto de programação.
- Contexto Longo: O Llamion-LongChat manteve baixa perplexidade em sequências de 200K tokens, apesar de o corpus de transferência ser limitado a 4K tokens. Isso foi atribuído à preservação da base RoPE e à natureza de alinhamento de comportamento do XKD.

Significado e Alegações

O artigo alega que o KEPT desacopla com sucesso a escolha arquitetônica dos dados de pré-treinamento. Ao alinhar um modelo a um professor congelado em vez de uma distribuição de dados, o método permite que os praticantes adotem arquiteturas amigáveis à implantação (como o modelo Llama) sem pagar o "imposto de pré-treinamento" ou perder capacidades presentes no modelo fonte.

Os autores posicionam isso como uma solução para o problema de "perda de conhecimento" na transformação arquitetônica. Eles enfatizam que a preservação de capacidades de domínio não visto (programação, contexto longo) serve como evidência direta de que o método transfere o conhecimento aprendido do professor, em vez de reaprender a partir do corpus de transferência. O lançamento do Llamion fornece um modelo prático, de alto desempenho e competente em coreano, compatível com pilhas de inferência padrão, abordando uma lacuna específica no ecossistema Open Ko LLM.

Os autores permanecem modestos quanto ao escopo, observando que as alegações empíricas são baseadas em um único par fonte/alvo (Orion-14B para Llama) e que a generalização para outros pares (por exemplo, Gemma para Qwen) ainda não foi demonstrada. Eles também observam que o OPM é atualmente específico para a transição LayerNorm para RMSNorm.