🤖 AI

Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

Este artigo apresenta o Vikhr, uma série de modelos de linguagem de grande escala de código aberto, ajustados para instruções e bilíngues para o russo, que alcançam desempenho superior e eficiência computacional ao adaptar o vocabulário do tokenizador e realizar o ajuste fino completo de todos os pesos, em vez de depender de adaptadores leves de LoRA.

Autores originais: Aleksandr Nikolich, Konstantin Korolev, Sergei Bratchikov, Igor Kiselev, Artem Shelmanov

Publicado 2026-06-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aleksandr Nikolich, Konstantin Korolev, Sergei Bratchikov, Igor Kiselev, Artem Shelmanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: O Terno "Tamanho Único"

Imagine que você tem um alfaiate muito inteligente e de classe mundial (um Grande Modelo de Linguagem ou LLM) que passou anos aprendendo a fazer ternos perfeitos para falantes de inglês. Este alfaiate conhece a língua inglesa de ponta a ponta.

Agora, você pede a este alfaiate que faça um terno para um falante de russo. O alfaiate tenta, mas encontra alguns problemas principais:

O Bug da "Fragmentação de Palavras": A fita métrica do alfaiate (o tokenizador) foi projetada para o inglês. Quando ele tenta medir uma palavra russa, a fita quebra a palavra em pedaços minúsculos e estranhos. Em vez de medir uma palavra, ela mede dez fragmentos minúsculos. Isso torna o processo lento e desajeitado.
O Problema do "Perdido na Tradução": Como o alfaiate aprendeu principalmente com livros em inglês, às vezes ele esquece como pensar logicamente em russo. Ele pode misturar palavras inglesas em frases russas ou dar respostas que não fazem sentido cultural (como sugerir que você "limpe um peixe de pelo" em vez de escamas).
A Limitação do "Remendo": Outros pesquisadores tentaram corrigir isso apenas costurando um pequeno remendo (um adaptador LoRA) no terno inglês para que ele servisse melhor em russo. Embora isso ajude um pouco, a fita métrica subjacente ainda está quebrada, então o terno continua ineficiente e lento.

A Solução: Construindo o "Vikhr"

Os autores deste artigo decidiram parar de remendar o velho terno e construir um traje completamente novo e sob medida chamado Vikhr (que significa "forte rajada de vento" em russo).

Eles não apenas remendaram o modelo em inglês; eles reconstruíram a fundação. Veja como eles fizeram isso, passo a passo:

1. Redesenhando a Fita Métrica (Adaptação de Vocabulário)

Primeiro, eles jogaram fora a antiga fita métrica em inglês. Eles construíram uma nova, especificamente para palavras russas.

A Analogia: Em vez de picar uma palavra russa em 10 migalhas minúsculas e sem sentido, a nova fita mede a palavra inteira como uma unidade única e suave.
O Resultado: O modelo agora consegue "ler" e "escrever" em russo muito mais rápido e com mais espaço de memória, porque não está perdendo tempo contando migalhas.

2. A Fase de "Reeducação" (Pré-treinamento Continuado)

Em seguida, eles pegaram o inteligente modelo em inglês e o enviaram de volta à escola, mas desta vez a sala de aula estava repleta de livros, notícias e artigos científicos inteiramente em russo.

O Desafio: Quando ensinaram tanto russo ao modelo, ele começou a esquecer como pensar logicamente (um problema chamado "esquecimento catastrófico"). Era como um aluno que aprendeu tanto sobre história russa que esqueceu como fazer matemática básica.
A Correção: Eles usaram uma "rede de segurança" especial (regularização matemática) durante o treinamento. Isso funcionou como um lembrete gentil, dizendo: "Lembre-se de suas habilidades de lógica em inglês enquanto aprende este novo conhecimento em russo". Isso garantiu que o modelo permanecesse inteligente em ambos os idiomas.

3. Aprendendo a Conversar (Ajuste de Instrução)

Finalmente, eles ensinaram o modelo a seguir instruções e a ter uma conversa, em vez de apenas completar frases.

Os Dados: Eles reuniram uma biblioteca massiva de perguntas e respostas em russo. Eles não usaram apenas o que já estava disponível; eles traduziram conjuntos de instruções em inglês de alta qualidade para o russo e os limparam para remover respostas ruins.
O Resultado: O modelo aprendeu a entender comandos como "Conte-me uma história" ou "Explique este conceito" e responder naturalmente em russo, sem misturar palavras em inglês ou cometer erros gramaticais.

Os Resultados: Um Modelo Mais Rápido e Inteligente

O artigo compara o seu novo modelo Vikhr com o modelo em inglês original e outras tentativas russas:

Velocidade: Como a nova fita métrica é eficiente, o Vikhr gera texto muito mais rápido.
Qualidade: Ele fala russo fluentemente, sem as palavras estranhas em inglês ou os erros gramaticais esquisitos vistos nos modelos originais.
Lógica: Ele retém as fortes habilidades de raciocínio do modelo em inglês original, mas as aplica corretamente aos contextos russos.

O Que Eles Não Fizeram (Limitações)

Os autores são honestos sobre o que não fizeram:

Eles não tiveram recursos suficientes para contratar humanos para avaliar cada resposta (um processo chamado RLHF), então o modelo depende da qualidade dos dados que alimentaram.
Eles não adicionaram etapas extras de "alinhamento" para evitar que o modelo diga qualquer coisa prejudicial, embora alertem os usuários para terem cuidado.

Resumo

Em suma, o artigo apresenta o Vikhr, um IA bilíngue (russo/inglês) que foi construído pegando um modelo inteligente em inglês, dando a ele um vocabulário russo personalizado, reeducando-o sobre a cultura e os dados russos enquanto mantinha sua lógica intacta, e ensinando-o a seguir instruções. O resultado é um modelo que não é apenas mais inteligente em russo, mas também mais rápido e eficiente do que as tentativas anteriores que tentaram apenas "remendar" modelos em inglês.

Resumo Técnico: Vikhr – Uma Família de LLMs de Instrução de Código Aberto para o Russo

Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham tido um surto de desenvolvimento, a geração de texto para línguas não inglesas, especificamente o russo, enfrenta obstáculos significativos. Modelos orientados ao inglês frequentemente exibem baixa qualidade de geração e desempenho computacional reduzido ao processar outros idiomas. Essa ineficiência decorre de algoritmos de tokenização de pares de bytes (byte-pair) que dividem desproporcionalmente palavras não inglesas infrequentes em múltiplos tokens. Essa fragmentação aumenta as etapas de processamento, reduz a janela de contexto efetiva e degrada o desempenho geral. Além disso, os modelos russos de código aberto existentes muitas vezes dependem de adaptadores de Adaptação de Baixa Ordem (LoRA) aplicados a modelos base em inglês. Embora econômico, essa abordagem não aborda a ineficiência subjacente da tokenização e não adapta totalmente o vocabulário ou os pesos do modelo, levando a uma utilização de contexto e qualidade de geração subótimas. Por outro lado, modelos totalmente multilíngues costumam ter dificuldade em performar bem em qualquer idioma individual devido ao vocabulário compartilhado e restrições de parâmetros, particularmente em tamanhos de modelos menores (ex: 7B, 13B).

Metodologia: O Pipeline Vikhr
Os autores propõem um pipeline abrangente para adaptar modelos pré-treinados orientados ao inglês (especificamente o Mistral 7B) em LLMs bilíngues (russo-inglês) eficientes de seguimento de instrução. O processo consiste em três estágios primários:

Adaptação de Vocabulário:
Para resolver a ineficiência da tokenização, os autores reconstroem o tokenizador usando um corpus específico do idioma (dataset RuLM). Eles treinaram um tokenizador SentencePiece com um vocabulário de 40k. Novos tokens são inicializados pela média das embeddings de suas partes constituintes da matriz de embedding original, enquanto os tokens existentes mantêm suas embeddings originais. Isso resulta em um tokenizador significativamente mais eficiente para o russo do que o contraparte original orientado ao inglês.
Pré-treinamento Continuado:
O modelo passa por um pré-treinamento continuado em um corpus russo de alta qualidade e deduplicado, composto por artigos científicos, notícias, Wikipedia e posts técnicos de blogs (Habr), totalizando 11 bilhões de tokens após a filtragem.

Mitigação do Esquecimento Catastrófico: Para evitar a perda das capacidades de raciocínio do modelo base (observada em experimentos preliminares), os autores implementam uma estratégia de regularização de perda usando uma penalidade KL entre a distribuição de probabilidade do modelo adaptado e o LLM de referência orientado ao inglês ( $L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$ ).
Atualização Total de Pesos: Diferente das abordagens LoRA, este estágio envolve a atualização de todos os pesos do modelo, exigindo recursos computacionais substanciais (8x GPUs NVIDIA A100).

Ajuste de Instrução (Instruction Tuning):
O modelo é ajustado em um conjunto expandido de pares de instrução-saída em russo. O dataset inclui:

Traduções dos conjuntos de instrução FLAN e OpenHermes (Veles).
O dataset Nectar (mantido em inglês para manter a capacidade bilíngue).
O dataset Saiga existente.
Controle de Qualidade: Saídas de baixa qualidade geradas por máquina foram filtradas usando um modelo de recompensa (multilingual-e5-large) treinado em dados de preferência humana.
Atualização de Parâmetros Totais: Semelhante ao pré-treinamento, o ajuste de instrução atualiza todos os parâmetros do modelo em vez de usar adaptadores.

Principais Contribuições

Pipeline de Adaptação: Um novo pipeline para adaptar LLMs de inglês para outros idiomas envolvendo reconstrução de vocabulário, pré-treinamento regularizado de todos os pesos e ajuste de instrução.
Modelos Vikhr: A construção do Vikhr, uma série de LLMs bilíngues de seguimento de instrução de código aberto especificamente otimizados para o russo. Estes modelos apresentam um tokenizador adaptado para geração de texto rápida e melhor utilização de contexto.
Expansão de Dados: Expansão significativa dos datasets russos disponíveis tanto para pré-treinamento continuado quanto para ajuste de instrução, incluindo a criação de novos conjuntos de instrução (Veles) e a filtragem dos existentes.
Benchmarks de Avaliação: A criação de versões russas dos benchmarks MMLU e MMLU-pro (Ru-MMLU e Ru-MMLU-pro) via tradução automática para avaliar LLMs russos.
Estudos de Ablação: Validação empírica dos componentes do pipeline, demonstrando a necessidade de adaptação de vocabulário, filtragem de dados e regularização de perda.

Resultos e Descobertas de Ablação

Eficiência de Tokenização: O tokenizador Vikhr reduz a contagem de tokens para sentenças em russo em aproximadamente metade comparado ao tokenizador original do Mistral (ex: 7 tokens vs. 13 tokens para uma sentença de amostra), melhorando significativamente a eficiência de contexto.
Qualidade de Geração: A análise qualitativa mostra que, enquanto o modelo base Mistral frequentemente injeta palavras em inglês, sofre de incoerência gramatical e entende mal a semântica russa, o Vikhr produz texto em russo gramaticalmente correto e semanticamente coerente.
Tamanho do Vocabulário: Experimentos indicaram que um vocabulário de 40k ofereceu o melhor equilíbrio, proporcionando pico de desempenho na tarefa ruXNLI com apenas um leve aumento na perplexidade em comparação com vocabulários menores.
Filtragem de Dados: A filtragem do corpus de pré-treinamento (reduzindo-o de 17B para 11B de tokens) resultou em menor perplexidade e pontuações substancialmente maiores em Ru-MMLU-pro e ruXNLI, destacando a importância da qualidade dos dados sobre a quantidade.
Regularização: A aplicação da regularização de perda KL durante o pré-treinamento continuado melhorou substancialmente o desempenho na tarefa ruXNLI (0.45 vs. 0.34 sem regularização) e reduziu ligeiramente a perplexidade, confirmando seu papel na prevenção do esquecimento catastrófico das habilidades de raciocínio.
Ajuste de Instrução: O ajuste fino no conjunto de instruções expandido pelos autores rendeu um aumento significativo de desempenho em tarefas de NLU em comparação com modelos ajustados no dataset Saiga ou no Nectar traduzido isoladamente.

Significância
O artigo posiciona o Vikhr como uma solução para a falta de LLMs de instrução eficientes, de alta qualidade e de código aberto para o russo. Ao ir além das limitações dos adaptadores LoRA e abordar as ineficiências de tokenização através da adaptação total do modelo, o Vikhr alcança alta qualidade de geração enquanto mantém a eficiência computacional. Os autores argumentam que esta abordagem permite que os LLMs bilíngues permaneçam pequenos e eficientes, enquanto capturam de forma abrangente as nuances linguísticas e contextos culturais da língua regional. A liberação dos pesos do modelo, conjuntos de instruções, código e benchmarks de avaliação visa fomentar mais pesquisas em adaptação translinguística e aumentar a diversidade de línguas nas agendas de pesquisa de LLM. Os autores observam que o trabalho futuro inclui o lançamento de versões melhoradas (ex: baseadas em Mistral NeMo) e a extensão do pipeline para línguas de baixos recursos como bielorrusso, sérvio e cazaque.