💻 computer science

Luth: Efficient French Specialization for Small Language Models and Cross-Lingual Transfer

Este artigo apresenta o Luth, uma família de Pequenos Modelos de Linguagem especializados em francês que alcançam o estado da arte em benchmarks de francês enquanto mantêm capacidades em inglês por meio de pós-treinamento direcionado e fusão estratégica de modelos, abordando de forma eficaz a lacuna de desempenho em SLMs não ingleses.

Autores originais: Maxence Lasbordes, Sinoué Gad

Publicado 2026-02-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Maxence Lasbordes, Sinoué Gad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da Inteligência Artificial (IA) como uma biblioteca imensa. Durante muito tempo, quase todos os livros desta biblioteca foram escritos em inglês. Se você fizer uma pergunta ao bibliotecário (a IA) em francês, ele pode tropeçar, dar uma resposta vaga ou parecer que está lendo um dicionário em vez de manter uma conversa. Isso é especialmente verdadeiro para os bibliotecários "menores" (Pequenos Modelos de Linguagem ou SLMs), que são projetados para serem rápidos e eficientes, mas muitas vezes carecem de um conhecimento profundo de outros idiomas além do inglês.

O artigo que você compartilhou apresenta uma nova equipe de bibliotecários chamada Luth. O objetivo deles era simples: pegar esses modelos de IA pequenos e eficientes e ensiná-los a falar francês fluentemente sem que eles esqueçam como falar inglês.

Aqui está como eles fizeram isso, usando algumas analogias do cotidiano:

1. O Problema: O Viés "Apenas Inglês"

A maioria dos modelos de IA é treinada com uma dieta composta majoritariamente por dados em inglês. É como ensinar um aluno apenas em inglês; ele pode ser ótimo em literatura inglesa, mas terá dificuldades com a história francesa ou problemas de matemática escritos em francês. Os autores notaram que mesmo os melhores modelos "multilíngues" ainda eram significativamente mais fracos em francês em comparação ao inglês.

2. A Solução: Um "Acampamento de Treinamento Francês" Especializado (Luth-SFT)

Para corrigir isso, os autores não apenas jogaram mais textos aleatórios em francês para a IA. Em vez disso, eles construíram um acampamento de treinamento especializado chamado Luth-SFT.

O Currículo: Eles reuniram 570.000 pares de alta qualidade de "instrução e resposta". Pense nisso como um enorme caderno de exercícios com perguntas em francês e respostas perfeitas.
O Truque da Tradução: Eles pegaram excelentes livros didáticos em inglês (datasets) e não apenas traduziram as respostas palavra por palavra. Em vez disso, traduziram as perguntas para o francês e depois pediram à IA para escrever novas respostas do zero. Isso garantiu que o francês soasse natural e humano, não robótico.
A Seção "Erudita": Uma parte especial deste caderno de exercícios focou em assuntos acadêmicos difíceis (como Matemática, Física e Engenharia) usando provas reais de escolas secundárias e universidades francesas. Isso deu à IA um verdadeiro "impulso cerebral" em raciocínio e lógica.

3. O Treinamento: Ajuste Fino Completo (Full Fine-Tuning)

Eles pegaram modelos de IA pequenos já existentes (os modelos "base") e os passaram por este acampamento de treinamento francês. Isso é como pegar um atleta generalista e submetê-lo a um regime de treinamento rigoroso e especializado para se tornar um especialista falante de francês.

O Problema: Quando você treina um modelo intensamente em uma língua, ele às vezes começa a esquecer suas outras habilidades. Neste caso, os modelos ficaram ótimos em francês, mas começaram a ficar ligeiramente piores em inglês.

4. O Truque de Mágica: "Fusão de Modelos" (O Efeito Smoothie)

É aqui que o artigo se torna engenhoso. Para resolver o problema de "esquecer o inglês" sem perder as novas habilidades em francês, eles usaram uma técnica chamada Model Merging (Fusão de Modelos).

Imagine que você tem dois smoothies:

Smoothie A: O modelo original (Ótimo em inglês, ok em francês).
Smoothie B: O modelo recém-treinado (Incrível em francês, ligeiramente mais fraco em inglês).

Em vez de escolher um ou outro, eles os "misturaram". Eles misturaram o "cérebro" do modelo original com o "cérebro" do modelo treinado.

O Resultado: O novo modelo misturado (Luth) manteve os superpoderes em francês e recuperou (ou até melhorou) suas habilidades em inglês. Foi como ter o melhor de ambos os mundos em um único copo.

5. Os Resultados: Os Novos Campeões

Os autores testaram esses novos modelos Luth contra outros modelos de IA pequenos em seis desafios diferentes (como problemas matemáticos, seguir instruções complexas e conhecimento geral).

Em Francês: Os modelos Luth esmagaram a concorrência. Eles superaram todos os outros modelos de código aberto do mesmo tamanho, melhorando as pontuações em até 11% em média.
Em Inglês: Surpreendentemente, eles não apenas permaneceram os mesmos; eles na verdade ficaram melhores em inglês também. Os autores chamam isso de "transferência translinguística", sugerindo que aprender o francês profundamente na verdade ajudou o modelo a entender melhor os conceitos em inglês também.

Resumo

O artigo afirma que, ao criar um conjunto de dados em francês de alta qualidade e usar uma técnica de "mistura" para fundir modelos, eles criaram uma família de modelos de IA pequenos e eficientes que agora são os melhores em francês disponíveis, sem sacrificar suas habilidades em inglês. Eles provaram que você não precisa de um supercomputador gigante e caro para fazer uma ótima IA em francês; você só precisa dos dados certos e do método de mistura correto.

Resumo Técnico: Luth – Especialização Eficiente em Francês para Pequenos Modelos de Linguagem

Declaração do Problema

O cenário atual dos Grandes Modelos de Linguagem (LLMs) permanece predominantemente centrado no inglês, criando uma lacuna de desempenho significativa para outros idiomas principais, particularmente o francês. Embora existam modelos multilíngues, eles frequentemente apresentam um desempenho inferior em francês em comparação ao inglês devido ao desequilíbrio de dados. Além disso, a pesquisa sobre métodos de adaptação eficientes para o francês, especificamente dentro do domínio dos Pequenos Modelos de Linguagem (SLMs), é limitada. Os esforços específicos para o francês existentes muitas vezes dependem de treinamento em larga escala e intensivo de recursos ou falham em igualar o desempenho de bases multilíngues comparáveis, deixando uma necessidade por modelos compactos e especializados em francês que possam ser adaptados eficientemente sem sacrificar as capacidades multilíngues.

Metodologia

Os autores propõem o Luth, uma família de SLMs especializados em francês (variando de 350M a 1.7B de parâmetros) desenvolvidos através de um pipeline direcionado de pós-treinamento e fusão de modelos. A metodologia consiste em três estágios primários:

1. Construção do Conjunto de Dados (Luth-SFT)

Para enfrentar a escassez de dados de pós-treinamento de alta qualidade em código aberto para o francês, os autores construíram o conjunto de dados Luth-SFT, composto por 570.000 amostras (338 milhões de tokens) de pares instrução-resposta em francês. A construção dos dados envolveu:

Coleta: Filtragem de amostras em francês de conjuntos de dados multilíngues existentes (AYA, Smoltalk2, CroissantLLM).
Tradução e Geração: Seleção de conjuntos de dados de instrução em inglês de alta qualidade (Tülu 3, OpenHermes). Os prompts em inglês foram traduzidos para o francês usando modelos multilíngues robustos (GPT-4o, Qwen3 32B). Crucialmente, novas respostas em francês foram geradas do zero com base nesses prompts traduzidos, em vez de traduzir as respostas originais em inglês, garantindo qualidade linguística nativa.
Filtragem: Um pipeline de dois estágios impôs validação linguística (gramática, coerência, ausência de code-switching) e filtragem de conteúdo (remoção de código, chamadas de ferramentas e erros fatuais).
Subconjunto Acadêmico (Scholar Subset): Um subconjunto especializado de 30.300 amostras foi criado a partir de materiais de exames de Baccalauréat e Classes Préparatoires (CPGE) franceses (1980–2025). Estes dados não sintéticos, cobrindo disciplinas como Matemática (67,23%), Física-Química e Ciência da Computação, foram processados via parsing assistido por LLM para extrair perguntas e soluções detalhadas e validadas por especialistas.

2. Treinamento do Modelo

Os autores avaliaram vários modelos base multilíngues na faixa de sub-2B de parâmetros, selecionando o Qwen3 (0.6B, 1.7B) e o LFM2 (350M, 700M, 1.2B) com base em seu forte desempenho inicial em francês e inglês.

Ajuste Fino Completo (Full Fine-Tuning): Em vez de métodos de eficiência de parâmetros como LoRA, os modelos selecionados passaram por ajuste fino completo no conjunto de dados Luth-SFT usando o framework Axolotl.
Configuração: O treinamento utilizou uma única GPU NVIDIA H100 com FlashAttention e empacotamento de sequência (comprimento máximo de 16.384). Os hiperparâmetros incluíram uma taxa de aprendizado de $2 \times 10^{-5}$ e um scheduler de cosseno com um warm-up de 10%.

3. Fusão de Modelos (Model Merging)

Para mitigar o "esquecimento catastrófico" das capacidades em inglês frequentemente observado ao realizar ajuste fino exclusivamente em dados de francês, os autores empregaram a fusão de modelos.

Processo: Os modelos ajustados em francês foram fundidos com seus modelos base originais usando o MergeKit.
Técnicas: Os autores experimentaram Interpolação Linear (LERP) e Interpolação Linear Esférica (SLERP).
Resultado: Surpreendentemente, métodos simples de interpolação produziram os resultados mais estáveis. Os coeficientes de fusão (variando de 0.3 a 0.7) foram selecionados empiricamente para equilibrar a especialização em francês com a retenção do inglês, resultando frequentemente em ganhos de desempenho em ambos os idiomas.

Principais Contribuições

Conjunto de Dados Luth-SFT: Um conjunto de dados de instrução-resposta em francês curado e de alta qualidade (570k amostras) especificamente projetado para melhorar o conhecimento geral, o seguimento de instruções e o raciocínio matemático.
Família de Modelos Luth: Cinco SLMs (350M a 1.7B de parâmetros) que alcançam o estado da arte (SOTA) em benchmarks de francês dentro de suas categorias de tamanho.
Metodologia de Adaptação Eficiente: Um pipeline reproduzível demonstrando que o pós-treinamento direcionado combinado com a fusão estratégica de modelos pode aumentar significativamente as capacidades específicas de um idioma enquanto preserva ou até melhora o desempenho translinguístico.

Resultados

Os modelos Luth foram avaliados em seis benchmarks (IFEval, GPQA-Diamond, MMLU, Math500, Arc-Challenge, HellaSwag) tanto em francês quanto em inglês.

Desempenho em Francês: Os modelos Luth superaram substancialmente todos os equivalentes de código aberto de tamanho comparável. Eles alcançaram uma melhoria absoluta média de até +11,26% em seis benchmarks de francês em comparação com seus modelos base. Por exemplo, o Luth-1.7B-Instruct pontuou 58,53 no IFEval (francês) e 62,60 no Math500 (francês), superando significativamente o base Qwen3-1.7B.
Desempenho em Inglês: Contrariando a degradação típica observada no ajuste fino específico de idioma, os modelos Luth mantiveram um desempenho estável ou melhorado em inglês. Os autores atribuem isso à transferência translinguística, onde as melhorias no raciocínio e no seguimento de instruções em francês impactaram positivamente as capacidades em inglês. As melhorias em inglês variaram de +0,76% a +3,20% nos benchmarks selecionados.
Eficácia da Fusão: Os experimentos confirmaram que fundir o modelo ajustado com o modelo base não apenas recuperou o desempenho perdido em inglês, mas frequentemente potencializou os resultados gerais em ambos os idiomas em comparação com o modelo ajustado sozinho.

Significância e Alegações

O artigo posiciona o Luth como um novo baseline de estado da arte para Pequenos Modelos de Linguagem em francês. Os autores afirmam que seu trabalho demonstra:

Eficiência: Capacidades de alto nível em francês podem ser alcançadas através de um pós-treinamento cuidadoso em dados curados e fusão de modelos, evitando a necessidade de pré-treinamento contínuo custoso ou recursos de escala massiva.
Robustez: A especialização em um idioma não necessita o sacrifício de outros; de fato, a fusão estratégica pode levar a melhorias mútuas entre idiomas.
Extensibilidade: A metodologia é apresentada como uma receita prática e reproduzível que pode ser estendida para outros idiomas e domínios.

Os autores reconhecem limitações, observando que sua avaliação é restrita a um conjunto específico de benchmarks, não cobre uso de ferramentas ou geração de código, e é atualmente limitada a modelos abaixo de 2 bilhões de parâmetros. Eles sugerem que verificar a escalabilidade desses ganhos para arquiteturas maiores permanece uma direção para trabalhos futuros.