🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

O artigo apresenta o LLiMba, um modelo de linguagem de 3 bilhões de parâmetros para o idioma sardo, adaptado em uma única GPU de consumidor por meio de pré-treinamento contínuo e ajuste fino, demonstrando que uma configuração rsLoRA de alto desempenho supera outros métodos de adaptação na qualidade de tradução, ao mesmo tempo que destaca limitações críticas das métricas padrão na captura de falhas qualitativas, como vazamento de script e alucinações factuais.

Autores originais: Luca Ballore

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Luca Ballore

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um estudante brilhante e multilíngue (o modelo de IA) que leu quase todos os livros da biblioteca das principais línguas, como inglês, espanhol e italiano. No entanto, esse estudante nunca ouviu falar do sardo, uma língua bela mas ameaçada, falada por cerca de um milhão de pessoas em uma ilha na Itália. Quando você pede a esse estudante que fale sardo, ele apenas adivinha e, acidentalmente, fala italiano ou espanhol em vez disso.

O artigo "LLiMba" conta a história de como o autor ensinou esse estudante a falar sardo fluentemente usando apenas uma única placa de vídeo de computador doméstico padrão (uma GPU de 24 GB), em vez de um supercomputador massivo.

Veja como eles fizeram isso, dividido em etapas simples:

1. O Campo de Treinamento em Duas Etapas

Para ensinar sardo ao estudante, o autor utilizou um processo de treinamento em duas fases:

Fase 1: A "Leitura Imersiva" (Pré-treinamento Contínuo)
Primeiro, o estudante recebeu uma biblioteca massiva de textos em sardo (cerca de 11,5 milhões de palavras) para ler. Isso incluía notícias, artigos da Wikipedia, livros e poesia. Para evitar que o estudante esquecesse como falar italiano ou espanhol, também foram misturados alguns textos de línguas românicas relacionadas (como italiano e espanhol) como material de "repetição".
- O Resultado: Após essa fase de leitura, o estudante conseguiu entender o sardo muito melhor. Se você pedisse para traduzir do inglês para o sardo, ele passou de quase inútil para decente.
Fase 2: A "Prática de Conversação" (Ajuste Fino Supervisionado)
Ler é bom, mas falar é melhor. O estudante então praticou responder a perguntas específicas e seguir instruções em sardo. O autor testou cinco maneiras diferentes de ensinar essa habilidade de conversação para ver qual método funcionava melhor sem exigir muita memória do computador.

2. Os Cinco Métodos de Ensino (O Experimento do "Adaptador")

O autor não reeducou todo o estudante do zero (o que seria pesado demais para o computador). Em vez disso, ele tentou cinco diferentes "chapéus de treinamento" (técnicas chamadas adaptadores) para ajustar o cérebro do estudante:

Ajuste Fino Completo: Reescrevendo todo o cérebro do estudante. (Pesado, mas uma boa linha de base).
LoRA (Rank 64): Um chapéu pequeno e leve.
rsLoRA (Rank 128): Um chapéu ligeiramente maior e "estabilizado".
rsLoRA (Rank 256): O maior e mais poderoso chapéu leve.
DoRA (Rank 256): Um chapéu sofisticado que tenta manter a personalidade original do estudante intacta enquanto adiciona novas habilidades.

3. Os Resultados Surpreendentes

O autor descobriu algumas coisas contra-intuitivas:

Maior nem sempre é melhor (para o chapéu "DoRA"): O chapéu "DoRA" foi projetado para ser muito cuidadoso e preservar o conhecimento original do estudante. No entanto, ele realmente teve o pior desempenho ao dizer a verdade. Ele falava fluentemente, mas inventava mentiras selvagens e confiantes sobre história e cultura.
O Chapéu "rsLoRA" Venceu: O maior chapéu leve (rsLoRA com rank 256) foi o campeão. Ele produziu as melhores traduções e, crucialmente, contou os fatos mais precisos.
O "Rank" Importa Mais Que o "Tipo": O estudo descobriu que simplesmente tornar o adaptador "maior" (aumentando o rank) importava mais do que escolher entre os diferentes tipos de chapéus. O maior chapéu (rsLoRA 256) venceu os menores e até mesmo o método de re-treinamento completo para tarefas de tradução.

4. A Armadilha da "Alucinação"

O artigo destaca um problema complicado que testes padrão (que apenas contam quantas palavras coincidem) ignoram: Mentiras Confiantes.

O Teste de Verificação de Fatos: O autor fez perguntas específicas aos modelos, como "Quem foi Gigi Riva?" (um famoso futebolista sardo).
- O modelo rsLoRA acertou os fatos.
- O modelo LoRA inventou uma biografia falsa (afirmando que ele venceu a Copa do Mundo na Escócia, o que é impossível).
- O modelo DoRA inventou mentiras ainda mais selvagens (afirmando que ele jogou por times pelos quais nunca jogou e que um estádio foi renomeado em sua homenagem quando não foi).
O Teste de "Palavras Falsas": Quando solicitado a escrever um ensaio longo e aberto sobre a cultura sarda, o melhor modelo (rsLoRA) às vezes inventava palavras que soavam como sardo, mas que na verdade não existiam. É como um estudante que conhece as regras da gramática tão bem que consegue inventar uma nova palavra que soa perfeita, mas não significa nada.

5. A Lição sobre "Pontuações"

O artigo nos alerta para não confiar demais nas pontuações de "perplexidade" (uma métrica matemática comum usada para julgar IAs), especialmente para línguas que usam scripts diferentes.

A Analogia: Imagine avaliar um estudante em uma prova onde as respostas estão escritas em código. Se o código for muito previsível, o estudante pode tirar uma nota perfeita apenas adivinhando o padrão, mesmo sem entender o significado. O artigo mostra que, para algumas línguas, a pontuação matemática parece ótima, mas a qualidade real da tradução é terrível. Você precisa de humanos reais para verificar se a IA está realmente dizendo a verdade.

Resumo

O artigo prova que é possível ensinar um modelo de IA pequeno a falar uma língua rara como o sardo em um único computador doméstico. O segredo foi usar um "adaptador" específico e maior (rsLoRA) que equilibrava bem memória e criatividade. No entanto, mesmo o melhor modelo ainda tem a tendência de inventar coisas com confiança, provando que precisamos de verificadores de fatos humanos, e não apenas de pontuações matemáticas, para julgar se uma IA é realmente útil.

Resumo Técnico: LLiMba — Adaptação de um Modelo de Linguagem de 3B para o Sardo

Declaração do Problema
O sardo (sardu), uma língua românica falada por aproximadamente um milhão de pessoas, sofre de uma ausência quase total no Processamento de Linguagem Natural (PLN) moderno. Serviços comerciais não o suportam, e os modelos de linguagem grandes (LLMs) existentes falham em gerá-lo de forma confiável, recorrendo frequentemente ao italiano, espanhol ou outras línguas românicas principais. A escassez de dados em sardo em corpora de escala web impede que modelos abertos padrão aprendam a língua, enquanto modelos proprietários consideram a base de usuários pequena demais para a aquisição de dados. Além disso, conjuntos de dados padrão de baixos recursos (por exemplo, OSCAR, Leipzig Corpora) contêm texto utilizável em sardo negligenciável. O desafio é adaptar um modelo multilíngue pré-treinado a uma língua românica de baixos recursos e estreitamente relacionada, utilizando dados mínimos e hardware de nível de consumidor, evitando ao mesmo tempo o esquecimento catastrófico e garantindo fundamentação factual.

Metodologia
Os autores apresentam o LLiMba, um modelo pronto para o sardo com 3 bilhões de parâmetros, adaptado a partir do Qwen2.5-3B-Instruct. O pipeline de adaptação é executado em uma única NVIDIA RTX 4090 (24 GB de VRAM) usando um processo de duas etapas:

Pré-treinamento Contínuo (CPT):
- Dados: Um corpus de ~11,5 milhões de tokens em sardo (abrangendo as variantes LSC, Logudorese e Campidanese) aumentado com ~2,4 milhões de tokens de texto românico relacionado (italiano, espanhol, português, catalão) para prevenir o esquecimento catastrófico e o embaçamento de registros.
- Técnica: Ajuste fino completo (todos os parâmetros atualizados) em bfloat16. Os autores escolheram o ajuste fino completo em vez de adaptadores eficientes em parâmetros para esta etapa porque a mudança de domínio (aprender uma nova língua) é grande, e trabalhos anteriores sugerem que o LoRA tem desempenho inferior ao ajuste fino completo quando a distribuição alvo está distante do pré-treinamento.
- Restrições de Hardware: Para caber o modelo de 3B em 24 GB de VRAM, os autores utilizaram otimizadores AdamW 8-bit paginados, checkpointing de gradiente e um tamanho de lote efetivo de 16 via acumulação de gradiente. O empacotamento de sequências foi desativado para evitar vazamento de atenção entre tipos de documentos heterogêneos.
Ajuste Fino Supervisionado (SFT):
- Dados: ~14.404 pares de instruções derivados de dados Capybara traduzidos por máquina, pares de tradução paralela, instruções sintetizadas curadas por nativos e consultas relacionadas a músicas.
- Comparação de Configurações: Cinco configurações de SFT foram comparadas sob condições correspondentes (mesmos dados, hardware, hiperparâmetros):
  - Ajuste Fino Completo.
  - LoRA (Rank 64, $\alpha=128$ ).
  - rsLoRA (Rank 128, $\alpha=128$ , usando escalonamento $\alpha/\sqrt{r}$ ).
  - rsLoRA (Rank 256, $\alpha=256$ , usando escalonamento $\alpha/\sqrt{r}$ ).
  - DoRA (Rank 256, $\alpha=256$ , decompondo pesos em magnitude e direção).

Principais Resultados

Desempenho de Tradução: O pré-treinamento contínuo forneceu a maior parte do ganho de desempenho, melhorando as pontuações BLEU em 4–7 vezes em relação ao modelo base. O SFT forneceu melhorias incrementais.
- Melhor Desempenho: rsLoRA no Rank 256 alcançou as pontuações mais altas para tradução para o sardo (por exemplo, 28,47 BLEU para inglês-para-sardo, comparado a 17,26 após CPT apenas e 21,04 para ajuste fino completo).
- Ablação de Rank: O desempenho nas métricas de tradução escalou suavemente com o rank: rsLoRA r256 > rsLoRA r128 > LoRA r64.
- Desempenho Inferior do DoRA: Apesar de ter o mesmo rank (256) que a melhor configuração rsLoRA, o DoRA teve desempenho inferior ao LoRA r64 em quatro das seis direções de tradução e não conseguiu igualar os ganhos do ajuste fino completo.
Descobertas Qualitativas e Modos de Falha:
- Fundamentação Factual: As métricas de tradução (BLEU/chrF) não correlacionaram com a precisão factual. O rsLoRA r256 produziu fatos biográficos e culturais verificáveis e precisos. Em contraste, o LoRA r64 produziu detalhes confiantes, mas fabricados, e o DoRA r256 produziu as fabricações mais agressivas, contradizendo sua premissa de design de preservar a estrutura do modelo base.
- Fidelidade Lexical: Embora o rsLoRA r256 fosse factualmente superior, ele exibiu "alucinação morfológica" em prompts longos e abertos, gerando palavras em sardo fonotaticamente plausíveis, mas não atestadas. O ajuste fino completo permaneceu mais próximo do vocabulário atestado.
- Vazamento de Script: A configuração rsLoRA r128 introduziu um modo de falha único: vazamento de tokens de script não latino (chinês/inglês) em sentenças em sardo, um fenômeno não observado em outras variantes.
Métricas de Perda vs. Realidade: As perdas de treinamento e avaliação foram semelhantes entre os métodos e não previram as diferenças qualitativas na factualidade ou integridade do script. O artigo observa que as métricas de perplexidade podem ser artificialmente diminuídas pela tokenização de fallback de bytes em scripts não latinos (um problema conhecido na adaptação do tibetano), embora o script latino do sardo evite esse artefato específico.

Significado e Contribuições
O artigo estabelece que adaptar um modelo de 3 bilhões de parâmetros a uma língua românica de baixos recursos é viável em uma única GPU de consumidor usando um pipeline de duas etapas de CPT completo seguido de SFT eficiente em parâmetros.

As principais contribuições incluem:

Evidência Empírica sobre Capacidade de Adaptador: O estudo demonstra que, para adaptar uma base pré-treinada em românico a um alvo românico de baixos recursos, o rank do adaptador importa mais do que a variante específica do adaptador. A escala do rsLoRA para Rank 256 gerou ganhos significativos, enquanto o DoRA no mesmo rank falhou em entregar resultados comparáveis, sugerindo que a parametrização específica (atualizações de baixo rank não restritas vs. decomposição magnitude-direção) interage criticamente com a tarefa.
Limitações das Métricas Padrão: O trabalho destaca que as métricas de tradução (BLEU/chrF) e as curvas de perda podem ordenar configurações suavemente enquanto mascaram diferenças categóricas no comportamento qualitativo, como alucinação factual e vazamento de script.
Eficiência de Recursos: Fornece um pipeline reproduzível para adaptação de línguas de baixos recursos que não requer clusters massivos de computação, confiando em vez disso em curadoria cuidadosa de dados e otimização consciente de hardware (otimizadores 8-bit, checkpointing de gradiente).

Os autores concluem que, embora o rsLoRA r256 seja a configuração ótima para tradução e fundamentação factual neste cenário específico, a divergência entre métricas quantitativas e realidade qualitativa exige estratégias de avaliação que incluam sondas de falantes nativos e verificações de factualidade, especialmente quando métricas baseadas em perda podem ser enganosas ou insuficientes.