💬 NLP

Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

Este estudo empírico demonstra que o LoRA básico apresenta um desempenho comparável a variantes mais complexas no ajuste de instrução multilíngue, uma vez que nenhum deles oferece uma vantagem significativa no equilíbrio entre transferência translinguística e retenção de conhecimento, nem alteram substancialmente as representações de linguagem por camada.

Autores originais: Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

Publicado 2026-06-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma enciclopédia gigante e incrivelmente inteligente (um Grande Modelo de Linguagem) que foi escrita originalmente inteiramente em inglês. Agora, você quer ensiná-la a entender e responder perguntas em outros idiomas, como urdu, suaíli ou hindi, mas não tem dinheiro ou tempo para reescrever o livro inteiro do zero.

Apresentamos o LoRA (Adaptação de Baixo Rank). Pense no LoRA como um conjunto de post-its que você pode colar nas páginas da enciclopédia. Em vez de reescrever todo o livro, você apenas escreve novas instruções nesses post-its e os cola em páginas específicas. Esta é uma maneira barata e rápida de ensinar novos idiomas ao livro.

Recentemente, cientistas inventaram versões "chiques" desses post-its (chamadas de variantes de LoRA, como DoRA, VeRA, AdaLoRA e PiSSA). Essas novas versões alegam ser mais inteligentes, eficientes ou melhores em organizar a informação do que os post-its originais e básicos.

A Grande Pergunta:
Será que esses post-its chiques e complexos realmente funcionam melhor do que os simples e básicos ao ensinar ao enciclopédia vários novos idiomas ao mesmo tempo?

O Experimento:
Os pesquisadores da Universidade de Massey montaram um teste. Eles pegaram a enciclopédia em inglês e tentaram ensinar cinco idiomas diferentes (urdu, suaíli, hindi, bengali e telugo) usando:

Os post-its originais e básicos (LoRA).
Quatro versões "chiques" diferentes (DoRA, VeRA, AdaLoRA, PiSSA).

Eles testaram o quão bem o livro aprendeu os novos idiomas enquanto garantiam que ele não esquecesse suas habilidades originais em inglês. Eles também verificaram quanta potência de computação (como eletricidade e memória) cada método utilizou.

As Descobertas (O Momento "Aha!"):
Os resultados foram surpreendentemente simples: os post-its chiques e complexos não ajudaram muito.

Sem Truque de Mágica: Os métodos complexos e caros não tiveram um desempenho significativamente superior ao LoRA básico. Na verdade, para alguns idiomas, o método básico foi tão bom quanto, se não melhor.
O Problema do "Compartilhamento": Um dos métodos chiques (VeRA) tentou usar o mesmo conjunto de instruções para cada página do livro. Os pesquisadores descobriram que isso na verdade prejudicou o desempenho porque era muito rígido, como tentar usar a mesma receita para assar um bolo e consertar um carro.
Custo vs. Benefício: Os métodos chiques frequentemente usavam mais potência de computação e memória sem oferecer melhores resultados. O LoRA básico foi o mais eficiente em termos de "custo-benefício".
O "Onde" Importa: O estudo descobriu que, para ensinar um novo idioma de forma eficaz, você precisa colocar esses post-its em cada uma das páginas do livro, não apenas nas últimas páginas. Se você colar os post-its apenas no final, o livro não aprenderá tão bem.

Olhando Sob o Capô:
Os pesquisadores também espiaram dentro do "cérebro" da enciclopédia (as camadas ocultas) para ver como os diferentes métodos mudavam a maneira como o computador "pensava" sobre a linguagem.

Eles descobriram que todos os métodos pareciam quase idênticos por dentro. Quer eles usassem os post-its básicos ou os chiques, a maneira como o computador representava os idiomas não mudava muito. Os truques arquitetônicos sofisticados não criaram uma nova maneira para o computador entender o mundo; eles apenas rearranjaram os móveis sem mudar a casa.

A Conclusão:
Se você está tentando ensinar novos idiomas a um grande modelo de linguagem, não precisa comprar as ferramentas mais caras e complexas. O método LoRA básico e original é tão eficaz quanto as variantes chiques e novas, usa menos potência de computação e é mais fácil de gerenciar. Às vezes, a solução simples é a melhor.

Resumo Técnico: Qual LoRA? Um Estudo Empírico sobre a Eficácia de Técnicas LoRA durante o Ajuste de Instrução Multilíngue

Problema
A Adaptação de Baixo Posto (LoRA) é uma técnica líder de ajuste fino eficiente em parâmetros (PEFT) que congela os parâmetros originais do Grande Modelo de Linguagem (LLM) enquanto treina pequenas matrizes de baixo posto. Embora inúmeras variantes inovadoras de LoRA (por exemplo, DoRA, VeRA, AdaLoRA, PiSSA) tenham sido introduzidas para melhorar o desempenho em tarefas de inglês, sua eficácia no ajuste de instrução multilíngue permanece pouco explorada. Especificamente, não está claro se essas novidades arquiteturais oferecem vantagens sobre o LoRA básico ao equilibrar a transferência cross-lingual (adaptando o conhecimento do inglês para novos idiomas) e a retenção de conhecimento (preservando as capacidades do inglês). Além disso, pesquisas existentes sobre LoRA em cenários cross-linguais focaram amplamente no LoRA básico ou na adaptação de idiomas de baixa disponibilidade, sem comparar de forma abrangente essas variantes ou analisar seu impacto nas representações linguísticas internas.

Metodologia
Os autores conduziram uma avaliação empírica comparando o LoRA básico contra quatro variantes avançadas:

DoRA (Weight-Decomposed Low-Rank Adaptation)
VeRA (Vector-Based Random Matrix Adaptation)
AdaLoRA (Adaptive Low-Rank Adaptation)
PiSSA (Principal Singular Values and Singular Vectors Adaptation)

Datasets & Idiomas: Os experimentos utilizaram o dataset XNLI (Inferência de Linguagem Natural) e o TyDiQA-GoldP (Resposta a Perguntas). O estudo focou em cinco idiomas alvo (TLs) linguisticamente diversos e de baixa disponibilidade: Urdu (Ur), Suaíli (Sw), Hindi (Hi), Bengali (Bn) e Telugu (Te).
Design Experimental:
- Mistura de Dados: O LLM foi ajustado finamente em uma mistura de dados de inglês e TL. Os autores avaliaram proporções de TL de 0%, 1%, 10% e 50% para determinar a composição ideal de dados.
- Controle de Parâmetros: Para garantir uma comparação justa, a maioria das configurações foi padronizada para um posto ( $r$ ) de 8 e um orçamento de parâmetros de aproximadamente 0,26%. Uma configuração DoRA modificada (DoRA*) foi criada para corresponder a este orçamento, já que o DoRA padrão normalmente atinge o pico em $r=16$ (0,36% de parâmetros).
- Modelos: Os experimentos primários utilizaram o Llama-3.1-8B. A generalizabilidade foi testada no Llama-3.2-3B e no Qwen3-8B.
- Análise: Além das métricas de desempenho (Micro F1), o estudo incluiu uma análise de embedding oculto camada a camada usando CLD3 para classificar a representação da linguagem dentro das camadas internas do modelo.

Principais Resultados

Equivalência de Desempenho: Em diversos idiomas alvo e arquiteturas de modelos, não foi encontrada vantagem significativa para as variantes complexas de LoRA sobre o LoRA básico. Um teste ANOVA no desempenho dos idiomas alvo não apresentou diferença estatisticamente significativa ( $p = 0,89$ ) entre as variantes.
Hierarquia de Desempenho do Inglês: Embora o desempenho nos idiomas alvo tenha sido semelhante, o desempenho do inglês mostrou diferenças significativas. O LoRA básico, DoRA, DoRA* e AdaLoRA performaram de forma semelhante e significativamente melhor que o PiSSA e o VeRA. Os autores atribuem o baixo desempenho do VeRA às suas matrizes globais compartilhadas, que podem restringir as atualizações a um único subespaço, dificultando a preservação do conhecimento.
Sensibilidade à Mistura de Dados: A introdução de uma pequena proporção (1%) de dados de TL melhorou significativamente o desempenho no idioma alvo com degradação mínima no desempenho do inglês. Aumentar a proporção de TL para 10% ou 50% resultou, geralmente, em degradação de desempenho para ambos os idiomas.
Sensibilidade ao Posto (Rank): O desempenho no idioma alvo foi altamente sensível ao escalonamento do posto. Embora o Rank 8 tenha sido o padrão, o Rank 32 yielded o pico de desempenho de TL em quase todas as variantes, enquanto o Rank 16 frequentemente mostrou degradação.
Eficiência Computacional: Nenhum variante dominou todos os critérios de eficiência. O LoRA básico e o AdaLoRA demonstraram perfis de eficiência favoráveis, enquanto o DoRA e o DoRA* foram menos eficientes em termos de tempo de treinamento, utilização de GPU e memória.
Representações Internas: A análise camada a camada revelou que os padrões de representação de linguagem (transição das camadas iniciais para camadas intermediárias dominadas pelo inglês, e depois declínio da dominância nas camadas externas) permaneceram amplamente semelhantes em todas as técnicas de LoRA. Isso sugere que as modificações arquiteturais nessas variantes não alteram fundamentalmente a representação linguística interna do LLM.

Significância e Alegações
O artigo afirma que, para o ajuste de instrução multilíngue, a novidade arquitetural não se traduz necessariamente em ganhos de desempenho. O estudo desafia a suposição de que variantes de LoRA mais complexas são superiores para a adaptação cross-lingual. As principais conclusões incluem:

A Simplicidade é Suficiente: O LoRA básico é suficiente para equilibrar a transferência cross-lingual e a retenção de conhecimento, oferecendo uma alternativa computacionalmente mais eficiente às variantes complexas.
Aplicação de Camadas: Contrariando algumas descobertas de pré-treinamento, os autores observaram que, no ajuste de instrução, o LoRA deve ser aplicado a todas as camadas, e não apenas às camadas finais.
Estabilidade de Representação: A falta de mudança significativa nos embeddings ocultos entre as variantes sugere que a "caixa preta" da adaptação do LLM permanece estável independentemente da variante específica de LoRA utilizada, implicando que os benefícios dessas variantes podem ser específicos para tarefas, e não universais para configurações multilíngues.

Os autores concluem que seu trabalho fornece uma investigação mais ampla sobre o aprendizado de linguagem em LLMs comparado a estudos anteriores, cobrindo uma gama maior de idiomas, arquiteturas de modelos e análises de representação interna, sugerindo, em última análise, que pesquisadores devem reconsiderar a necessidade de variantes complexas de LoRA para tarefas de ajuste de instrução multilíngue.

Mais como este