Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

Resumo Técnico: Adaptação Multilíngue em LLMs via Ajuste Fino Contínuo em Duas Fases

1. O Problema

A adoção generalizada de Grandes Modelos de Linguagem (LLMs) enfrenta um desafio crítico: melhorar a capacidade de seguir instruções em múltiplos idiomas sem degradar o desempenho no idioma original (geralmente inglês).

• Desafio Principal: O ajuste fino (fine-tuning) de modelos pré-treinados em dados multilíngues frequentemente leva ao esquecimento catastrófico da capacidade em inglês (English Ability - EA), especialmente quando os dados de treino são desbalanceados ou quando a distribuição dos dados muda drasticamente.
• Limitação Atual: Estratégias comuns, como o ajuste fino simultâneo em uma mistura de dados (inglês + multilíngue), tendem a criar um viés de desempenho, onde o modelo mantém o inglês forte, mas falha em idiomas de baixo recurso, ou vice-versa, dependendo da proporção dos dados.
• Restrições do Mundo Real: Muitas vezes, não é possível reutilizar o conjunto de dados original da fase anterior (devido a questões de licenciamento ou disponibilidade) nem manter os pesos do modelo antigo na memória durante o treinamento da nova fase (custo computacional excessivo).

2. Metodologia

Os autores propõem um cenário de Ajuste Fino Contínuo (CFT) em Duas Fases para adaptar LLMs de código aberto (MISTRAL-7B e LLAMA-3-8B) a múltiplos idiomas.

• Fase 1 (Base): O modelo é ajustado em um conjunto de dados de instruções em inglês (ex: ALPACA ou OPENORCA). O objetivo é estabelecer uma forte capacidade de seguir instruções em inglês (EA).
• Fase 2 (Adaptação): O modelo resultante da Fase 1 é ajustado em um conjunto de dados de instruções multilíngue de tamanho similar (ex: MULTIALPACA ou MOPENORCA). O objetivo é melhorar a capacidade multilíngue (MA) sem perder a EA.

Análise de Similaridade de Dados:
Os autores investigam a relação entre a similaridade das instruções dos dois conjuntos de dados e o desempenho final. Eles definem duas métricas para quantificar essa similaridade:

1. Similaridade de Embedding de Dados (DES): Calcula a similaridade semântica entre as instruções dos dois conjuntos usando embeddings agnósticos ao idioma (LaBSE).
2. Diferença de Parâmetros do Modelo (MPD): Mede a distância geométrica entre os pesos do modelo ajustado na Fase 1 e o modelo ajustado em um conjunto de dados hipotético da Fase 2.

Estratégias de Mitigação:
Para combater a degradação da EA quando os dados das fases são dissimilares, o estudo explora duas técnicas:

1. Replay de Distribuição:
   • Replay Generativo (GR): Usa o modelo da Fase 1 para gerar respostas em inglês para as instruções do conjunto multilíngue (traduzidas), criando um conjunto de dados de replay que "ponteia" as distribuições.
   • Replay em Inglês (ER): Utiliza dados paralelos existentes (instruções em inglês com respostas originais) do conjunto da Fase 2 durante o treinamento.
2. Congelamento de Camadas (Layer Freezing - LF): Congela camadas específicas do modelo durante a Fase 2 para preservar os conhecimentos adquiridos na Fase 1. As camadas são selecionadas com base em heurísticas como:
   • Aleatória (10 camadas).
   • Camadas que mais mudaram na Fase 1.
   • Spectrum: Congela as camadas mais "informativas" baseadas na razão sinal-ruído (SNR) dos valores singulares dos pesos.

3. Contribuições Principais

1. Superioridade do CFT em Duas Fases: Demonstram que o ajuste sequencial (Fase 1 -> Fase 2) supera o ajuste simultâneo em mistura de dados, resultando em melhor desempenho tanto em inglês quanto em outros idiomas para o mesmo número de passos de treinamento.
2. Descoberta Crítica sobre Similaridade: Identificam que a similaridade das instruções entre as fases é o fator determinante.
   • Se as instruções forem similares (mesmo que em idiomas diferentes, ex: ALPACA e MULTIALPACA), o modelo mantém ou melhora a EA.
   • Se as instruções forem dissimilares (ex: Instruct e MULTIALPACA), ocorre uma queda significativa na EA devido à interferência de pesos e deslocamento de representações.
3. Métricas de Quantificação: Introduzem DES e MPD como métricas eficazes para prever o risco de esquecimento antes mesmo do treinamento.
4. Estratégias de Mitigação Eficientes: Validam que o Replay de Distribuição (especialmente ER_10) e o Congelamento de Camadas (Spectrum) conseguem mitigar o esquecimento, preservando a EA enquanto aumentam a MA.

4. Resultados Chave

• Desempenho Geral: O setup de duas fases superou a mistura de dados. Por exemplo, no MISTRAL-7B, a média combinada de EA e MA foi de 0.355 (CFT) contra 0.325 (Mistura).
• Impacto da Similaridade:
  • Caso Similar (ALPACA -> MULTIALPACA): A capacidade em inglês aumentou (ex: +3% no IFEval) e a capacidade multilíngue melhorou significativamente. As visualizações t-SNE mostraram que as ativações ocultas permaneceram alinhadas entre as fases.
  • Caso Dissimilar (Instruct -> MULTIALPACA): Houve uma queda drástica na capacidade em inglês (ex: -8% no IFEval) e as ativações ocultas formaram clusters distintos, indicando interferência de pesos.
• Eficácia das Mitigações:
  • Replay (ER_10 e GR_5): Foram as estratégias mais eficazes. O ER_10 (Replay em Inglês) obteve os melhores resultados combinados, preservando a EA e melhorando a MA.
  • Congelamento (Spectrum): Funcionou bem, especialmente para o MISTRAL-7B, mas mostrou resultados mistos para o LLAMA-3-8B, possivelmente devido à menor capacidade de transferência cruzada deste modelo específico.
• Custo Computacional: O método de Replay (ER_10) aumentou o custo computacional em apenas 10%, enquanto o Congelamento de Camadas reduziu o custo em 50% ao congelar metade das camadas.

5. Significado e Conclusão

Este trabalho é pioneiro ao estudar sistematicamente o efeito da similaridade de conjuntos de dados de instrução na adaptação multilíngue via CFT em LLMs.

• Implicação Prática: Oferece um roteiro para organizações que desejam adaptar modelos de inglês para múltiplos idiomas sem precisar re-treinar do zero ou manter múltiplos modelos.
• Insight Teórico: A descoberta de que a similaridade semântica das instruções (e não apenas o idioma) é crucial para evitar o esquecimento sugere que a arquitetura de dados é tão importante quanto a arquitetura do modelo.
• Futuro: O artigo sugere que não existe uma estratégia "tamanho único". A escolha entre Replay e Congelamento depende do modelo base e da similaridade dos dados. Trabalhos futuros devem focar em métodos de regularização mais eficientes e na análise analítica da similaridade de instruções.

Em resumo, o paper demonstra que uma abordagem de duas fases, combinada com a análise de similaridade de dados e técnicas de mitigação como replay e congelamento, permite criar LLMs verdadeiramente multilíngues que não sacrificam sua competência no idioma original.