Improving Training Efficiency and Reducing Maintenance Costs via Language Specific Model Merging

Resumo Técnico: Melhorando a Eficiência de Treinamento e Reduzindo Custos de Manutenção via Fusão de Modelos Específicos de Linguagem

Declaração do Problema
A abordagem padrão para o desenvolvimento de Grandes Modelos de Linguagem (LLMs) multilingues específicos para tarefas envolve o ajuste fino (fine-tuning) de um único modelo base em um conjunto de dados combinado contendo exemplos de todas as línguas alvo. Embora eficaz para o desenvolvimento inicial, essa estratégia de "retreinar-tudo" cria ineficiências computacionais significativas e gargalos de manutenção em ambientes corporativos. Especificamente, adicionar suporte para uma nova língua ou atualizar uma existente com novos dados exige o retreinamento de todo o modelo no conjunto de dados completo e combinado. Esse processo é computacionalmente caro, não escalável e custoso. Embora pesquisas recentes tenham explorado a fusão de modelos (model merging) para melhorar a qualidade e a generalização, seu potencial como uma estratégia de eficiência computacional e redução de custos de manutenção permanece amplamente pouco estudado.

Metodologia
Os autores propõem e avaliam um paradigma de "treinar uma vez, fundir conforme a necessidade" como uma alternativa à abordagem tradicional de treinamento combinado. Nesta estratégia, modelos individuais são ajustados finamente de forma independente para cada língua e tarefa, e então fundidos em um único conjunto de pesos.

• Técnicas de Fusão: O estudo utiliza três técnicas de fusão estabelecidas:

  • TIES (Trim, Elect Sign, and Merge): Retém os top-k pesos, seleciona os sinais e realiza a fusão calculando a média.
  • DARE (Drop And REscale): Descarta pesos aleatoriamente e reescala os restantes antes da fusão.
  • KnOTS (Knowledge Orientation Through SVD): Concatena pesos ajustados finamente camada por camada e aplica a Decomposição de Valor Singular (SVD) para criar matrizes específicas de tarefas antes da fusão.
  • Os experimentos combinam essas técnicas (ex: TIES-KnOTS, DARE-TIES-KnOTS) com hiperparâmetros variados para densidade de peso e ponderação de vetores.

• Configuração Experimental:

  • Modelo Base: Llama-3.1-8b-Instruct (e Llama-3.2-3b-Instruct para ablação de tamanho).
  • Tarefas: Sumarização de Texto (WikiLingua), Raciocínio de Senso Comum (mCSQA) e Análise de Sentimento (MultilingualSentiment).
  • Línguas: Inglês (EN), Alemão (DE), Francês (FR), Japonês (JA) e Chinês (ZH).
  • Linhas de Base (Baselines): A abordagem de fusão proposta é comparada contra duas linhas de base: um modelo ajustado finamente no conjunto de dados combinado (COMB) e modelos treinados/avaliados independentemente por língua (INDV).
  • Simulação de Manutenção: O estudo simula a manutenção adicionando novos dados a uma única língua (Inglês) e retreinando apenas esse adaptador específico, seguido pela refusão, em vez de retreinar o modelo completo.

Principais Contribuições

1. Primeira Análise de Eficiência Focada: Este trabalho fornece a primeira análise dedicada da fusão de modelos específicos de linguagem sob a perspectiva de eficiência computacional e custos de manutenção, indo além das avaliações puramente baseadas em qualidade.
2. Economia Quantificada: Os autores quantificam os benefícios econômicos e temporais da estratégia de fusão, demonstrando reduções significativas no tempo e custo de treinamento em comparação com a abordagem de "retreinar-tudo".
3. Validação Industrial: A abordagem é validada não apenas em conjuntos de dados acadêmicos públicos, mas também em um conjunto de dados proprietário da indústria, confirmando sua aplicabilidade para casos de uso empresariais do mundo real.
4. Demonstração de Fluxo de Trabalho de Manutenção: O artigo demonstra um fluxo de trabalho prático onde atualizar um único adaptador de língua e refundir é suficiente para manter ou melhorar o desempenho geral do modelo, evitando o retreinamento total.

Resultos

• Paridade de Desempenho: Nas três tarefas públicas, os modelos fundidos atingiram paridade de desempenho com a linha de base combinada (COMB).
  • Sumarização e Raciocínio: Os modelos fundidos (especificamente aqueles que utilizam TIES-KnOTS e DARE-TIES-KnOTS) tiveram desempenho comparável ao modelo combinado, com leves melhorias observadas em Inglês, Japonês e Chinês para Sumarização (BertScore) e Raciocínio.
  • Análise de Sentimento: O modelo combinado geralmente superou os modelos fundidos nesta tarefa de classificação. Os autores hipotetizam que o espaço limitado de rótulos em tarefas de classificação pode não interagir tão bem com as técnicas de fusão quanto as tarefas generativas.
  • Tamanho do Modelo: Experimentos com o modelo menor Llama-3b mostraram tendências semelhantes ao modelo 8b, indicando que a abordagem é agnóstica ao tamanho, embora o desempenho absoluto escale com a capacidade do modelo.
• Ganhos de Eficiência:
  • Treinamento Inicial: A abordagem de fusão reduziu o tempo de treinamento inicial em aproximadamente 35% (de 3,4h para 2,2h) devido à capacidade de treinar modelos de linguagem em paralelo.
  • Manutenção/Atualizações: Ao atualizar uma única língua (ex: adicionar dados em Inglês), a abordagem de fusão reduziu o tempo de treinamento em 73,7% (de 3,8h para 1,0h) e os custos de treinamento em mais de 60% comparado ao retreinamento do modelo multilíngue completo.
• Estudo de Caso (Dados Proprietários): Em uma tarefa de sumarização proprietária, a abordagem de fusão reduziu o tempo de configuração inicial em 50% (45h para 22,5h) e os custos de atualização em 62,4%. O modelo fundido alcançou desempenho comparável ou superior às linhas de base para a maioria das línguas, com exceção do Japonês, que exigiu uma atualização de adaptador específica para melhorar as taxas de alucinação.

Significância e Alegações
O artigo afirma que a fusão de modelos específicos de língua é uma solução prática e eficiente para o gerenciamento do ciclo de vida de modelos multilingues na indústria. Ele sustenta que a estratégia "treinar uma vez, fundir conforme a necessidade" oferece uma alternativa viável ao método de "retreinar-tudo", que é computacionalmente caro. Os autores enfatizam que esta abordagem permite que as empresas:

• Alcancem desempenho em paridade com modelos totalmente retreinados.
• Reduzam significativamente os custos computacionais e o tempo de treinamento.
• Escalem as operações de manutenção atualizando adaptadores de línguas individuais em vez de todo o modelo.
• Obtenham controle granular sobre hiperparâmetros para línguas específicas com base em necessidades de negócio.

O trabalho conclui que, embora a paridade de desempenho não seja garantida para todo tipo de tarefa (notadamente análise de sentimento), os ganhos substanciais em eficiência e redução de custos tornam a fusão de modelos uma estratégia atraente para o deployment de modelos multilingues industriais. Trabalhos futuros planejam explorar diferentes famílias de modelos, otimizar a seleção de pesos de adaptadores e investigar cenários de línguas de baixo recurso.