Resumo Técnico: Adaptação Monolíngue Modular usando Modelos de Linguagem Pré-treinados

Declaração do Problema

A adaptação de Modelos de Linguagem Multilíngues Pré-treinados (PMLMs) para línguas de baixos recursos envolve tipicamente o ajuste fino (finetuning) completo do modelo no idioma alvo. No entanto, esta abordagem enfrenta desafios significativos em cenários de baixos recursos:

1. Overfitting (Sobreajuste): Treinar todo o espaço de parâmetros, particularmente as grandes matrizes de embedding (que constituem ~25% dos parâmetros), em dados limitados frequentemente leva ao overfitting.
2. Maldição da Multilinguidade: Em modelos multilíngues de capacidade fixa, as línguas de altos recursos dominam o espaço de parâmetros, potencialmente limitando o desempenho para línguas sub-representadas.
3. Ineficiência: O ajuste fino completo é computacionalmente caro e requer VRAM e tempo de treinamento substanciais.
4. Descompasso de Vocabulário: Reutilizar um tokenizador multilíngue para uma língua não vista pode resultar em alta fertilidade de tokens (dividir palavras em muitos sub-tokens), aumentando os custos computacionais e reduzindo a eficiência.

Embora técnicas como o Ajuste Fino Adaptativo de Linguagem (LAFT) e a extensão de vocabulário existam, os autores hipotetizam que o ajuste fino completo do modelo é frequentemente desnecessário e que uma abordagem mais modular poderia gerar melhores resultados com menos recursos.

Metodologia

Os autores propõem um framework de Adaptação Monolíngue Modular que desacopla o tokenizador e os embeddings das camadas do transformer. Os componentes principais são:

1. Tokenização Customizada: Um novo tokenizador é treinado especificamente no corpus da língua alvo usando o algoritmo WordPiece, mantendo um tamanho de vocabulário de 30k. Isso substitui o tokenizador multilíngue original.
2. Substituição e Congelamento de Embeddings:
   • Os embeddings de entrada e saída do PMLM são substituídos por uma nova matriz correspondente ao vocabulário customizado.
   • Congelamento: Estas novas camadas de embedding são congeladas durante o treinamento.
   • Estratégias de Inicialização: Os autores experimentam três métodos para inicializar estes novos embeddings:
     • Baseado no modelo (Model-based): Re-tokenizando o vocabulário original e calculando a média dos pesos dos tokens originais que compõem os novos tokens.
     • FastText: Treinando embeddings estáticos no corpus alvo usando FastText.
     • Aleatório (Random): Inicialização aleatória.
3. Treinamento Seletivo de Parâmetros: Apenas os parâmetros não relacionados a embeddings (as camadas do Transformer e o LM Head) são atualizados usando o objetivo padrão de Modelagem de Linguagem Mascarada (MLM).
4. Configuração Experimental:
   • Línguas: Gaélico Escocês (gd), Irlandês (ga) e Quechua (qu). O Quechua é observado como uma língua de muito baixos recursos, com apenas ~8,5k instâncias de treinamento.
   • Modelos: BERT, Multilingual BERT (mBERT) e Multilingual ModernBERT (mmBERT).
   • Tarefas: Preenchimento de máscara (MLM), Reconhecimento de Entidades Nomeadas (NER) e Etiquetagem de Classes Gramaticais (POS).
   • Baselines: Comparação contra ajuste fino completo, treinamento apenas de embeddings e Low-Rank Adaptation (LoRA).

Contribuições Principais

• Framework Modular: Uma nova estratégia de adaptação que substitui o tokenizador, congela os embeddings e ajusta apenas os parâmetros restantes.
• Análise Abrangente: Uma avaliação sistemática do impacto dos tokenizadores, estratégias de inicialização de embedding e arquiteturas de modelo (BERT vs. mBERT vs. mmBERT) na adaptação monolíngue.
• Ganhos de Eficiência: Demonstração de que esta abordagem reduz significativamente o número de parâmetros treináveis (ex: redução de ~50% para mBERT) e o tempo de treinamento, mantendo ou melhorando o desempenho.

Resultados

Os experimentos geraram as seguintes descobertas:

1. Treinamento Não-Embedding vs. Ajuste Fino Completo:

   • Na tarefa de MLM (preenchimento de máscara), a estratégia de treinamento proposta de não-embedding superou consistentemente o ajuste fino completo em todas as línguas e modelos. Os autores atribuem isso ao efeito de regularização do congelamento dos embeddings, que evita que o modelo sofra overfitting ao pequeno conjunto de treinamento.
   • Em tarefas de downstream (NER e POS), o treinamento de não-embedding teve desempenho comparável ao ajuste fino completo e significativamente melhor do que o treinamento apenas de embeddings. Isso sugere que, embora os embeddings sejam importantes, as camadas do Transformer são suficientes para aprender representações contextuais específicas da tarefa quando o espaço de embedding é fixo.

2. Impacto dos Tokenizadores:

   • O uso de um tokenizador customizado superou consistentemente a reutilização do tokenizador multilíngue. Esta melhoria é atribuída à redução da fertilidade de tokens e a uma melhor segmentação de sub-palavras para a língua alvo.
   • O vocabulário customizado também reduziu o tamanho total do modelo e os requisitos de memória de treinamento.

3. Inicialização de Embedding:

   • No cenário de treinamento de não-embedding, a escolha da inicialização de embedding (Model-based, FastText ou Random) teve um impacto menor no desempenho. Embeddings inicializados aleatoriamente performaram quase tão bem quanto os pré-treinados, sugerindo que as camadas do Transformer podem realinhar efetivamente o novo espaço lexical.
   • Por outro lado, sob ajuste fino completo, os embeddings padrão às vezes prejudicaram o desempenho, provavelmente porque o modelo teve que "desaprender" representações irrelevantes dos dados de pré-treinamento.

4. Arquitetura de Modelo:

   • Modelos multilíngues (mBERT, mmBERT) geralmente superaram o BERT monolíngue e o transformer inicializado aleatoriamente, demonstrando uma transferência de conhecimento translinguística eficaz, mesmo quando a língua alvo estava minimamente representada nos dados de pré-treinamento.
   • O mmBERT mostrou desempenho superior em MLM devido à sua maior capacidade, mas ocasionalmente teve desempenho inferior em tarefas de downstream comparado ao mBERT, possivelmente devido ao "overtraining catastrófico".

5. Desempenho em Baixos Recursos:

   • Para o Quechua (qu), a estratégia de não-embedding com um tokenizador customizado superou significativamente o ajuste fino completo, validando a abordagem para cenários de extremamente baixos recursos.

6. Comparação com LoRA:

   • O método proposto superou consistentemente o LoRA (Low-Rank Adaptation) em todas as tarefas, sugerindo que a restrição de baixo rank pode limitar a capacidade do modelo de aprender tarefas complexas nestes contextos específicos.

Significância e Alegações

O artigo afirma que o ajuste fino completo do modelo nem sempre é a estratégia ideal para adaptar PMLMs a línguas de baixos recursos. Em vez disso, uma abordagem modular que combina tokenização customizada com treinamento seletivo de parâmetros (congelamento de embeddings) oferece uma alternativa simples, eficiente em termos de parâmetros e eficaz.

As principais conclusões enfatizadas pelos autores incluem:

• Regularização: O congelamento de embeddings atua como um poderoso regularizador, mitigando o overfitting em ambientes de escassez de dados.
• Tokenização é Crítica: A escolha de um tokenizador customizado proporciona um aumento de desempenho mais significativo do que o método específico usado para inicializar os embeddings.
• Eficiência: A abordagem reduz os parâmetros treináveis em cerca de metade, levando a uma convergência mais rápida, menor uso de VRAM e reduzida latência de inferência sem sacrificar o desempenho em tarefas de downstream.
• Transferibilidade: Modelos pré-treinados multilíngues permanecem valiosos mesmo para línguas não bem representadas em seus dados de pré-treinamento, desde que uma estratégia de adaptação apropriada seja utilizada.

Os autores concluem que este método fornece uma linha de base robusta para a modelagem de línguas de baixos recursos, evitando os custos computacionais e os riscos de overfitting associados ao ajuste fino total do modelo.