LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation

1. Problema e Motivação

A adaptação de modelos de linguagem pré-treinados (PLMs) multilíngues, como o XLM-R, para línguas de baixo recurso e morfologicamente ricas (ex: Amárico e Tigrínia) enfrenta desafios significativos.

• Fragmentação Lexical: Os métodos de tokenização padrão, como Byte Pair Encoding (BPE), operam baseados apenas na frequência de co-ocorrência de caracteres, ignorando a estrutura linguística. Isso resulta na divisão arbitrária de palavras em subunidades sem sentido semântico (ex: dividir a palavra amárica "እንቁላል" [ovo] em fragmentos como "እ", "ን", "ቁ", etc.).
• Perda de Informação Morfológica: Essa fragmentação leva a representações vetoriais ruidosas e desalinhadas, onde a integridade morfológica da palavra é perdida.
• Desafio de Inicialização: Ao expandir o vocabulário para incluir novos tokens nessas línguas, as estratégias convencionais (inicialização aleatória ou média de subpalavras arbitrárias) falham em capturar a estrutura morfológica subjacente, dificultando o aprendizado de representações robustas.

2. Metodologia: LGSE

Os autores propõem o framework LGSE (Lexically Grounded Subword Embedding Initialization), que alinha a inicialização de embeddings com a estrutura morfológica da língua. O processo envolve:

• Tokenização Consciente de Morfologia: Utiliza um tokenizador supervisionado (baseado no trabalho anterior MoVoC) que segmenta palavras em morfemas reais, preservando a integridade lexical e gramatical, em vez de subpalavras arbitrárias.
• Inicialização de Embeddings Baseada em Morfemas:
  • Para um novo token $t$ segmentado em morfemas $M(t) = [m_1, ..., m_k]$, cada morfema é representado por n-grams de caracteres.
  • Os embeddings dos morfemas são calculados como a média dos embeddings de n-grams derivados do FastText.
  • O embedding inicial do token é obtido pela média dos embeddings dos seus morfemas constituintes.
  • Uma projeção linear aprendida alinha o espaço vetorial do FastText ao espaço do modelo pré-treinado.
• Tratamento de Tokens Não Segmentáveis: Para tokens que não podem ser decompostos em morfemas significativos, utiliza-se representações de n-grams de caracteres para capturar informações estruturais.
• Regularização durante o Pré-treinamento Adaptativo (LAPT): Durante o Language-Adaptive Pretraining, aplica-se uma função de perda de regularização que penaliza grandes desvios dos novos embeddings em relação aos seus valores inicializados. Isso garante que o modelo se adapte à língua alvo sem perder o alinhamento com o espaço vetorial original pré-treinado.
• Estratégia de Avaliação Isolada: Para isolar o efeito da inicialização, o vocabulário original e o tokenizador do modelo base (XLM-R) são mantidos, atualizando-se apenas os embeddings dos novos tokens introduzidos.

3. Contribuições Principais

1. Análise de Limitações: Demonstra que os embeddings baseados em subpalavras em modelos multilíngues atuais falham em capturar a estrutura morfológica de línguas ricas, levando a representações semânticamente fragmentadas.
2. Framework LGSE: Propõe uma nova estratégia de inicialização que respeita os limites linguísticos, criando representações semanticamente coerentes para línguas como Amárico e Tigrínia.
3. Novo Dataset de Benchmark: Introduz o primeiro dataset anotado por humanos para avaliação de tarefas de NLP downstream e para identificar conteúdo educacional de alta qualidade em Amárico e Tigrínia (2.500 amostras).
4. Avaliação Rigorosa: Avaliação abrangente em três tarefas (Classificação de Texto, Reconhecimento de Entidades Nomeadas - NER, e Resposta a Perguntas - QA) em duas línguas de baixo recurso, superando baselines fortes.

4. Resultados Experimentais

Os experimentos foram conduzidos no modelo XLM-R base, comparando o LGSE contra:

• XLM-R "Off-the-Shelf" (zero-shot).
• XLM-R + LAPT (apenas pré-treinamento adaptativo sem mudança de vocabulário).
• XLM-R + Inicialização Aleatória + LAPT.
• XLM-R + FOCUS (inicialização baseada em subpalavras ponderadas) + LAPT.
• XLM-R + LGSE + LAPT (Proposto).

Desempenho (Média entre Amárico e Tigrínia):

• Resposta a Perguntas (QA - F1): O LGSE alcançou 78.25, superando o FOCUS (76.65) e o XLM-R base (66.35).
• Classificação de Texto (TC - Acurácia): O LGSE alcançou 76.50, superando o FOCUS (74.45) e o XLM-R base (66.65).
• NER (F1): O LGSE alcançou 79.20, superando o FOCUS (77.80) e o XLM-R base (68.30).

Métricas de Eficiência:

• O método de tokenização consciente de morfologia reduziu significativamente a "Fertilidade de Tokens" (número médio de tokens por palavra) e a latência de inferência em comparação ao BPE padrão. Por exemplo, uma frase em Tigrínia foi tokenizada em 6 tokens com LGSE contra 21 tokens com BPE.

5. Significado e Conclusão

O trabalho demonstra que a inicialização de embeddings fundamentada linguisticamente é crucial para o sucesso de modelos de linguagem em línguas morfologicamente complexas e de baixo recurso.

• Impacto na Equidade: Ao melhorar a representação de línguas não latinas (como as que usam o script Ge'ez), o LGSE reduz a disparidade de desempenho entre línguas de alto e baixo recurso.
• Eficiência Computacional: A redução no número de tokens necessários para representar palavras complexas resulta em menor custo computacional e de API.
• Generalização: A abordagem prova que respeitar a estrutura morfológica durante a tokenização e a inicialização de vetores permite uma adaptação mais estável e eficaz, superando as limitações de métodos puramente estatísticos como o BPE.

Em suma, o LGSE oferece uma solução técnica robusta para integrar línguas sub-representadas em modelos de IA modernos, garantindo que a riqueza morfológica seja preservada e explorada, e não perdida na fragmentação de subpalavras.