Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation

Resumo Técnico: Exploração de Dados Paralelos Específicos de Domínio em Modelos de Linguagem Multilíngue para Tradução de Idiomas de Baixos Recursos

1. O Problema

Os sistemas de Tradução Automática Neural (NMT) baseados em Modelos de Linguagem Multilíngue Sequência-a-Sequência (msLMs), como o mBART, frequentemente falham em atingir o desempenho esperado quando aplicados a idiomas de baixos recursos (LRLs) com dados paralelos limitados.
O desafio central reside na construção de sistemas NMT específicos de domínio para esses idiomas. Os pesquisadores enfrentam dois cenários principais:

1. Domínio-alvo sem dados: Não há dados paralelos disponíveis para o domínio de teste.
2. Domínio-alvo com poucos dados: Existe uma quantidade muito pequena de dados para treinamento.

Nesses casos, a solução comum é utilizar dados paralelos de domínios auxiliares (diferentes do domínio de teste). No entanto, não está claro qual estratégia é mais eficaz para aproveitar esses dados auxiliares:

• Pré-treinamento Contínuo: Refinar o msLM com objetivos de auto-supervisão (como denoising de bi-texto) antes do ajuste fino.
• Ajuste Fino (Fine-Tuning - FT): Adaptar o modelo diretamente para a tarefa de tradução.
• Transferência de Aprendizado de Tarefa Intermediária (ITTL): Ajustar o modelo em uma tarefa intermediária antes do ajuste final.

Além disso, o impacto da divergência de domínio (diferença estatística entre os domínios dos dados) na eficácia dessas técnicas não foi suficientemente investigado em estudos comparativos anteriores.

2. Metodologia

Os autores conduziram um estudo experimental extenso utilizando o modelo mBART (e uma análise de ablação com NLLB) para pares de idiomas envolvendo inglês e LRLs (Sinhala, Tamil, Kannada, Gujarati e Hindi).

Estratégias de Avaliação:
O estudo comparou quatro abordagens principais de ajuste fino (ilustradas na Figura 1 do artigo):

1. FT de Domínio Único (Vanilla FT): Ajuste fino apenas com dados do domínio de teste (baseline).
2. FT de Múltiplos Domínios: Ajuste fino simultâneo com dados de vários domínios auxiliares e/ou alvo.
3. ITTL de Domínio Único: Ajuste fino em um domínio auxiliar (tarefa intermediária) seguido de ajuste no domínio alvo.
4. ITTL de Múltiplos Domínios: Ajuste fino inicial com dados de múltiplos domínios, seguido de ajuste no domínio alvo.

Variáveis Experimentais:

• Tamanhos de Conjunto de Dados: Variação entre conjuntos pequenos (1k, 10k) e grandes (25k, 100k) para as etapas intermediária e final.
• Domínios de Dados: Utilização de corpora de diferentes domínios:
  • Aberto (CC): Web minado (ruidoso).
  • Governo (Gvt) e Notícias (PMI): Domínios administrativos e jornalísticos.
  • Bíblia: Domínio religioso.
  • FLORES: Conjunto de teste de domínio aberto para avaliação.
• Métricas de Avaliação:
  • spBLEU: Métrica padrão para avaliação de tradução.
  • Divergência de Jensen-Shannon (JSD): Utilizada para quantificar a divergência estatística entre os conjuntos de dados de treinamento e teste.

Pré-treinamento:
Testou-se o pré-treinamento contínuo com objetivos de "bitext denoising" (removendo spans de texto e prevendo a tradução), conforme proposto por Reid e Artetxe.

3. Contribuições e Descobertas Principais

O estudo fornece diretrizes claras baseadas em dados sobre como utilizar dados auxiliares, desafiando algumas suposições anteriores (como as de Adelani et al., que sugeriam que ITTL sempre supera FT em cenários de poucos dados).

Principais Resultados:

1. Ineficácia do Pré-treinamento com Dados Pequenos:

   • Quando o conjunto de dados paralelo é pequeno (< 25k), o pré-treinamento contínuo com bitext denoising não gera ganhos significativos em relação ao ajuste fino padrão (Vanilla FT), tanto para cenários in-domain quanto out-domain. Em alguns casos (como para Kannada), o desempenho até piorou.

2. Impacto do Tamanho dos Dados no Cenário In-Domain:

   • Dados Pequenos (1k - 1k): O FT de Múltiplos Domínios é a melhor opção, oferecendo um bom equilíbrio entre desempenho e custo computacional.
   • Dados Intermediários (25k intermediário - 1k final): O ITTL de Múltiplos Domínios se torna superior, confirmando a eficácia da transferência de tarefa intermediária quando há volume suficiente na etapa inicial.
   • Dados Grandes (≥ 25k no domínio alvo): Quando o domínio alvo possui cerca de 25k frases, o FT de Domínio Único (Vanilla FT) é geralmente suficiente. A adição de dados auxiliares não traz melhorias significativas e pode até ser prejudicial devido à divergência de domínio.

3. Impacto da Divergência de Domínio no Cenário Out-Domain:

   • A divergência de domínio é um fator crítico. O desempenho é altamente dependente de quão próximo o domínio auxiliar está do domínio de teste (medido pelo JSD).
   • Estratégias que utilizam domínios auxiliares mais próximos do domínio de teste (ex: Notícias/Governo para FLORES) superam aquelas que usam domínios distantes (ex: Bíblia).
   • O FT de Múltiplos Domínios mostrou-se mais robusto e menos suscetível à divergência de domínio do que o ITTL de Múltiplos Domínios, além de ser computacionalmente mais eficiente.

4. Mistura de Mais de Dois Domínios:

   • Adicionar um terceiro domínio (misturando CC, Bíblia e PMI/Gvt) não melhora consistentemente o desempenho. Frequentemente, a divergência entre os domínios mistos anula os benefícios, sugerindo que a qualidade e a proximidade do domínio são mais importantes do que a quantidade de domínios misturados.

4. Recomendações Práticas

Com base nas evidências, os autores recomendam:

• Para dados pequenos (< 25k): Evite pré-treinamento contínuo. Use FT de Múltiplos Domínios se houver poucos dados no alvo, ou ITTL de Múltiplos Domínios se houver um grande volume de dados auxiliares para a etapa intermediária.
• Para dados grandes (≥ 25k no alvo): Use FT de Domínio Único (Vanilla FT).
• Para cenários Out-Domain: Calcule a divergência (JSD) entre os domínios disponíveis e o alvo. Selecione o domínio auxiliar mais próximo. Prefira FT de Múltiplos Domínios devido à sua menor variância e menor sensibilidade à divergência.
• Evite Misturas Cegas: Não misture dados de mais de dois domínios sem analisar a divergência, pois isso pode degradar o modelo.

5. Significado e Impacto

Este trabalho é significativo por ser um dos primeiros estudos comparativos abrangentes que avalia simultaneamente pré-treinamento contínuo, FT e ITTL para LRLs em modelos multilíngues modernos.

• Eficiência Computacional: Oferece um roteiro para pesquisadores com recursos computacionais limitados, indicando quando é necessário investir em técnicas complexas (como ITTL) e quando métodos simples (Vanilla FT) são suficientes.
• Gestão de Dados: Destaca que a "quantidade" de dados não é o único fator; a "qualidade" e a "proximidade de domínio" (divergência) são determinantes para o sucesso da adaptação.
• Direcionamento Futuro: Sugere que o foco para LRLs deve estar na seleção inteligente de dados auxiliares e na adaptação de estratégias de ajuste fino, em vez de depender exclusivamente de pré-treinamento massivo com dados ruidosos.

Em resumo, o artigo demonstra que não existe uma "bala de prata" universal; a estratégia ótima depende estritamente do tamanho dos dados disponíveis e da similaridade estatística entre os domínios de treinamento e teste.