LuxMT Technical Report

Resumo Técnico: LUXMT

1. Problema e Contexto
O relatório aborda o desafio da tradução automática (TA) para o Luxemburguês (LB), uma língua de recursos limitados (low-resource). Embora existam modelos de linguagem grandes (LLMs) genéricos, a falta de dados de treinamento de alta qualidade e a contaminação de dados em benchmarks públicos (como o FLORES-200) dificultam a avaliação precisa e o desenvolvimento de sistemas especializados para o LB. O objetivo principal é criar um sistema de TA robusto para traduzir do Luxemburguês para Francês (FR) e Inglês (EN), além de avaliar a capacidade de generalização para o Alemão (DE).

2. Metodologia

• Seleção do Modelo Base:

  • Os autores compararam vários LLMs locais populares (GEMMA 3, AYA EXPANSE, COMMAND R, LLAMA 3.1/4, MISTRAL, PHI 4) em um benchmark personalizado.
  • O GEMMA 3 (27B) foi selecionado como o modelo base de melhor desempenho, superando os concorrentes em todas as métricas avaliadas.

• Construção do Benchmark (Luci):

  • Para evitar contaminação de dados, foi criado um novo benchmark baseado no "Luci", uma revista turística quadrilingue do Luxemburgo (edições 1-63).
  • O texto foi segmentado e alinhado usando LUXEMBEDDER (embeddings de sentenças em Luxemburguês).
  • O conjunto final consiste em 500 pares de segmentos por par de idiomas (LB-FR, LB-EN, LB-DE), filtrados manualmente para garantir alta equivalência.

• Curadoria e Filtragem de Dados de Treinamento:

  • Fontes: O corpus de treinamento combina o LUXALIGN (artigos de notícias RTL alinhados LB-FR/EN) e transcrições do parlamento luxemburguês.
  • Aumento de Dados: As transcrições do parlamento foram traduzidas para EN e FR usando o Google Translate para criar dados paralelos sintéticos.
  • Filtragem: Utilizou-se o LUXEMBEDDER para calcular a similaridade cosseno entre os pares de segmentos. Apenas pares com alta equivalência foram mantidos.
  • Otimização: Testes preliminares mostraram que um limiar de filtragem mais rigoroso (0.99) para os dados de notícias (LUXALIGN) resultou em melhor desempenho, apesar de reduzir o tamanho do corpus em 85%, indicando que muitos artigos originais não eram traduções 1:1 adequadas para TA.

• Ajuste Fino (Fine-tuning):

  • O modelo GEMMA 3 foi ajustado com uma taxa de aprendizado de 2e-5 por uma época.
  • A mistura final de dados incluiu dados filtrados de LUXALIGN e dados aumentados do parlamento (filtrados com um limiar ligeiramente menor de 0.98, pois as traduções sintéticas eram 1:1).
  • O total de dados de treinamento foi de aproximadamente 54,5 mil pares (32k para LB-FR e 22,5k para LB-EN).

• Métricas de Avaliação:

  • Utilizou-se um ensemble de métricas neurais (BLEURT-20, XCOMETXL), baseadas em similaridade (BERTSCORE) e métricas de sobreposição de superfície (BLEU, CHRF2, TER).
  • LUXEMBEDDER foi testado experimentalmente como uma métrica de estimativa de qualidade (QE) sem referência.

3. Contribuições Chave

1. Sistema LUXMT: Um modelo de TA especializado, baseado no GEMMA 3, otimizado para o par de idiomas LB-FR e LB-EN.
2. Novo Benchmark Luci: Um conjunto de dados de avaliação de alta qualidade, alinhado manualmente e livre de contaminação, cobrindo três pares de idiomas (LB-FR, LB-EN, LB-DE).
3. Pipeline de Filtragem com LUXEMBEDDER: Demonstração de como embeddings específicos de domínio podem ser usados para filtrar ruído em corpora paralelos, melhorando significativamente a qualidade do treinamento.
4. Investigação de QE: Exploração do uso de LUXEMBEDDER como métrica de estimativa de qualidade sem referência para o Luxemburguês.

4. Resultados

• Desempenho Superior: O LUXMT apresentou melhorias substanciais em relação ao modelo GEMMA 3 "out-of-the-box" em todos os pares de idiomas avaliados.
  • LB-FR: Aumento de +1.3 pontos no BLEURT-20 e +0.8 no BERTSCORE.
  • LB-EN: Aumento de +0.9 pontos no BLEURT-20 e +0.8 no BERTSCORE.
  • LB-DE (Generalização): Surpreendentemente, o modelo também melhorou na tradução para o Alemão (+1.4 no BLEURT-20), mesmo não tendo sido ajustado com nenhum dado em Alemão. Isso confirma a capacidade de aprendizado cruzado de línguas dos LLMs modernos.
• Correlação da Métrica QE: O LUXEMBEDDER mostrou forte correlação com outras métricas de avaliação, especialmente com CHRF2 e métricas de sobreposição de superfície, o que foi considerado inesperado, dado que embeddings semânticos geralmente correlacionam-se melhor com métricas neurais como BERTSCORE.

5. Significado e Limitações

• Significado: O trabalho demonstra que é possível construir sistemas de TA de alta qualidade para línguas de baixo recurso utilizando modelos base grandes, curadoria rigorosa de dados e técnicas de filtragem semântica. A melhoria no Alemão sem treinamento específico é um achado importante para a eficiência de recursos em linguística computacional.
• Limitações:
  • Domínio Específico: O benchmark é baseado apenas em uma revista turística, o que pode limitar a generalização para outros domínios (ex: jurídico, médico).
  • Tamanho da Amostra: O benchmark é relativamente pequeno (500 pares por idioma), o que pode introduzir variância nas estatísticas.
  • Artefatos de Tradução: Há a possibilidade de o texto fonte em Luxemburguês conter "traduções" (translationese) se a revista original foi traduzida de outro idioma.
  • Métrica QE: Embora promissor, o uso do LUXEMBEDDER como métrica de qualidade sem referência requer mais validação com dados de preferência humana, pois sua correlação com métricas de superfície foi surpreendentemente alta.

Em conclusão, o relatório apresenta um avanço significativo na tradução automática para o Luxemburguês, estabelecendo novas bases de dados e metodologias de avaliação que podem ser replicadas para outras línguas de baixo recurso na Europa.