Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair

Resumo Técnico: Dados Parciais Semi-Sintéticos para Estimativa de Qualidade de Tradução: Um Estudo de Caso para um Par de Idiomas com Recursos Limitados

Autores: Assaf Siani, Anna Kernerman, Ilan Kernerman (Lexicala)

1. O Problema

A Estimativa de Qualidade (QE) é fundamental nos fluxos de trabalho de Tradução Automática (TA), permitindo avaliar saídas geradas por máquinas sem a necessidade de traduções de referência (humanas). No entanto, desenvolver sistemas de QE precisos, adaptáveis e confiáveis para pares de idiomas com recursos limitados (under-resourced) permanece um desafio não resolvido.

O estudo foca especificamente no par Inglês-Hebraico. As principais dificuldades incluem:

• Escassez de Corpora: Limitação de corpora paralelos de alta qualidade.
• Complexidade Morfossintática: O hebraico é uma língua rica em morfologia, com flexões extensas para gênero, número e tempo, que muitas vezes não possuem marcadores explícitos no inglês. Isso leva a erros frequentes de concordância (sujeito-verbo, substantivo-adjetivo) e ordem das palavras.
• Viés de Distribuição: A maioria dos dados naturais tende a ter traduções de alta qualidade, dificultando o treinamento de modelos para identificar erros sutis ou graves.

2. Metodologia

Os autores propuseram a construção de um conjunto de dados paralelo semi-sintético para treinar e avaliar modelos de QE. A metodologia seguiu as seguintes etapas:

• Geração de Dados Base:

  • Sentenças em inglês foram geradas usando o ChatGPT (3.5), baseadas em exemplos de uso extraídos de um dicionário para aprendizes de inglês (nível intermediário). Isso garantiu padrões linguísticos típicos e estruturalmente sólidos.
  • As sentenças foram traduzidas para o hebraico usando três motores de TA: Google Translate, Yandex Translator e Microsoft Translator.
  • Filtragem: Pares de tradução com pontuação BLEU inferior a 0,85 entre os motores foram descartados. A tradução com maior consenso foi selecionada, assumindo que o consenso indica maior qualidade.

• Avaliação Manual e Pontuação:

  • As traduções foram avaliadas manualmente por linguistas em uma escala de 1 a 5 (de "extremamente ruim" a "excelente"), considerando precisão, qualidade linguística, estilo, fluência e equivalência funcional.
  • Segmentos traduzidos profissionalmente foram adicionados e pontuados como 5.

• Aumento de Dados (Data Augmentation) Controlado:

  • Para corrigir a distribuição enviesada (excesso de notas altas) e introduzir erros linguísticos específicos, foram aplicadas técnicas de perturbação:
    1. Erros Gramaticais: Inserção controlada de erros de concordância de gênero e número (críticos no hebraico). Cada erro reduzia a pontuação de qualidade em 1 ponto.
    2. Adversários Negativos: Criação de pares onde a sentença em hebraico não correspondia ao inglês (traduções aleatórias), atribuídos a uma pontuação de 0.
    3. Perturbação de Ordem das Palavras: Troca de palavras adjacentes ou deslocamento de posições para simular distorções sintáticas, com penalidades de 1 a 3 pontos.
  • O dataset final foi expandido para 400.000 segmentos (200k traduzidos corretamente + 100k com erros controlados + 100k pares não correspondentes).

• Treinamento do Modelo:

  • Modelos pré-treinados (BERT e XLM-R) foram utilizados com uma camada de classificação totalmente conectada (4 camadas) para prever a pontuação de qualidade.
  • Foi utilizado o método LoRA (Low-Rank Adaptation) para fine-tuning eficiente.
  • Foram testadas diferentes estratégias de amostragem: distribuição normal, distribuição uniforme e amostragem em larga escala.

3. Contribuições Chave

• Dataset Semi-Sintético Robusto: Criação de um corpus massivo (400k+ segmentos) para o par Inglês-Hebraico, especificamente projetado para QE, cobrindo um espectro amplo de qualidade e tipos de erro.
• Abordagem de Aumento de Dados Estruturada: Demonstração de como a inserção controlada de erros morfológicos (gênero/número) e sintáticos (ordem das palavras) é essencial para treinar modelos em línguas morfologicamente ricas.
• Análise de Distribuição de Dados: Evidência empírica de que a distribuição das pontuações no conjunto de treinamento impacta diretamente a performance do modelo, superando a dependência de dados naturais desbalanceados.

4. Resultados

Os experimentos compararam diferentes configurações de dados e modelos:

• Desempenho Inicial: Modelos treinados no dataset original (sem aumento) falharam, com correlação de Pearson abaixo de 0,1, devido ao tamanho insuficiente e à distribuição enviesada (predominância de notas 3 e 5).
• Impacto do Aumento de Dados: Após a introdução de erros controlados e pares adversários, o modelo BERT Base alcançou uma correlação de 0,85.
• Estratégias de Amostragem:
  • Distribuição Normal: Correlação de 0,65.
  • Distribuição Uniforme (equilíbrio entre notas 0-5): Correlação de 0,88. Isso mostrou que equilibrar as classes de qualidade melhora a capacidade do modelo de distinguir nuances.
  • Amostragem em Larga Escala (1M a 4M segmentos): Atingiu a melhor performance com uma correlação de 0,92.
• Conclusão dos Resultados: A escala dos dados, combinada com uma distribuição balanceada de erros e qualidade, é o fator mais crítico para o sucesso do modelo. O modelo treinado em larga escala demonstrou alta capacidade de discriminação entre níveis finos de qualidade de tradução.

5. Significância e Trabalhos Futuros

• Avanço para Idiomas com Recursos Limitados: O estudo prova que é possível construir sistemas de QE de alta precisão para pares de idiomas complexos e com poucos dados naturais, utilizando dados semi-sintéticos e aumento controlado.
• Relevância para Línguas Ricas em Morfologia: A metodologia é particularmente valiosa para línguas como o hebraico, árabe ou russo, onde a concordância gramatical é um ponto crítico de falha na TA.
• Direções Futuras: Os autores planejam expandir o dataset para incluir a tradução de expressões idiomáticas, que representam um desafio contínuo para os motores de TA comerciais, e refinar a detecção de erros semânticos mais sutis.

Em suma, o artigo estabelece que a construção cuidadosa de datasets sintéticos, focada na diversidade de erros e no equilíbrio da distribuição de qualidade, é uma estratégia superior à simples coleta de dados naturais para o treinamento de modelos de Estimativa de Qualidade.