Resumo Técnico: Tradução Automática Neural para Copta-Francês

Declaração do Problema

A Tradução Automática Neural (TAN) avançou significativamente para línguas modernas, no entanto, línguas históricas e antigas permanecem sub-representadas devido à escassez de dados. O copta, o estágio final da família linguística egípcia, é crítico para a egiptologia e estudos do cristianismo primitivo, mas carece de ferramentas robustas de TAN, particularmente para tradução para o francês. Recursos existentes limitam-se principalmente à tradução para inglês ou árabe. Este artigo aborda a lacuna investigando sistematicamente estratégias para traduzir o copta para o francês, focando em quatro desafios centrais inerentes à tradução de línguas antigas com poucos recursos:

1. Estratégia de Tradução: Se traduzir diretamente ou usar uma língua-ponte (por exemplo, inglês).
2. Seleção de Modelo: Como escolher o modelo pré-treinado ótimo para ajuste fino.
3. Diversidade de Dados: O impacto do treinamento em múltiplas versões estilísticas do mesmo texto.
4. Robustez: Como lidar com ruído e corrupção comuns em manuscritos antigos (por exemplo, caracteres ausentes, erros de OCR, variações ortográficas).

Metodologia

Os autores construíram um pipeline abrangente usando corpora bíblicos alinhados para avaliar quatro estágios experimentais distintos:

1. Construção e Pré-processamento do Conjunto de Dados

• Fonte: Textos coptas foram extraídos do projeto Coptic SCRIPTORIUM (Novo e Antigo Testamento Sahídico).
• Alvo: Três traduções bíblicas francesas de domínio público (Louis Segond, Crampon e Darby) foram selecionadas por sua diversidade estilística.
• Alinhamento: Versículos foram alinhados automaticamente usando IDs de versículo.
• Romanização: Como vocabulários padrão de Transformer não suportam o Unicode original do copta, a ferramenta uroman foi usada para romanizar o texto copta.
• Divisão: Uma divisão ao nível do livro foi empregada para evitar contaminação de dados. Livros (1 Coríntios, Marcos, Gálatas, Hebreus) foram reservados para teste, enquanto os 59 livros restantes formaram o conjunto de treinamento.

2. Estágios Experimentais

O estudo avaliou quatro perguntas de pesquisa específicas através de experimentos controlados:

• Pertinência do Ajuste Fino: Os autores compararam quatro abordagens:
  1. Ajuste fino de um modelo específico para copta (Enis) para o francês.
  2. Uso de um modelo multilíngue (Helsinki) pronto para uso.
  3. Prompting zero-shot do modelo copta para produzir saída em francês.
  4. Uma estratégia de ponte (Copta $\to$ Inglês $\to$ Francês).
• Escolha do Modelo Pré-treinado: Quatro modelos pré-treinados foram ajustados finamente no corpus copta-francês:
  • Enis: Um modelo de copta para inglês.
  • Helsinki: Um modelo multilíngue treinado em Bíblia (copta/francês).
  • T5: Um modelo de propósito geral (exposição ao francês, sem copta).
  • Hiero: Um modelo de hieróglifos para inglês/alemão (família linguística relacionada).
• Escolha do Conjunto de Dados de Ajuste Fino: Os modelos de melhor desempenho (Helsinki e Hiero) foram treinados em traduções francesas individuais versus um conjunto de dados combinado de todas as três traduções para avaliar o benefício da variação estilística.
• Robustez a Ruído: Para simular degradação de manuscrito, os autores injetaram ruído nos dados de treinamento:
  • Lacunas: Exclusão de 2% dos caracteres.
  • Erros Ortográficos: Troca de 2% de caracteres adjacentes.
  • Erros de OCR: Substituição de 10% por caracteres visualmente similares.
    Modelos foram treinados com níveis variados de ruído (0%, 10%, 30%, 50%, 100%) e testados em dados limpos e ruidosos.

3. Métricas de Avaliação

Dado que um único versículo copta pode ter múltiplas traduções francesas válidas, métricas de sobreposição lexical (como BLEU) foram consideradas insuficientes. O estudo utilizou similaridade semântica e métricas aprendidas:

• BERTScore: Similaridade contextual de tokens.
• BLEURT: Métrica aprendida que prevê julgamentos de qualidade humana.
• COMET: Métrica multilíngue baseada em BERT para qualidade de tradução.
• METEOR: Correspondência de unigramas com sinonímia e stemming.

Principais Resultados

1. Estratégia de Tradução

O ajuste fino é essencial. O modelo ajustado finamente de copta para francês superou significativamente todas as alternativas.

• Ajuste fino alcançou as pontuações mais altas em todas as métricas (por exemplo, BERTScore 0,820).
• Estratégias de ponte (Copta $\to$ Inglês $\to$ Francês) e prompting zero-shot performaram mal, frequentemente pior do que os modelos de base, indicando acúmulo de erros e expectativas de decodificação incompatíveis.
• Modelos multilíngues usados sem ajuste fino performaram subotimalmente para pares de baixa recursos.

2. Seleção de Modelo

Pré-treinamento em línguas relacionadas ou no par de destino é crucial.

• O modelo Helsinki (pré-treinado em textos bíblicos coptas e franceses) alcançou o melhor desempenho geral (BERTScore 0,850, COMET 0,731). Seu sucesso é atribuído à presença de ambas as línguas de origem e destino em seu corpus de pré-treinamento e ao alinhamento de domínio (textos bíblicos).
• O modelo Hiero (treinado em Hieróglifos, uma língua relacionada) performou como o segundo melhor modelo, demonstrando que o conhecimento transfere-se efetivamente entre línguas antigas relacionadas.
• Modelos sem exposição ao copta ou a línguas relacionadas (T5) performaram o pior.

3. Diversidade do Conjunto de Dados

Diversidade estilística melhora a generalização.

• Modelos treinados em uma única tradução francesa performaram melhor quando testados naquela mesma tradução (alta correspondência lexical).
• No entanto, modelos treinados em todas as três traduções consistentemente alcançaram as maiores pontuações BLEURT e COMET em todos os conjuntos de teste. Isso indica que a exposição a múltiplas traduções válidas permite que o modelo aprenda representações semânticas melhores e gere traduções de qualidade superior no geral, mesmo que a redação difira ligeiramente de uma referência específica.

4. Robustez a Ruído

Injeção controlada de ruído aumenta a resiliência.

• Modelos treinados em dados limpos (0% de ruído) performaram melhor em dados de teste limpos, mas sofreram quedas severas de desempenho (até 53% no BLEURT para Hiero) quando testados em dados ruidosos.
• Modelos treinados com 50% de ruído alcançaram o melhor compromisso. Eles mantiveram alto desempenho em dados limpos enquanto mostraram degradação significativamente menor em entradas ruidosas (caindo menos de 15% em média).
• Isso sugere que, para tradução de línguas antigas, o treinamento com corrupção simulada é uma estratégia necessária para lidar com a degradação real de manuscritos históricos.

Significado e Contribuições

O artigo afirma apresentar o primeiro estudo sistemático de estratégias para traduzir copta para francês. Suas principais contribuições são:

1. Validação Empírica: Demonstra que o ajuste fino específico para a tarefa é superior a abordagens baseadas em ponte ou zero-shot para tradução de línguas antigas.
2. Aprendizado por Transferência: Confirma que modelos pré-treinados em línguas antigas relacionadas (Hieróglifos) ou no par linguístico específico (Copta-Francês) produzem os melhores resultados.
3. Estratégia de Dados: Estabelece que o treinamento em corpora estilisticamente diversos (múltiplas traduções bíblicas) melhora a robustez semântica e a qualidade geral da tradução.
4. Robustez a Ruído: Fornece uma diretriz prática para TAN de línguas antigas com poucos recursos: injetar aproximadamente 50% de ruído durante o treinamento cria modelos que são resilientes à corrupção inerente a manuscritos históricos sem sacrificar excessivamente o desempenho em texto limpo.

Os autores concluem que essas descobertas oferecem orientações práticas para o desenvolvimento de ferramentas de TAN para outros pares de línguas antigas ou com poucos recursos, estendendo-se além do caso específico copta-francês. Os modelos e códigos resultantes foram disponibilizados publicamente.