Fluency and Faithfulness in Human and Machine Literary Translation

Resumo Técnico: Fluência e Fielidade na Tradução Literária Humana e Automática

Declaração do Problema
A tradução literária exige equilibrar dois objetivos frequentemente concorrentes: produzir texto que seja fluente e natural no idioma de destino (fluência) enquanto preserva o conteúdo semântico e estilístico do texto fonte (fielidade). Embora a teoria da tradução, notadamente a formulação de Friedrich Schleiermacher, posicione esses objetivos como polos opostos, essa tensão raramente foi examinada empiricamente em escala. Modelos de Linguagem Grandes (LLMs) recentes demonstram alta fluência na tradução literária automática, mas permanece incerto se essa fluência corresponde à preservação semântica. Além disso, métricas de estimativa de qualidade sem referência (como COMET-KIWI) são cada vez mais utilizadas para avaliar traduções sem referências padrão-ouro, mas sua relação com a fluência sintática em contextos literários não é bem compreendida.

Metodologia
Os autores analisam um corpus de 130.486 parágrafos traduzidos de 106 romances abrangendo 16 idiomas fonte. O conjunto de dados inclui traduções humanas, saídas do Google Translate e traduções geradas pelo TranslateGemma (um modelo ajustado finamente baseado na arquitetura Gemma3).

Para medir a relação entre fluência e fielidade, o estudo emprega duas métricas distintas e independentes:

1. Fluência (Semelhança com o Original): A fluência é operacionalizada como o grau em que um parágrafo traduzido se assemelha a texto original em inglês. Para isolar a estrutura sintática do conteúdo semântico, os autores anonimizam o texto substituindo tokens por tags de Classe Gramatical (POS) de granularidade fina. Um classificador de regressão logística, treinado em n-gramas de POS (unigramas, bigramas, trigramas), distingue entre parágrafos em inglês original (de um corpus de romances de 1800–1930) e parágrafos traduzidos. O classificador é treinado com validação cruzada em nível de livro e subamostragem estratificada por comprimento para controlar o comprimento do segmento. A fluência é definida como $1 - P(\text{tradução} | x)$, onde pontuações mais altas indicam maior similaridade com a sintaxe original em inglês.
2. Fielidade (Adequação Semântica): A fielidade é medida usando COMET-KIWI, uma métrica neural sem referência que prevê a qualidade da tradução com base em pares de texto fonte e alvo. Os autores validam o COMET-KIWI como um proxy para fielidade ao demonstrar uma forte correlação positiva entre suas pontuações e a similaridade semântica de volta (usando embeddings BGE-M3).

Principais Contribuições

• Análise Empírica em Grande Escala: O estudo fornece uma análise em nível de parágrafo de mais de 130.000 traduções de saídas humanas, Google Translate e LLMs, examinando a interação entre fluência e fielidade.
• Estrutura de Fluência Baseada em POS: Os autores propõem um método escalável para medir fluência sintática independente da fidelidade semântica, utilizando classificação de "translationese" baseada em POS com avaliação estrita em nível de livro mantido fora.
• Aplicação de Avaliação Sem Referência: O trabalho aplica o COMET-KIWI à tradução literária para avaliar a fielidade semântica sem referências padrão-ouro, correlacionando-a com sinais de fluência sintática.
• Evidência Empírica de Trade-offs: O estudo fornece evidências de uma relação negativa entre sinais de fluência e fielidade, particularmente em traduções humanas de comprimentos semelhantes.

Resultados

• Confusão por Comprimento: Os autores constataram que o comprimento do parágrafo confunde significativamente ambas as métricas. Parágrafos mais longos correlacionam-se negativamente tanto com as pontuações do COMET-KIWI quanto com as pontuações de fluência.
• Correlação Negativa: Após controlar o comprimento do parágrafo usando correlação parcial de Spearman, emerge uma relação negativa consistente entre fluência e fielidade. Isso indica que, à medida que uma tradução se torna mais sintaticamente "semelhante ao original" (fluente), sua adequação semântica prevista tende a diminuir.
• Variações Específicas por Fonte:
  • Traduções Humanas: Exibem uma correlação negativa estatisticamente significativa ($\rho \approx -0,078$), sugerindo um trade-off distinto onde alcançar sintaxe nativa pode envolver deslocamentos semânticos.
  • Google Translate: Também mostra uma correlação negativa ($\rho \approx -0,051$), embora ligeiramente mais fraca do que nas traduções humanas.
  • TranslateGemma (LLM): Mostra uma correlação fraca, frequentemente não significativa e às vezes positiva. Isso sugere que os LLMs podem não exibir a mesma tensão entre fluência e fielidade que tradutores humanos ou sistemas de TA tradicionais, ou que as métricas capturam aspectos diferentes de sua saída.
• Divergência de Métricas: Os resultados sugerem que o COMET-KIWI não se alinha com sinais baseados em POS de fluência. Alta fluência (no sentido de semelhança com o original) não equivale necessariamente a alta fielidade semântica medida pelo COMET-KIWI.

Significância e Alegações
O artigo alega que essas descobertas fornecem evidência empírica de uma tensão sistemática, embora modesta, entre produzir inglês nativo sintaticamente e preservar a correspondência semântica na tradução literária. Os autores argumentam que esse trade-off é observado de forma mais distinta em traduções literárias humanas de comprimentos semelhantes.

O estudo sugere que métricas de avaliação automática como o COMET-KIWI podem implicitamente favorecer traduções que preservam padrões estruturais alinhados com o texto fonte, potencialmente recompensando sinais de "translationese" quando correlacionados com fidelidade de nível superficial. Por outro lado, a métrica de fluência baseada em POS captura naturalidade sintática que pode divergir da adequação semântica. Os autores concluem que, embora a magnitude da relação seja modesta, a consistência do padrão em abordagens analíticas indica que fluência e fielidade não são sinais totalmente independentes na tradução literária. Eles também observam que o comportamento do classificador de fluência oferece uma lente para examinar diferenças estilísticas entre traduções humanas históricas (treinadas em textos de 1800–1930) e saídas automáticas modernas otimizadas para o inglês padrão contemporâneo.