Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Resumo Técnico: A Complexidade Linguística Pode Predizer a Qualidade da Tradução Automática? Um Estudo Baseado em Corpus sobre o Nexo Complexidade-Qualidade em Textos Filosóficos

Problema de Pesquisa
Embora a Inteligência Artificial e a Tradução Automática Neural (NMT) tenham avançado significativamente na qualidade da tradução em domínios de alto recurso (ex.: textos jurídicos, jornalísticos, acadêmicos), há uma lacuna notável na compreensão de como esses sistemas performam em domínios de baixo recurso e alta demanda cognitiva, como os textos filosóficos. Especificamente, a literatura existente carece de comparações abrangentes entre diversos sistemas de tradução automática (MT) — incluindo NMT tradicional, sistemas baseados em Grandes Modelos de Linguagem (LLM), como o DeepSeek, e sistemas baseados em aprendizado profundo, como o DeepL — quando aplicados a material de origem abstrato e complexo. Além disso, estudos anteriores que vinculam a complexidade linguística a erros de tradução foram limitados a pares de línguas específicos (ex.: línguas inflexionais) ou gêneros (ex.: jornalismo), falhando frequentemente em explorar o "nexo complexidade-qualidade" em contextos literários e filosóficos de baixo recurso. Este estudo aborda a questão de saber se índices de complexidade lexical e sintática podem predizer a qualidade da tradência automática em textos filosóficos de alemão para chinês.

Metodologia
A pesquisa emprega um design experimental baseado em corpus utilizando as Nachgelassene Schriften (Escritos Póstumos) do filósofo alemão Theodor W. Adorno. Para eliminar o viés de dados de treinamento pré-existentes, os autores selecionaram um texto sem tradução prévia para o chinês. Uma tradução de referência foi produzida por um tradutor acadêmico sênior e validada por meio de tradução reversa (gerando uma pontuação BLEU de 0,72 em relação ao alemão original) e alinhamento terminológico.

O corpus consiste em 254 segmentos de texto (aprox. 59.564 palavras) traduzidos para o chinês por três sistemas distintos:

1. DeepL (baseado em aprendizado profundo)
2. DeepSeek (baseado em LLM)
3. NMT (modelo padrão de Tradução Automática Neural)

A qualidade da tradução foi quantificada usando pontuações BLEU (Bilingual Evaluation Understudy) calculadas contra a tradução humana de referência. A complexidade linguística foi medida por meio de um conjunto de índices específicos para o chinês, adaptados de pesquisas anteriores sobre translationese e escrita de segunda língua, categorizados em:

• Índices Lexicais: Razões Tipo-Token (TTR1, TTR2, TTR1C, TTR2C), Rank Médio de Palavras (MWR) e Rank Médio de Caracteres (MCR).
• Índices Sintáticos: Comprimento Médio de Sentenças (MLS), Comprimento Médio de Orações (MLC), Comprimento Médio de Unidades-T (MLTU), Unidades-T por sentença (T/S) e Orações por sentença (C/S).

Três modelos de regressão múltipla foram construídos para predizer as pontuações BLEU:

• Modelo 1: Baseado exclusivamente na complexidade lexical.
• Modelo 2: Baseado exclusivamente na complexidade sintática.
• Modelo 3: Um modelo combinado integrando características lexicais e sintáticas.

Principais Resultados
A análise gerou os seguintes achados em relação ao poder preditivo da complexidade linguística:

• Desempenho do Sistema: O DeepL alcançou consistentemente pontuações BLEU mais altas em comparação ao DeepSeek e ao modelo NMT padrão ao longo do corpus. Este achado desafia a suposição de que sistemas baseados em LLM (como o DeepSeek) servem inerentemente como alternativas superiores aos modelos NMT tradicionais neste domínio específico.
• Modelo 1 (Complexidade Lexical): Demonstrou forte poder explicativo com um R-quadrado de 0,849. A riqueza e diversidade lexical (indicadas por coeficientes positivos para TTR1, TTR1C, TTR2, MWR e MCR) foram preditores positivos significativos da qualidade da tradução. Por outro lado, o TTR2C apresentou um coeficiente negativo, sugerindo que a repetição ou redundância lexical excessiva prejudica a qualidade.
• Modelo 2 (Complexidade Sintática): Mostrou poder explicativo moderado, com um R-quadrado de 0,395. Embora estruturas de sentenças mais longas (MLS) e orações (MLC) tenham se correlacionado positivamente com a qualidade, outras características sintáticas, como a densidade de orações (C/S), não foram estatisticamente significativas. Isso indica que a complexidade sintática isolada é um preditor mais fraco do que a complexidade lexical.
• Modelo 3 (Complexidade Combinada): Alcançou o maior poder explicativo, com um R-quadrado de 0,86. Este modelo confirmou que uma abordagem holística, integrando tanto características lexicais quanto sintáticas, fornece a previsão mais abrangente dos resultados de tradução. Notavelmente, no modelo combinado, a razão entre orações subordinadas e principais (T/S) exibiu um coeficiente negativo, sugerindo que a alta subordinação estrutural pode aumentar a dificuldade de tradução e reduzir a qualidade.

Significância e Contribuições
O artigo afirma contribuir para o campo da Avaliação de Qualidade de Tradução Automática (MTQA) de várias maneiras específicas:

1. Expansão de Domínio: Preenche uma lacuna de pesquisa ao examinar a relação complexidade-qualidade em domínios abstratos e de baixo recurso (textos filosóficos), em vez de gêneros de alto recurso ou jornalísticos.
2. Comparação de Sistemas: Fornece dados empíricos comparando o desempenho do DeepL, DeepSeek (LLM) e NMT padrão, oferecendo insights sobre como diferentes abordagens arquitetônicas lidam com estruturas semânticas e sintáticas complexas.
3. Modelagem Preditiva: O estudo valida a utilidade de modelos de regressão para predizer a qualidade da tradução com base na complexidade linguística. Estabelece que a riqueza lexical é um fator mais dominante do que a complexidade sintática, embora a integração de ambos resulte nas previsões mais precisas.
4. Estrutura Metodológica: Ao utilizar um corpus rigorosamente construído com uma tradução de referência verificada e índices de complexidade específicos, o estudo oferece um framework replicável para avaliar o desempenho de MT em domínios desafiadores e não padronizados.

Os autores concluem que, embora os sistemas atuais de MT sejam promissores, seu desempenho em textos filosóficos depende fortemente da diversidade lexical e da estrutura sintática do texto de origem. A pesquisa ressalta a necessidade de uma integração equilibrada de considerações lexicais e sintáticas na avaliação e melhoria dos sistemas de MT, particularmente para aplicações de baixo recurso e alta complexidade.