Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

A linguagem é uma paisagem vasta e mutável onde o significado é carregado não apenas por palavras, mas pelo ritmo, pelo silêncio e pelo peso específico de uma frase. Durante décadas, os computadores aprenderam a traduzir essa paisagem, movendo-se de sistemas rígidos baseados em regras para redes neurais que mimetizam a capacidade do cérebro humano de encontrar padrões. Esses sistemas modernos, conhecidos como tradução automática neural, tornaram-se notavelmente bons em transformar artigos de notícias ou manuais técnicos de um idioma para outro, capturando os fatos com alta precisão. Mais recentemente, uma nova geração de inteligência artificial, chamada de modelos de linguagem de grande escala, entrou no campo. Diferente de seus predecessores, que foram treinados especificamente para traduzir, esses modelos são pensadores de propósito geral que podem seguir instruções complexas e compreender o contexto de uma forma que se assemelha mais a uma conversa. Eles prometem lidar com as partes desordenadas e criativas da linguagem com as quais as máquinas costumam ter dificuldade. Mas a poesia continua sendo o teste definitivo. Um poema não é apenas uma mensagem a ser decodificada; é uma experiência construída sobre imagens, nuances culturais e um equilíbrio delicado entre o que é dito e o que é deixado no não dito. Traduzir um poema exige que um computador faça mais do que trocar palavras; ele deve reconstruir um sentimento. Isso levanta uma questão difícil: podem essas novas máquinas conversacionais realmente traduzir poesia melhor do que as ferramentas estabelecidas que usamos todos os dias, e será que a maneira como pedimos que elas trabalhem altera o resultado?

Para descobrir, pesquisadores se propuseram a comparar o desempenho desses diferentes sistemas na poesia chinesa moderna, um gênero conhecido por sua imagética condensada e profundidade emocional. Eles escolheram uma coleção específica de doze poemas da contemporânea poeta Yu Xiuhua, garantindo que os textos fossem inéditos e não tivessem sido previamente traduzidos por máquinas ou humanos. A equipe colocou dois dos serviços de tradução online mais populares, que dependem de redes neurais padrão, contra dois dos principais modelos de linguagem de grande escala. Para verificar se as instruções dadas às máquinas importavam, eles testaram os modelos de linguagem sob duas condições diferentes. No primeiro cenário, deram aos modelos um comando simples e direto para traduzir o texto. No segundo, pediram aos modelos que primeiro explicassem o significado do poema detalhadamente antes de tentar a tradução, uma estratégia desenhada para forçar a máquina a compreender o contexto antes de gerar palavras. As traduções resultantes foram então avaliadas por um painel de oito especialistas em literatura chinesa e japonesa. Esses especialistas avaliaram os poemas não apenas se o significado estava correto, mas quão bem a tradução fluía, se soava como um poema real e o quanto parecia ter sido escrito por uma máquina.

Os resultados revelaram uma vantagem clara para os novos modelos que seguem instruções. Quando recebiam o comando simples de traduzir, os modelos de linguagem de grande escala produziam versões significativamente mais fiéis ao significado original, mais fluentes em japonês e muito mais próximas do estilo poético original do que os tradutores online padrão. As ferramentas padrão frequentemente produziam traduções que eram gramaticalmente corretas, mas pareciam vazias, perdendo o ritmo e o peso cultural específico das palavras. Os modelos de linguagem de grande escala, contudo, pareciam compreender o poema como uma unidade total, preservando a tensão e a imagética que fazem a poesia ressoar. Por exemplo, onde um tradutor padrão poderia transformar uma frase ritualística em uma descrição literal de velocidade, os modelos de linguagem de grande escala conseguiram manter o sentido de um comando solene, capturando o tom espiritual do original. Eles também mostraram muito menos sinais de serem gerados por um computador, evitando as estruturas de frases rígidas que frequentemente denunciam a tradução automática.

No entanto, a história torna-se mais complexa quando os pesquisadores alteraram as instruções. A ideia de que dar mais contexto a uma máquina — pedir que ela explique o poema primeiro — levaria sempre a uma tradução melhor provou ser falsa. O efeito dessa estratégia de "explicação primeiro" dependia inteiramente de qual modelo específico estava sendo usado. Para um dos modelos de linguagem de grande escala, a etapa extra de explicar o poema na verdade tornou a tradução pior. Os poemas resultantes tornaram-se excessivamente explícitos, perdendo seu mistério e compressão poética, como se a máquina tivesse analisado demais o texto e arrancado sua alma. Para o outro modelo, a mesma estratégia foi um sucesso; a etapa de explicação ajudou-o a organizar seus pensamentos, levando a traduções mais coerentes e estilisticamente mais fortes. Isso sugere que não existe uma única "melhor" maneira de orientar essas máquinas. O que funciona para um sistema pode prejudicar outro, dependendo de como esse sistema específico processa a informação.

Talvez a descoberta mais surpreendente tenha sido o que aconteceu quando os pesquisadores compararam os dois modelos de linguagem de grande escala após ambos terem recebido as instruções detalhadas de explicação prévia. Sob essas condições específicas, a lacuna de desempenho entre os dois modelos desapareceu. Embora pudessem ter começado com diferentes forças e fraquezas, a instrução compartilhada os guiou em direção a um nível de qualidade semelhante. Eles produziram traduções que eram estatisticamente indistinguíveis entre si em termos de precisão, fluidez e estilo. Isso sugere que a maneira como pedimos que uma máquina trabalhe pode ser tão importante quanto a própria máquina. No reino da tradução de poesia, a interação entre o design interno do modelo e o comando humano cria o resultado final. O estudo conclui que não podemos simplesmente escolher a inteligência artificial mais poderosa e esperar que ela lide com a literatura perfeitamente. Em vez disso, traduzir poesia com máquinas é uma negociação delicada entre a ferramenta e as instruções, onde o objetivo é encontrar a combinação específica que permita à máquina recuar e deixar o poema respirar.