Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

El lenguaje es un paisaje vasto y cambiante donde el significado no se transporta solo mediante las palabras, sino también a través del ritmo, el silencio y el peso específico de una frase. Durante décadas, las computadoras han aprendido a traducir este paisaje, pasando de sistemas rígidos basados en reglas a redes neuronales que imitan la capacidad del cerebro humano para encontrar patrones. Estos sistemas modernos, conocidos como traducción automática neuronal, se han vuelto notablemente buenos para convertir artículos de noticias o manuales técnicos de un idioma a otro, capturando los hechos con alta precisión. Más recientemente, una nueva generación de inteligencia artificial, llamada modelos de lenguaje extensos, ha entrado en el campo. A diferencia de sus predecesores, que fueron entrenados específicamente para traducir, estos modelos son pensadores de propósito general que pueden seguir instrucciones complejas y comprender el contexto de una manera que se siente más como una conversación. Prometen manejar las partes desordenadas y creativas del lenguaje con las que las máquinas suelen tener dificultades. Pero la poesía sigue siendo la prueba definitiva. Un poema no es solo un mensaje para ser decodificado; es una experiencia construida sobre la imaginería, el matiz cultural y un delicado equilibrio entre lo que se dice y lo que se deja sin decir. Traducir un poema requiere que una computadora haga más que intercambiar palabras; debe reconstruir un sentimiento. Esto plantea una pregunta difícil: ¿pueden estas nuevas máquinas conversacionales traducir la poesía mejor que las herramientas establecidas que usamos todos los días, y acaso la forma en que les pedimos que trabajen cambia el resultado?

Para averiguarlo, los investigadores se propusieron comparar el rendimiento de estos diferentes sistemas en la poesía china moderna, un género conocido por su imaginería condensada y profundidad emocional. Eligieron una colección específica de doce poemas de la poeta contemporánea Yu Xiuhua, asegurándose de que los textos fueran frescos y no hubieran sido traducidos previamente por máquinas o humanos. El equipo enfrentó a dos de los servicios de traducción en línea más populares, que dependen de redes neuronales estándar, contra dos de los modelos de lenguaje extensos líderes. Para ver si las instrucciones dadas a las máquinas importaban, probaron los modelos de lenguaje extensos bajo dos condiciones diferentes. En el primer escenario, dieron a los modelos una orden simple y directa de traducir el texto. En el segundo, pidieron a los modelos que primero explicaran el significado del poema en detalle antes de intentar la traducción, una estrategia diseñada para obligar a la máquina a comprender el contexto antes de generar palabras. Las traducciones resultantes fueron evaluadas por un panel de ocho expertos en literatura china y japonesa. Estos expertos calificaron los poemas no solo basándose en si el significado era correcto, sino en qué tan bien fluía la traducción, si sonaba como un poema real y cuánto sentían que había sido escrito por una máquina.

Los resultados revelaron una clara ventaja para los modelos más nuevos que siguen instrucciones. Cuando se les dio la orden simple de traducir, los modelos de lenguaje extensos produjeron versiones que eran significativamente más fieles al significado original, más fluidas en japonés y mucho más cercanas al estilo poético original que los traductores en línea estándar. Las herramientas estándar a menudo producían traducciones que eran gramaticalmente correctas pero se sentían planas, perdiendo el ritmo y el peso cultural específico de las palabras. Los modelos de lenguaje extensos, sin embargo, parecían captar el poema como una unidad completa, preservando la tensión e imaginería que hacen que la poesía resuene. Por ejemplo, donde un traductor estándar podría convertir una frase ritualista en una descripción literal de velocidad, los modelos de lenguaje extensos lograron mantener el sentido de un mandato solemne, capturando el tono espiritual del original. También mostraron muchos menos signos de haber sido generados por una computadora, evitando las estructuras de oraciones rígidas que a menudo delatan la traducción automática.

Sin embargo, la historia se vuelve más compleja cuando los investigadores cambiaron las instrucciones. La idea de que dar a una máquina más contexto —pedirle que primero explique el poema— siempre conduciría a una mejor traducción resultó ser falsa. El efecto de esta estrategia de "explicación primero" dependía enteramente de qué modelo específico se estuviera utilizando. Para uno de los modelos de lenguaje extensos, el paso adicional de explicar el poema en realidad empeoró la traducción. Los poemas resultantes se volvieron demasiado explícitos, perdiendo su misterio y compresión poética, como si la máquina hubiera sobreanalizado el texto y le hubiera arrebatado el alma. Para el otro modelo, la misma estrategia fue un éxito; el paso de la explicación ayudó a organizar sus pensamientos, llevando a traducciones que eran más coherentes y estilísticamente más fuertes. Esto sugiere que no existe una única "mejor" forma de dar instrucciones a estas máquinas. Lo que funciona para un sistema puede obstaculizar a otro, dependiendo de cómo ese sistema específico procese la información.

Quizás el hallazgo más sorprendente fue lo que ocurrió cuando los investigadores compararon los dos modelos de lenguaje extensos después de que ambos hubieran recibido las instrucciones detalladas de explicación primero. Bajo estas condiciones específicas, la brecha de rendimiento entre los dos modelos desapareció. Aunque podrían haber comenzado con diferentes fortalezas y debilidades, la instrucción compartida los guió hacia un nivel de calidad similar. Produjeron traducciones que eran estadísticamente indistinguibles entre sí en términos de precisión, fluidez y estilo. Esto sugiere que la forma en que pedimos a una máquina que trabaje puede ser tan importante como la máquina misma. En el ámbito de la traducción poética, la interacción entre el diseño interno del modelo y el prompt humano crea el resultado final. El estudio concluye que no podemos simplemente elegir la inteligencia artificial más poderosa y esperar que maneje la literatura perfectamente. En cambio, traducir poesía con máquinas es una negociación delicada entre la herramienta y las instrucciones, donde el objetivo es encontrar la combinación específica que permita a la máquina dar un paso atrás y dejar que el poema respire.