Temporal Reliability of ChatGPT-Generated Bilingual Texts: Implications for AI-Assisted Language Learning and Multilingual Information Access

Imagina que tienes un amigo robot superinteligente y omnisciente que habla todos los idiomas de la Tierra. Le pides que traduzca una frase difícil y te da una respuesta perfecta. Pero, ¿qué pasaría si le haces exactamente la misma pregunta un mes después, después de que el robot haya recibido una "actualización de software"? ¿Da la misma respuesta, o ha olvidado algo, ha cambiado de opinión o ha empezado a hablar con un estilo diferente? Esta es la gran pregunta detrás de un nuevo estudio en el mundo de la Inteligencia Artificial (IA) y el lenguaje.

Los científicos llaman a estos robots superinteligentes "Modelos de Lenguaje Extensos" (LLM, por sus siglas en inglés). Son como cerebros digitales que pueden escribir, traducir y charlar. Normalmente, cuando compramos un videojuego nuevo o un teléfono nuevo, esperamos que la versión más reciente sea mejor que la anterior. Asumimos que si una empresa lanza la "Versión 5.0" y luego la "Versión 6.0", la segunda es más inteligente, más rápida y más precisa. Pero con estos robots de IA, las cosas no siempre son tan sencillas. Están siendo ajustados y actualizados constantemente tras bambalinas, cambiando a veces su forma de pensar o de hablar sin que siquiera lo sepamos. Este estudio plantea una pregunta muy importante: si utilizas una IA para ayudarte a aprender un idioma o leer noticias en una lengua extranjera, ¿puedes confiar en que la versión "más reciente" es realmente la mejor? ¿O el robot a veces se vuelve peor en ciertas cosas a medida que mejora en otras?

El Experimento: Probando la Memoria del Robot

Para averiguarlo, un investigador llamado Zhihan Fu decidió jugar al juego de "encuentra las diferencias" con cuatro versiones diferentes de un popular chatbot de IA (llamadas GPT-5.0, GPT-5.4, GPT-5.5 y GPT-5.6 Sol). Piensa en estas versiones como cuatro instantáneas diferentes de la misma persona tomadas a lo largo de unos meses.

El investigador no se limitó a pedirle al robot que charlara; le dio un desafío muy específico. Tomó tres artículos del mundo real —uno sobre dinero (finanzas), uno sobre tecnología de energía solar y uno sobre reglas gubernamentales (política pública)— y le pidió a cada versión del robot que los tradujera del chino al inglés. Utilizó exactamente las mismas instrucciones para cada versión y comparó sus respuestas con una traducción de "estándar de oro" realizada por un experto humano.

Utilizó dos formas principales para juzgar las traducciones:

1. La comprobación del "Significado": Utilizó una herramienta llamada COMET para ver qué tan cerca estaba el significado del robot del significado del experto humano. ¿Mantuvo todos los hechos correctos?
2. La comprobación de la "Legibilidad": Midió qué tan fácil era leer el texto. ¿Era demasiado difícil? ¿Eran las frases demasiado largas? ¿Utilizaba las palabras adecuadas?

La Sorpresa: El Robot no está Mejorando en Línea Recta

Los resultados fueron un poco como observar una montaña rusa que sube y baja en diferentes direcciones para diferentes pasajeros. La gran sorpresa fue que las versiones más nuevas de la IA no eran automáticamente mejores. De hecho, el rendimiento del robot cambiaba de formas extrañas e impredecibles dependiendo de qué tema estuviera tratando.

Esto es lo que sucedió en cada "mundo" que visitó el robot:

• El Mundo de las Reglas Gubernamentales (Política Pública): Este fue el único lugar donde el robot mejoró de forma constante en mantener el significado correcto. Con cada nueva versión, la puntuación de "Significado" subió, alcanzando su punto más alto con la versión más reciente, GPT-5.6 Sol. Sin embargo, había un truco: a medida que el significado era más preciso, el texto se volvía más difícil de leer. Las versiones más nuevas empezaron a escribir con un estilo más complejo y pesado que se sentía menos como una historia fluida y más como un documento legal rígido.
• El Mundo del Dinero (Finanzas): Aquí, el robot fue bastante estable durante un tiempo, pero luego alcanzó su punto máximo con la versión GPT-5.5 antes de empeorar ligeramente con la versión más reciente. La versión más nueva no fue la campeona aquí.
• El Mundo de la Energía Solar (Tecnología): Este fue el viaje más salvaje. El robot empezó con fuerza, mejoró aún más con la versión GPT-5.4 y luego empeoró con cada actualización posterior. Para cuando llegó la versión más reciente (GPT-5.6 Sol), su capacidad para mantener el significado correcto había caído por debajo incluso de la primera versión. Sin embargo, la versión más nueva hizo algo interesante: rompió las frases largas y confusas en otras más cortas y directas, haciendo que el texto pareciera más fácil de leer, aunque en realidad estaba perdiendo algunos detalles técnicos importantes.

La Gran Conclusión: "Más Nuevo" no significa "Mejor"

El estudio sugiere que no podemos asumir simplemente que la última actualización de la IA es la mejor herramienta para el trabajo. Es como un chef que obtiene una cocina nueva. Tal vez el horno nuevo hace que sus pasteles sepan perfectos, pero los cuchillos nuevos hacen que su picado de verduras sea más lento.

• Para Textos Gubernamentales: La versión más nueva de la IA es la más precisa, pero también es la más difícil de leer.
• Para Manuales Técnicos: La IA más nueva escribe frases más cortas (lo cual se ve bien), pero en realidad pierde significado importante en comparación con las versiones anteriores.
• Para Textos de Dinero: La versión intermedia (GPT-5.5) fue la mejor, no la más reciente.

El investigador descubrió que la capacidad del robot para mantener el significado correcto y su capacidad para ser fácil de leer a menudo se movían en direcciones opuestas. A veces, hacer el texto más preciso lo hacía más difícil de entender. Otras veces, hacerlo más corto y simple lo hacía menos preciso.

Por Qué Esto te Importa

Si eres un estudiante que utiliza la IA para ayudarte a aprender un idioma, o si estás tratando de leer noticias de otro país, este estudio es una etiqueta de advertencia. Nos dice que no debemos simplemente agarrar la versión más "nueva" de una IA y asumir que es la más inteligente. La "mejor" versión depende enteramente de lo que estés intentando hacer.

Si necesitas entender una regla gubernamental compleja, la versión más nueva podría darte los hechos correctos pero de una manera confusa. Si estás leyendo un manual técnico, la versión más nueva podría parecer simple, pero podría haber omitido una advertencia de seguridad crucial. El estudio sugiere que necesitamos seguir probando estas herramientas de IA una y otra vez, verificándolas para trabajos específicos, porque el robot cambia su personalidad cada vez que recibe una actualización. El traductor de IA "perfecto" aún no existe; en su lugar, tenemos un robot que está en constante cambio, y tenemos que ser cuidadosos sobre a qué versión confiar para cada tarea.