💬 NLP

Fabricator or dynamic translator?

Este artículo examina las diversas formas de sobregeneración en la traducción automática con LLMs, desde explicaciones útiles hasta alucinaciones, y presenta estrategias para detectarlas en un entorno comercial.

Autores originales: Lisa Vasileva, Karin Sim

Publicado 2026-04-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lisa Vasileva, Karin Sim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Modelos de Lenguaje Grande (LLM), como los que usan ChatGPT o Google Gemini, son como traductores superinteligentes pero un poco dramáticos.

Antes, las máquinas traducían como una fotocopiadora: tomaban la frase original y la copiaban al otro idioma, a veces con errores de repetición (como un disco rayado que dice "hola, hola, hola"). Pero estos nuevos modelos son más como actores improvisando. A veces hacen un trabajo brillante, pero a veces se les va la mano y empiezan a inventar cosas que no estaban en el guion original.

Este paper de Lisa Vasileva y Karin Sim (de Language Weaver) es como un manual para detectar cuándo el actor se está "pasando de la raya".

Aquí te explico los puntos clave con analogías sencillas:

1. El problema: "El actor que se inventa el guion"

El título pregunta: ¿Son estos modelos fabricantes (que hacen lo que se les pide) o traductores dinámicos (que improvisan)?

El problema es que a veces el modelo no solo traduce, sino que alucina o confabula. Imagina que le pides a un chef que te prepare un plato de pasta.

Traducción normal: Te da la pasta.
Alucinación grave: Te da un plato de pizza (no tiene nada que ver).
Sobre-generación (el problema real): Te da la pasta, pero le añade una salsa secreta que no pediste, o te escribe una nota al lado explicando por qué eligió esa salsa, o incluso te dice: "Lo siento, no puedo cocinar esto porque la receta es muy picante".

Estas "adiciones" son peligrosas porque a menudo suenan muy bien y son gramaticalmente correctas, pero no están en el texto original. Es como si un traductor humano decidiera añadir sus propios chistes o opiniones al final de una noticia seria.

2. Las cuatro clases de "improvisación"

Los autores clasifican estas invenciones en cuatro tipos, como si fueran niveles de dificultad para detectarlos:

El disco rayado (Oscilatorio): El modelo se queda atascado y repite la misma palabra 20 veces. ¡Fácil de detectar! (Es como un niño que no para de decir "mamá, mamá, mamá").
El actor que se va del escenario (Desconectado total): El modelo ignora el texto y empieza a hablar de otra cosa, o se niega a traducir diciendo "No me siento cómodo". Fácil de detectar.
El actor que añade un monólogo (Parcialmente desconectado): Traduce bien, pero añade una introducción tipo: "¡Claro! Aquí tienes la traducción en italiano: ...". Un poco más difícil, pero aún visible.
El actor que cambia un detalle sutil (Mínimamente desconectado): Esta es la trampa. Traduce casi perfecto, pero añade una o dos palabras que no estaban ahí para que suene más natural o explicativo.
- Ejemplo: El original dice "El coche de Al". La traducción dice "La tienda de Al estaba en la esquina". El modelo añadió "tienda" porque en italiano suena mejor, pero técnicamente no estaba en el original.
- El dilema: ¿Es un error o es un buen trabajo de traductor? A veces, añadir palabras es necesario para que el lector entienda (esto se llama "explicitación"). El modelo a veces lo hace bien, a veces mal.

3. La misión: ¿Cómo atrapar al tramposo?

Como estos errores son sutiles (como una aguja en un pajar), los autores probaron dos estrategias para detectarlos:

Estrategia A: El inspector de calidad (MTQE).
Imagina un inspector que lee la traducción y le pone una nota del 0 al 100. Si la nota es baja, sospecha que hay algo raro. Funciona bien para errores grandes, pero a veces se confunde con las "adiciones sutiles" que suenan bien.
Estrategia B: El detective de huellas (CheckAlign).
Esta estrategia es como poner el texto original y la traducción uno al lado del otro y usar una regla para ver qué palabras no tienen pareja.
- Si el original tiene 5 palabras y la traducción tiene 7, el detective busca esas 2 palabras extra. Si las encuentra, las marca como "sospechosas".
- El problema: A veces el detective se equivoca. Por ejemplo, si en inglés dices "get" (conseguir) y en italiano necesitas tres palabras para decirlo ("tener a disposición"), el detective piensa que añadiste palabras de la nada, cuando en realidad es solo una diferencia de idioma.

4. La solución: El equipo de dos (Ensemble)

La conclusión es que necesitas a los dos detectives trabajando juntos.

Si el inspector de calidad dice "¡Alerta!" o el detective de huellas dice "¡Hay palabras sueltas!", entonces se marca el texto para revisión humana.
Juntos son mucho más fuertes que por separado.

5. El gran desafío final

El paper termina con una reflexión interesante: A veces el modelo tiene razón.
Si el modelo añade una palabra para explicar algo (como cambiar "A&E" por "sala de emergencias" para que un italiano lo entienda), eso no es un error, es un buen trabajo de traductor.

El reto futuro no es solo detectar errores, sino distinguir entre:

Alucinación peligrosa: Inventar cosas falsas.
Buena explicación: Añadir detalles para que el lector entienda mejor.
Error técnico: Añadir palabras por equivocación.

En resumen:
Los nuevos traductores de IA son geniales, pero a veces son como un amigo que te cuenta un chiste y empieza a inventar detalles que no pasaron. Los autores han creado herramientas para detectar cuándo el amigo se está inventando la historia, pero a veces es difícil saber si está mintiendo o simplemente está siendo un buen narrador para que tú entiendas mejor la historia.

Resumen Técnico: Fabricator o Traductor Dinámico? Análisis de Sobregeneraciones en la Traducción Automática con LLMs

1. El Problema

El artículo aborda un desafío emergente en la Traducción Automática (TA) impulsada por Modelos de Lenguaje Grande (LLMs). A diferencia de los modelos de TA Neuronal (NMT) tradicionales, que sufrían principalmente de "neurobabble" (alucinaciones repetitivas o sin sentido), los LLMs presentan un nuevo tipo de error: la sobregeneración (overgeneration).

Estas sobregeneraciones son más sutiles y peligrosas porque:

Pueden ser fluidas y gramaticalmente correctas.
Incluyen desde explicaciones del modelo (ej. "Aquí está la traducción...") hasta confabulaciones (fabricación de contenido no presente en el origen).
A veces actúan como un traductor humano, añadiendo explicaciones o expandiendo acrónimos para mejorar la comprensión (explicitación), lo que complica la distinción entre un error y una mejora contextual.
Los modelos actuales de Estimación de Calidad de Traducción (MTQE) a menudo fallan al detectar estos errores, clasificando traducciones con sobregeneraciones como "Buenas" cuando deberían ser "Adecuadas" o peores.

2. Metodología

Los autores proponen un enfoque dual para detectar y categorizar estos errores en un entorno comercial:

A. Taxonomía de Sobregeneraciones
Se define una clasificación de cuatro niveles de gravedad, desde lo más obvio hasta lo más sutil:

Oscilatorias: Repetición de tokens o símbolos (similar al neurobabble).
Desconectadas (Detached): Contenido fluido pero totalmente ausente en el origen (ej. negativas a traducir o explicaciones largas).
Parcialmente Desconectadas: Contenido relevante pero con bloques añadidos no presentes en el origen (ej. prefijos como "Traducción al italiano:").
Mínimamente Desconectadas: La categoría más difícil. El texto es fluido y mayormente correcto, pero contiene una o dos palabras añadidas que no están en el origen (confabulaciones plausibles).

B. Estrategias de Detección
Se implementaron y compararon dos estrategias principales, combinadas en un modelo de conjunto (Ensemble):

MTQE (Estimación de Calidad de Traducción): Se utiliza un modelo interno basado en XLM-R Large, fine-tuneado con datos sintéticos que contienen casos de sobregeneración. El modelo predice un puntaje de calidad continuo para identificar anomalías.
CheckAlign (Basado en Alineación): Se utiliza el alineador AwesomeAlign para detectar fragmentos de texto objetivo que no tienen correspondencia con el texto fuente. Se identifica como sobregeneración cualquier secuencia de $n$ palabras consecutivas no alineadas (donde $n=2$ o $3$).

C. Construcción de Datos
Debido a la escasez de datos anotados, los autores crearon un conjunto de datos híbrido:

Datos Open-Source: WMT24-AOC (filtrado por puntuaciones bajas) y DeepSpin (adaptado de NMT).
Datos Internos: Conjuntos de pruebas derivados de proyectos de I+D, post-edición automática (APE) y pruebas de prototipos de clientes, cubriendo múltiples pares de idiomas (en-zh, en-ru, en-it, etc.).

3. Contribuciones Clave

Definición de una nueva taxonomía: Distinguen formalmente entre sobregeneraciones "mínimamente desconectadas" y explicaciones útiles, un matiz crítico para la TA comercial.
Identificación de la Explicitación: Demuestran que muchas "sobregeneraciones" detectadas por algoritmos son en realidad explicitaciones (expansión de acrónimos o aclaración de referencias culturales) realizadas correctamente por el LLM para la audiencia objetivo.
Evaluación de Estrategias Híbridas: Proponen que ninguna estrategia individual es suficiente; la combinación de modelos de calidad (MTQE) y análisis de alineación (CheckAlign) ofrece la cobertura más robusta.
Liberación de Datos: Publican un conjunto de datos y anotaciones sobre sobregeneraciones en LLMs para fomentar la investigación futura.

4. Resultados

Los resultados, presentados en tablas de precisión, recuperación y F1, muestran lo siguiente:

Rendimiento General: El enfoque de Ensemble (combinación de MTQE y CheckAlign) logra los mejores resultados, especialmente en datos internos comerciales.
Detección de Errores Obvios: Ambos modelos detectan con alta precisión las sobregeneraciones oscilatorias y totalmente desconectadas (F1 > 0.85).
El Desafío de las Mínimamente Desconectadas:
- La estrategia de alineación (CheckAlign) tiene una alta recuperación (Recall ~0.77) pero una precisión muy baja (0.22) en este tipo de errores.
- Causa de Falsos Positivos: El modelo de alineación marca como errores muchas expansiones legítimas (ej. "NSW" -> "New South Wales", "A&E" -> "Emergency Room") y variaciones lingüísticas naturales donde una palabra en inglés requiere varias en italiano.
- El modelo MTQE por sí solo tiene dificultades para detectar estas pequeñas adiciones sutiles.

5. Significado y Conclusiones

El estudio revela una dualidad en el comportamiento de los LLMs en traducción:

Riesgo: Pueden generar confabulaciones sutiles que parecen correctas pero alteran el significado o añaden información no solicitada.
Habilidad: A menudo realizan una "explicitación" dinámica que mejora la comprensión, actuando como un traductor humano experto.

Conclusión Final:
El desafío principal no es solo detectar el contenido añadido, sino distinguir automáticamente entre una confabulación errónea y una explicitación necesaria. Los autores concluyen que se necesita un enfoque de "bucle humano en el ciclo" (human-in-the-loop) para identificar los falsos positivos (explicitaciones correctas) y utilizarlos como datos de entrenamiento para refinar los modelos, permitiendo así una detección más inteligente que no penalice las mejoras contextuales legítimas.