💬 NLP

Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair

Este estudio presenta la creación de un conjunto de datos paralelo semisintético para la estimación de calidad de traducción del inglés al hebreo, una pareja de idiomas con recursos limitados, mediante la generación de ejemplos controlados, su traducción automática y filtrado, y la evaluación manual para entrenar modelos neuronales que aborden desafíos morfosintácticos específicos.

Autores originales: Assaf Siani, Anna Kernerman, Ilan Kernerman

Publicado 2026-03-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Assaf Siani, Anna Kernerman, Ilan Kernerman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un traductor automático (como Google Translate) que intenta hablar hebreo. A veces lo hace genial, pero otras veces suena como un robot que ha olvidado cómo funciona el mundo. El problema es: ¿Cómo sabemos cuándo el traductor está mintiendo o cometiendo un error sin tener que contratar a un humano para revisar cada frase?

Aquí es donde entra este estudio. Los autores (de Lexicala) querían crear un "entrenador de calidad" para estos traductores, pero se encontraron con un gran obstáculo: el hebreo es un idioma muy complicado (tiene géneros, números y conjugaciones que el inglés no tiene) y no tenían suficientes ejemplos de buenas y malas traducciones para enseñarle a la inteligencia artificial.

Así que decidieron construir su propia "gimnasio de entrenamiento". Aquí te explico cómo lo hicieron, paso a paso, con analogías sencillas:

1. El Problema: No hay suficientes "ejercicios"

En el mundo de la traducción, para entrenar a una IA, necesitas miles de ejemplos de "Traducción Perfecta" y "Traducción Terrible". Para el inglés, hay millones. Para el hebreo, hay muy pocos. Era como intentar enseñar a un atleta a correr maratones dándole solo 10 metros de pista.

2. La Solución: Crear un "Simulador de Realidad" (Datos Semi-Sintéticos)

En lugar de esperar a que los humanos escribieran todo, decidieron crear sus propios ejercicios:

Paso A: La Semilla. Tomaron frases simples de un diccionario de inglés (como "los hombres llevaban claveles") y usaron una IA (ChatGPT) para inventar nuevas frases basadas en esas estructuras.
Paso B: La Traducción Masiva. Enviaron esas frases a tres traductores automáticos diferentes (Google, Yandex, Microsoft).
Paso C: El Filtro. Si los tres traductores decían casi lo mismo, asumieron que la traducción era buena. Si decían cosas muy diferentes, la tiraban a la basura.

3. El Truco Maestro: "Enfermar" las traducciones a propósito

Aquí viene la parte más creativa. Tenían muchas traducciones "buenas" (nota 5), pero muy pocas "malas". Para entrenar bien al modelo, necesitaban ver errores.

La Analogía del Cirujano: Imagina que tienes un maniquí perfecto. Para enseñar a un estudiante de medicina a diagnosticar enfermedades, no puedes darle solo sanos. Tienes que inyectarle virus artificiales.
La Ejecución: Los autores tomaron las traducciones hebreas y les introdujeron errores controlados:
- Cambiaron el género (de masculino a femenino).
- Cambiaron el número (de singular a plural).
- Desordenaron las palabras.
- Incluso emparejaron frases en inglés con frases en hebreo que no tenían nada que ver (como poner "hola" con "la vaca come pasto").

Al hacer esto, crearon un dataset gigante de 200.000 a 400.000 frases, con una mezcla perfecta de:

Traducciones perfectas (Nota 5).
Traducciones con pequeños errores (Nota 4).
Traducciones con errores graves (Nota 3, 2, 1).
Traducciones que no tienen sentido (Nota 0).

4. El Entrenamiento: ¿Qué aprendió la IA?

Entrenaron a un modelo de Inteligencia Artificial (llamado BERT) con este nuevo "gimnasio".

Primera prueba: Usaron datos desordenados. La IA se confundió y no aprendió bien.
Segunda prueba: Usaron datos equilibrados (igual cantidad de notas 1, 2, 3, 4 y 5). ¡Mejoró mucho! La IA aprendió a distinguir los matices.
Tercera prueba (La Gran Revelación): Usaron una cantidad enorme de datos (millones de frases).
- Resultado: La IA se volvió increíblemente precisa (92% de acierto).

La lección: No solo importa qué errores enseñas, sino cuántos ejemplos le das. Cuanto más grande y variado sea el "gimnasio", mejor se vuelve el atleta.

5. ¿Para qué sirve todo esto?

Ahora tienen un sistema que puede mirar una traducción automática de inglés a hebreo y decirte: "Oye, esta frase tiene un error de género, es probable que necesite corrección humana" o "Esta frase es perfecta, puedes publicarla".

Esto ahorra tiempo y dinero, especialmente para idiomas difíciles como el hebreo, donde los errores gramaticales son muy comunes y difíciles de detectar para las máquinas.

En resumen

Los autores no esperaron a tener un tesoro de datos perfectos. En su lugar, construyeron su propio tesoro usando IA para crear frases, y luego usaron "cirugía artificial" para crear errores específicos. Al entrenar a su modelo con esta mezcla masiva y equilibrada, lograron crear un "detective de calidad" que funciona mucho mejor que los anteriores, demostrando que a veces, crear tus propios problemas (errores) es la mejor manera de aprender a resolverlos.

Título: Datos Parciales Semi-Sintéticos para la Estimación de Calidad de Traducción: Un Estudio de Caso sobre la Construcción de Conjuntos de Datos para un Par de Idiomas con Recursos Limitados

1. Problema

La Estimación de Calidad (QE) es fundamental en los flujos de trabajo de Traducción Automática (TA) para evaluar salidas sin referencias humanas y decidir si se requiere post-edición o retraducción. Sin embargo, desarrollar sistemas QE precisos y robustos para pares de idiomas con recursos limitados (como Inglés-Hebreo) sigue siendo un desafío mayor debido a:

Escasez de corpus paralelos: Falta de datos de alta calidad y gran escala.
Complejidad lingüística: El hebreo es una lengua morfológicamente rica con estructuras sintácticas flexibles y sistemas de concordancia de género y número complejos que a menudo carecen de marcadores explícitos en el inglés.
Inconsistencias en la TA: Los motores de TA actuales cometen errores frecuentes en la concordancia gramatical y la naturalidad en este par de idiomas, lo que dificulta la creación de modelos QE fiables.

2. Metodología

Los autores propusieron un enfoque de construcción de conjuntos de datos semi-sintéticos para superar la falta de datos reales. El proceso se dividió en varias etapas:

Generación de Datos Base:
- Se extrajeron ejemplos de uso de un diccionario para estudiantes de inglés.
- Se utilizó ChatGPT (3.5) para generar oraciones en inglés que mantuvieran la estructura lingüística y semántica de los ejemplos originales.
- Estas oraciones se tradujeron al hebreo utilizando tres motores de TA (Google Translate, Yandex, Microsoft).
- Se filtraron las traducciones basándose en la puntuación BLEU (se mantuvieron pares con BLEU $\ge$ 0.85) y se seleccionó la traducción con mayor consenso entre motores.
Evaluación Manual y Puntuación:
- Un lingüista evaluó manualmente las traducciones en una escala de 1 a 5 (donde 5 es excelente y 1 es inaceptable), considerando precisión, calidad lingüística, estilo, fluidez y equivalencia funcional.
- Se incorporaron segmentos traducidos profesionalmente asignándoles la puntuación máxima (5).
Aumento de Datos Basado en Perturbaciones (Data Augmentation):
- Errores Gramaticales Controlados: Se introdujeron artificialmente errores de concordancia de género y número en hebreo (usando léxicos morfológicos expertos). Cada error reducía la puntuación de calidad en 1 o 2 puntos.
- Negativos Adversarios: Se crearon pares de oraciones no relacionadas (inglés aleatorio + hebreo aleatorio) asignándoles una puntuación de 0. Esto se hizo para entrenar al modelo a detectar traducciones totalmente incorrectas, ajustando posteriormente la proporción de estos datos para evitar sesgos.
- Perturbación del Orden de Palabras: Se modificó el orden de las palabras en las traducciones hebreas (intercambio adyacente, desplazamiento de dos posiciones, mezcla aleatoria) para simular distorsiones sintácticas y asignar penalizaciones de 1 a 3 puntos.
Entrenamiento del Modelo:
- Se entrenaron modelos neuronales (BERT, XLM-R y TransQuest) con una capa de clasificación totalmente conectada para predecir la puntuación de calidad.
- Se utilizó la técnica LoRA (Low-Rank Adaptation) para un entrenamiento eficiente.

3. Contribuciones Clave

Construcción de un Dataset a Gran Escala: Creación de un corpus paralelo Inglés-Hebreo de aproximadamente 500.000 a 1 millón de segmentos, enriquecido con errores sintéticos controlados y negativos adversarios.
Estrategia de Muestreo de Distribución: Demostración de que la distribución de las etiquetas de calidad en el conjunto de entrenamiento es crítica. Se comparó el muestreo normal (sesgado hacia puntuaciones altas) frente al muestreo uniforme (distribución equilibrada en todos los niveles de calidad).
Análisis de Escala vs. Distribución: Estudio empírico sobre cómo el tamaño del dataset y la balanceación de las clases de calidad afectan el rendimiento del modelo QE.

4. Resultados

Los experimentos mostraron diferencias significativas en el rendimiento medido por el coeficiente de correlación de Pearson:

Datos Iniciales (Sin aumento): El rendimiento fue pobre (correlación < 0.1) debido al tamaño insuficiente del dataset y a la distribución sesgada (mayoría de puntuaciones 3 y 5).
Muestreo Normal (500k datos): Correlación de 0.65. Sirvió como línea base.
Muestreo Uniforme (430k datos): Al equilibrar artificialmente la distribución de puntuaciones (0 a 5), la correlación mejoró significativamente a 0.88. Esto indica que el modelo aprendió a distinguir mejor los matices entre calidades medias y bajas.
Muestreo a Gran Escala (1M y 4M datos): El uso de datasets masivos (1 y 4 millones de segmentos) sin forzar una distribución específica, pero aprovechando la variabilidad natural y el ruido controlado, logró la mejor puntuación: 0.92 de correlación de Pearson.

Conclusión de los resultados: La escala de los datos y la diversidad de variaciones lingüísticas (incluso las sintéticas) son tan importantes como la distribución balanceada para lograr modelos QE de alta precisión.

5. Significancia

Avance para Idiomas con Recursos Limitados: El estudio demuestra que es posible construir sistemas QE robustos para pares de idiomas difíciles (como Inglés-Hebreo) mediante la generación semi-sintética inteligente y el aumento de datos, sin depender exclusivamente de corpus paralelos masivos existentes.
Importancia de la Morfología: Resalta la necesidad de abordar explícitamente los errores de concordancia morfosintáctica en el entrenamiento de modelos QE para lenguas ricas en morfología.
Dirección Futura: El trabajo sienta las bases para mejorar la detección de errores idiomáticos y expresiones culturales, un desafío pendiente en la TA actual.
Implicación Práctica: Proporciona una metodología reproducible para empresas y investigadores que necesitan desarrollar herramientas de control de calidad automatizado para flujos de trabajo de traducción específicos.

En resumen, el artículo valida que la calidad del diseño del dataset (distribución uniforme y aumento de datos controlado) combinada con la escala masiva es la clave para superar las limitaciones actuales en la estimación de calidad de traducción para idiomas complejos.