Estonian WinoGrande Dataset: Comparative Analysis of LLM Performance on Human and Machine Translation

Resumen Técnico: Análisis Comparativo del Rendimiento de LLM en Traducción Humana y Automática del Dataset WinoGrande Estonio

1. Problema

El benchmark WinoGrande es una herramienta estándar para evaluar la capacidad de razonamiento de sentido común en Modelos de Lenguaje Grandes (LLM). Sin embargo, el dataset original está exclusivamente en inglés, lo que limita la evaluación de modelos multilingües a esa lengua.

• Limitaciones de la traducción automática (MT): Traducir benchmarks existentes mediante MT es una práctica común para reducir costos, pero los resultados suelen diferir de los datos anotados por humanos. Las traducciones automáticas a menudo introducen artefactos, errores gramaticales, pérdida de matices culturales y ambigüedades que invalidan la tarea de razonamiento.
• Desafíos específicos del estonio: El estonio es una lengua fino-ugria de recursos medios con una estructura aglutinante compleja (14 casos gramaticales). Esto hace que la traducción de WinoGrande sea particularmente difícil, ya que el dataset requiere una consistencia léxica estricta (especialmente en pares de oraciones "gemelas") y una adaptación cultural para que el conocimiento de sentido común sea válido para hablantes nativos.

2. Metodología

Los autores desarrollaron y evaluaron tres versiones del dataset WinoGrande en estonio (1.767 instancias):

1. Traducción Humana (HT - Human Translated):

   • Realizada por especialistas en traducción (estudiantes de máster y expertos profesionales).
   • Proceso de adaptación:
     • Localización cultural: Sustitución de nombres, marcas, alimentos y referencias geográficas por equivalentes estonios (ej. cambiar "cactus en el desierto" por "enebro en una isla"). Se adaptaron 53 ejemplos.
     • Corrección de errores: Se identificaron y corrigieron 89 ejemplos del original en inglés que eran ambiguos, tenían etiquetas incorrectas o eran triviales.
     • Consistencia gramatical: Se ajustaron manualmente los casos gramaticales para asegurar que las opciones de respuesta encajaran sintácticamente en la oración, manteniendo el solapamiento léxico del 70% en los pares gemelos.
   • Validación: Se midió el acuerdo inter-anotador (Kappa de Cohen: 0.816), confirmando alta fiabilidad.

2. Traducción Automática Simple (MT Simple):

   • Generada con un prompt cero-shot genérico utilizando modelos de OpenAI (GPT-4o).

3. Traducción Automática Detallada (MT Detailed):

   • Generada con prompts ingenierizados específicamente para abordar los problemas observados en la versión simple (consistencia en pares gemelos, inflexión gramatical correcta, localización de nombres). Se utilizaron ejemplos few-shot y listas de nombres estonios con sus casos gramaticales.

Evaluación de Modelos:
Se probaron 12 modelos (5 propietarios y 7 de código abierto de distintos tamaños) en las cuatro versiones: inglés original, estonio humano, estonio MT simple y estonio MT detallado.

3. Contribuciones Clave

• Dataset WinoGrande-Estonio: Creación de un benchmark de alta calidad, localizado y culturalmente adaptado para una lengua fino-ugria, disponible públicamente.
• Análisis de Calidad de Traducción: Demostración empírica de que la traducción automática, incluso con prompts avanzados, no puede replicar la calidad de la traducción humana en tareas de razonamiento complejo.
• Identificación de Sesgos y Errores: Se reveló que el 15.2% de las traducciones automáticas (con prompt simple) alteraron el significado original, y que los errores del dataset original en inglés se propagaron y amplificaron en la traducción automática.
• Guía para Adaptación Cultural: Ilustración de cómo la adaptación cultural no es solo una cuestión de vocabulario, sino de mantener la integridad del razonamiento lógico (ej. evitar que la gramática resuelva la ambigüedad en lugar del sentido común).

4. Resultados

• Rendimiento General:
  • Los modelos propietarios (Gemini, Claude, GPT) obtuvieron resultados similares en inglés y en la versión humana en estonio (diferencia promedio de 0.4%).
  • Los modelos de código abierto (especialmente los de rango medio/grande) rindieron peor en estonio (diferencia promedio de 5.5% respecto al inglés).
  • Impacto de la traducción: El rendimiento en los datos traducidos automáticamente fue notablemente inferior en todos los modelos comparado con la traducción humana.
• Análisis por Subconjuntos:
  • Adaptación Cultural: Los modelos rindieron un 6% mejor en los ejemplos culturalmente adaptados (versión humana) que en los no adaptados, sugiriendo que la relevancia cultural facilita el razonamiento.
  • Corrección de Errores: La versión humana corregida mostró una precisión significativamente mayor que la versión en inglés original para los mismos 89 ejemplos, confirmando que el dataset original contenía errores que la traducción humana subsanó.
  • Pérdida de Significado: En los ejemplos donde la traducción automática alteró el significado, la precisión de los modelos cayó drásticamente (hasta un 7.2% menos con el prompt detallado).
• Eficacia del Prompt Engineering: Los prompts detallados mejoraron ligeramente la consistencia léxica, pero no lograron cerrar la brecha de rendimiento con la traducción humana ni eliminar los artefactos semánticos.

5. Significado e Implicaciones

• Inviabilidad de la MT para Benchmarks Críticos: El estudio concluye que, con la tecnología actual, es inviable utilizar LLMs para traducir datasets de razonamiento como WinoGrande a lenguas de recursos medios sin intervención humana. La traducción automática introduce ruido que invalida la evaluación de las capacidades de razonamiento del modelo.
• Necesidad de Expertos Lingüísticos: La adaptación de benchmarks requiere la participación de especialistas en traducción y lingüística para garantizar que las tareas mantengan su dificultad original y no se resuelvan por azares gramaticales o culturales.
• Interpretabilidad de los Resultados: Evaluar modelos en datos traducidos automáticamente puede llevar a conclusiones erróneas. Un modelo puede fallar no por falta de razonamiento, sino porque la entrada semántica está distorsionada o es incoherente.
• Avance para el Estonio: Este trabajo proporciona una base sólida para el desarrollo y evaluación de modelos de lenguaje para el estonio, una lengua que a menudo queda relegada en la investigación de IA multilingüe.

En resumen, el paper demuestra que la calidad de los datos de evaluación es tan crítica como la calidad del modelo, y que la traducción automática no es una solución viable para la creación de benchmarks de razonamiento de sentido común en lenguas no inglesas.