Resumen Técnico: La verdad no conoce de lenguas: Evaluando la veracidad más allá del inglés

Planteamiento del problema

La evaluación de la veracidad en los Modelos de Lenguaje de Gran Escala (LLMs) se ha limitado predominantemente al inglés, utilizando principalmente el benchmark TruthfulQA. Si bien TruthfulQA es el estándar para evaluar cómo los LLMs imitan las falsedades humanas, su disponibilidad exclusiva en inglés limita la comprensión de si los LLMs mantienen la veracidad en diferentes idiomas, particularmente en aquellos de bajos recursos. Los intentos existentes de traducir el conjunto de datos han sido informales (traducción automática) en lugar de profesionales, careciendo de una evaluación rigurosa de la utilidad del conjunto de datos para lenguas distintas al inglés. Además, existe la necesidad de determinar si el contexto cultural y temporal inherente a las preguntas originales en inglés afecta las evaluaciones de veracidad al ser traducidas, y si las métricas de evaluación automática actuales (como las de opción múltiple) son suficientes para la evaluación de la veracidad translingüística.

Metodología

Este estudio introduce una extensión traducida profesionalmente del benchmark TruthfulQA a cuatro idiomas: euskera, catalán, gallego y español. El proceso de traducción contó con hablantes nativos profesionales y se adhirió a directrices específicas para mantener el paralelismo mientras se manejaban los matices culturales (p. ej., traducción literal de proverbios, préstamo de acrónimos y generalización de términos específicos de la cultura).

Configuración experimental

Los autores evaluaron 12 LLMs de vanguardia de código abierto de las familias Llama 3/3.1 y Gemma 2, que van desde 7B hasta 70B de parámetros. Se probaron tanto variantes base como ajustadas por instrucciones (instruction-tuned).

Se emplearon tres métodos de evaluación:

1. Evaluación Humana: Una evaluación manual de 400 respuestas (100 preguntas × 4 modelos) para veracidad e informatividad utilizando etiquetas binarias.
2. Opción Múltiple (MC2): La métrica automática estándar utilizada en las tablas de clasificación (leaderboards), que calcula la probabilidad de respuestas correctas frente a las incorrectas.
3. LLM-as-a-Judge (LLM como juez): Una evaluación de generación automática donde un modelo juez ajustado (específicamente Gemma 2 9B Instruct, entrenado con datos de traducción automática) evalúa la veracidad de las respuestas generadas. Este método se seleccionó debido a su alta correlación con los juicios humanos.

Además, el estudio comparó el conjunto de datos traducido profesionalmente contra una versión generada mediante Traducción Automática (MT) usando Claude 3.5 Sonnet para evaluar la viabilidad de la MT para escalar los benchmarks de veracidad. El conjunto de datos también fue analizado dividiendo las preguntas en categorías universales (independientes de tiempo/contexto) y dependientes de contexto/tiempo.

Contribuciones Clave

1. Conjunto de datos Multilingüe TruthfulQA: La primera versión traducida profesionalmente de TruthfulQA que cubre euskera, catalán, gallego y español, abordando la brecha en la evaluación de lenguas de bajos recursos.
2. Marco de Evaluación: Una comparación exhaustiva de los métodos de evaluación, demostrando que LLM-as-a-Judge correlaciona significativamente mejor con los juicios humanos que las métricas de opción múltiple (MC2) en todos los idiomas.
3. Análisis de Informatividad: La identificación de que los modelos base a menudo producen respuestas no informativas (p. ej., "No tengo comentarios"), lo que infla artificialmente las puntuaciones de veracidad en las métricas estándar. El estudio destaca la necesidad de evaluar la informatividad por separado, particularmente para los modelos base.
4. Viabilidad de la Traducción: Evidencia que sugiere que la traducción automática de alta calidad es una alternativa viable y escalable a la traducción profesional para extender los benchmarks de veracidad a idiomas adicionales, siempre que el motor de traducción sea de vanguardia.

Resultados

• Disparidades Lingüísticas: Los LLMs generalmente funcionan mejor en inglés y peor en euskera (el idioma con menos recursos). Sin embargo, la discrepancia general en las puntuaciones de veracidad entre idiomas es menor de lo anticipado.
• Rendimiento de los Modelos:
  • Los modelos ajustados por instrucciones superan consistentemente a los modelos base en veracidad.
  • Los modelos más grandes (p. ej., 70B) tienden a superar a sus contrapartes más pequeños dentro de la misma familia, contrastando con algunos hallazgos previos donde el tamaño del modelo no se correlacionaba con la veracidad.
  • Los modelos Gemma 2 demostraron una veracidad superior en comparación con los modelos Llama 3 en todos los idiomas.
• Métricas de Evaluación: El método LLM-as-a-Judge mostró un mayor acuerdo con los evaluadores humanos (Kappa de Cohen) que MC2. Notablemente, un juez entrenado en datos en inglés funcionó mejor que MC2 incluso al evaluar idiomas distintos al inglés, aunque un juez entrenado en datos multilingües fue el que mejor desempeño tuvo.
• Preguntas Universales vs. Contextuales: Los modelos funcionan significativamente mejor en preguntas de conocimiento universal (acercándose al 90% de precisión) en comparación con las preguntas dependientes de tiempo y contexto. Esto sugiere que los benchmarks estáticos que carecen de variedad contextual pueden llevar a la saturación del rendimiento y no reflejar los desafíos de la desinformación en el mundo real.
• Traducción Automática: Las pruebas estadísticas confirmaron que no hay una diferencia significativa en las puntuaciones de veracidad entre los conjuntos de datos traducidos profesionalmente y los traducidos automáticamente, lo que respalda el uso de MT para la expansión de conjuntos de datos.

Significado y Reivindicaciones

El artículo sostiene que, si bien el inglés sigue siendo el idioma donde los LLMs exhiben la mayor veracidad y coherencia, la brecha entre el inglés y otros idiomas no es tan vasta como se temía anteriormente. El estudio desafía la suposición de que las métricas de opción múltiple son suficientes para la evaluación de la veracidad, abogando por enfoques de LLM-as-a-Judge que capturan mejor los matices del texto generado.

Los autores enfatizan que la informatividad es un factor crítico y a menudo pasado por alto; sin ella, las métricas de veracidad para los modelos base pueden ser engañosamente altas debido a respuestas evasivas. Además, los resultados indican que las preguntas universales son cada vez más fáciles de responder correctamente para los LLMs modernos, lo que sugiere que los futuros benchmarks de veracidad deben incorporar variabilidad cultural y temporal para mantener su rigor y relevancia.

Finalmente, el artículo postula que la traducción automática ofrece un camino escalable y rentable para extender los benchmarks de veracidad a una gama más amplia de idiomas, democratizando potencialmente la evaluación de la seguridad y confiabilidad de los LLM más allá del mundo angloparlante. Sin embargo, los autores señalan modestamente las limitaciones respecto al alcance específico de las lenguas ibéricas y la naturaleza estática del conjunto de datos, que podría no capturar plenamente la desinformación dinámica del mundo real.