TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

1. El Problema

El artículo identifica una brecha crítica en la evaluación de la competencia cultural de los Modelos de Lenguaje Grandes (LLM) en idioma persa (Farsi). Los desafíos principales son:

• Dominio de formatos de opción múltiple (MCQ): Las evaluaciones existentes en persa (como ParsiNLU o Khayyam Challenge) se basan predominantemente en preguntas de opción múltiple. La investigación sugiere que estas miden la recuperación de hechos (memoria) en lugar de la comprensión conceptual o cultural profunda.
• Limitaciones de las métricas de coincidencia exacta: Las evaluaciones de preguntas de respuesta corta (SAQ) existentes (como BLEnD) utilizan métricas de coincidencia exacta o superposición superficial de cadenas. Esto falla en idiomas morfologicamente complejos como el persa, donde variaciones ortográficas, diacríticas, sistemas numéricos (arábigo vs. persa) y registros (formal vs. coloquial) pueden expresar el mismo significado semántico pero fallar en una comparación literal.
• Sesgo en los evaluadores basados en LLM: El uso de otros LLM como "jueces" (LLM-as-a-Judge) ha demostrado ser inestable, sensible a los prompts y propenso a sesgos posicionales, además de mostrar un acuerdo moderado con juicios humanos.
• Ausencia de benchmarks culturales específicos: No existía un marco estandarizado que evaluara explícitamente la comprensión de normas sociales y contextos culturales persas mediante respuestas generadas libremente.

2. Metodología

Los autores presentan TARAZ, un marco de evaluación integral diseñado específicamente para el persa. La metodología se divide en cuatro componentes clave:

A. Adaptación y Creación de Conjuntos de Datos (Datasets)

Se utilizaron tres conjuntos de datos que cubren diferentes facetas de la cultura persa, transformados a formato de respuesta corta (SAQ):

1. BLEnD (Persian subset): 500 preguntas sobre conocimiento cotidiano (comida, familia, trabajo). Se caracteriza por tener múltiples respuestas válidas por pregunta.
2. PerCul-SAQ: Derivado de PerCul, convierte 592 preguntas de opción múltiple basadas en narrativas culturales en tareas de generación de respuesta corta. Evalúa el razonamiento cultural en escenarios realistas (ej. identificar objetos en una historia de Nowruz).
3. ISN-SAQ: Derivado del conjunto de normas sociales iraníes (ISN), contiene 535 preguntas sobre comportamientos normativos en contextos específicos (ej. etiqueta en aeropuertos, mercados, mezquitas).

B. Preprocesamiento Específico para Persa

Para abordar la complejidad morfológica del persa, se desarrolló una tubería de postprocesamiento automatizada antes de la evaluación:

• Normalización de dígitos: Unificación de números en formato persa (۰-۹).
• Normalización de caracteres: Sustitución de variantes árabes por sus equivalentes persas (ej. ﯼ por ﻱ, ﮎ por ﻙ).
• Eliminación de diacríticos y signos de puntuación: Estandarización del texto.
• Segmentación basada en conjunciones: División de respuestas que contienen múltiples ideas unidas por conjunciones (y, o, también).
• Eliminación de palabras vacías (Stop words) y Stemming: Reducción de palabras a su forma base eliminando sufijos comunes.

C. Métricas de Evaluación Híbridas

En lugar de depender solo de la coincidencia exacta, TARAZ emplea un enfoque híbrido:

1. Métricas Léxicas: Exact Match (EM) y ROUGE (1, 2, L).
2. Evaluación con LLM (LLM-judge): Uso de GPT-5 para evaluar la equivalencia semántica.
3. Similitud Semántica (Cosine Similarity): Uso de embeddings de oraciones basados en el modelo maux-gte-persian-v3 (fine-tuned para persa).
4. Enfoque Híbrido (Maux+Post): La métrica principal propuesta. Combina el postprocesamiento específico del persa con la similitud coseno de los embeddings. Esto permite capturar equivalencias semánticas que las métricas superficiales pierden.

D. Evaluación Humana

Se realizó una evaluación humana con tres anotadores sobre 70 muestras de BLEnD para validar las métricas automáticas, calculando el acuerdo porcentual y el coeficiente Kappa de Cohen.

3. Contribuciones Clave

• TARAZ Framework: El primer marco estandarizado y reproducible para evaluar la comprensión cultural en persa mediante preguntas de respuesta corta.
• Nuevos Conjuntos de Datos: La adaptación de ISN y PerCul a formato SAQ, creando ISN-SAQ y PerCul-SAQ, que desafían a los modelos a generar respuestas culturales en lugar de seleccionar opciones.
• Pipeline de Normalización Persa: Una solución automatizada para manejar la variabilidad morfológica, ortográfica y numérica del persa, superando las limitaciones de los benchmarks anteriores.
• Métrica Híbrida Robusta: Demostración de que la combinación de normalización morfológica y similitud semántica (Maux+Post) supera significativamente a las métricas de coincidencia exacta y a los evaluadores basados en LLM puros.

4. Resultados

Se evaluaron 15 modelos (4 propietarios, 5 de peso abierto y 6 fine-tuned en persa) en los tres conjuntos de datos:

• Rendimiento General: Los modelos propietarios de vanguardia (GPT-5 y Claude Opus 4.1) obtuvieron los mejores resultados en todas las métricas y datasets.
• Modelos Fine-Tuned en Persa: Los modelos adaptados específicamente al persa (como PersianMind, ParsT5, Maral) mostraron un rendimiento notablemente inferior, a menudo produciendo tokens repetitivos o sin sentido, con puntuaciones de ROUGE cercanas a cero en tareas complejas. Esto sugiere que el fine-tuning en datos traducidos o de tamaño pequeño (7B-8B) es insuficiente para el razonamiento cultural profundo.
• Modelos de Peso Abierto: Gemma-2-27B y DeepSeek-V3 mostraron un rendimiento competitivo, superando a los modelos fine-tuned en persa, lo que indica que la escala y la arquitectura multilingüe son factores más determinantes que la adaptación específica al idioma en este contexto.
• Validación de Métricas:
  • La métrica híbrida (Maux+Post) mejoró la consistencia de la puntuación en un +10% en comparación con las líneas base de coincidencia exacta.
  • En la evaluación humana, Maux+Post alcanzó un acuerdo del 95.1% con la mayoría humana (Kappa = 0.384), superando al LLM-judge (GPT-5), que solo alcanzó un 82.4% y tendió a ser más estricto penalizando respuestas semánticamente correctas pero superficialmente diferentes.
• Análisis por Subtemas: Los modelos struggled (lucharon) particularmente con conceptos culturales específicos como "Comida" y "Familia" en BLEnD, y con categorías como "Música" y "Arte" en PerCul-SAQ, revelando lagunas en el conocimiento cultural cotidiano.

5. Significado e Impacto

• Avance en NLP Persa: TARAZ establece un nuevo estándar para la evaluación de LLMs en persa, moviéndose más allá de la simple traducción o la recuperación de hechos hacia la comprensión cultural profunda.
• Evidencia de la Insuficiencia del Fine-Tuning Local: Los resultados indican que los modelos pequeños fine-tuned en persa no son suficientes para tareas de razonamiento cultural complejo; se requiere inversión en pre-entrenamiento culturalmente fundamentado y modelos de mayor escala.
• Metodología Reproducible: Al liberar el código, los datos y los módulos de postprocesamiento, los autores proporcionan una base sólida para futuras investigaciones en evaluación intercultural de LLMs, no solo para el persa, sino como modelo para otros idiomas morfológicamente ricos.
• Superioridad de la Evaluación Semántica: El trabajo demuestra empíricamente que para idiomas con alta variabilidad morfológica, las métricas de similitud semántica combinadas con normalización lingüística son superiores a las métricas de coincidencia exacta o a los evaluadores de LLM sin preprocesamiento.

En conclusión, TARAZ no solo revela las limitaciones actuales de los LLMs en la comprensión cultural persa, sino que proporciona las herramientas metodológicas necesarias para medir y mejorar dicha competencia de manera justa y precisa.