UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop

Resumen Técnico: UrduBench

Declaración del Problema

A pesar de los rápidos avances en los Modelos de Lenguaje Extensos (LLMs) en cuanto a capacidades de razonamiento, la evaluación de estos modelos en lenguas de bajos recursos como el urdu sigue siendo un desafío significativo. Los recursos de evaluación existentes para el urdu se centran principalmente en tareas de Procesamiento de Lenguaje Natural (NLP) y Comprensión de Lenguaje Natural (NLU), tales como la traducción automática, el análisis de sentimiento y la clasificación básica. Estas evaluaciones no logran evaluar capacidades de razonamiento complejas, incluyendo la resolución de problemas matemáticos y la inferencia de sentido común. Además, la traducción directa de benchmarks establecidos en inglés suele introducir errores sustanciales y fragmentación contextual, lo que distorsiona los resultados de la evaluación y evita comparaciones justas y rigurosas entre modelos multilingües.

Metodología

Para abordar estas brechas, los autores proponen UrduBench, un conjunto de benchmarks estandarizados de razonamiento para el urdu. El núcleo de su metodología es un Marco de Traducción de Ensamble Contextual con validación de Humano en el Bucle (Human-in-the-Loop), diseñado para preservar la fidelidad semántica y la integridad estructural durante el proceso de traducción.

El marco opera a través de las siguientes etapas:

1. Traducción Contextual: En lugar de traducir preguntas y opciones de respuesta de forma independiente, el pipeline concatena el enunciado de la pregunta con todas las opciones asociadas antes de la traducción. Esto evita la fragmentación semántica, particularmente para conjuntos de datos de opción múltiple como CommonSenseQA y OpenBookQA.
2. Generación de Ensambles: Cuatro modelos de traducción complementarios (IndicTrans2, NLLB, Qwen-3-30B y Gemini-2.5-Pro) generan traducciones iniciales.
3. Fusión de Candidatos: Se emplea GPT-5.1 para analizar las traducciones candidatas frente al origen en inglés. Este sintetiza una traducción mejorada o selecciona la salida de mejor rendimiento aprovechando las fortalezas complementarias en la elección léxica, la gramática y el manejo de contenido técnico.
4. Post-procesamiento Heurístico: Verificaciones automatizadas validan las traducciones para detectar problemas como salidas vacías, falta de caracteres en urdu, exceso de inglés residual o claves de respuesta inválidas.
5. Validación Humana: Profesionales nativos de urdu, fluidos en inglés, realizan una revisión final, seleccionando la traducción más precisa y natural para cada instancia para resolver ambigüedades y asegurar el matiz cultural.

Utilizando este marco, los autores tradujeron cuatro benchmarks de razonamiento ampliamente adoptados:

• MGSM: Matemáticas de Escuela Primaria Multilingüe (razonamiento aritmético).
• MATH-500: Matemáticas simbólicas a través de cinco niveles de dificultad (L1–L5).
• CommonSenseQA: Conocimiento de sentido común e inferencia.
• OpenBookQA: Razonamiento científico basado en hechos y recuperación.

Contribuciones Clave

• Dataset UrduBench: La creación del primer conjunto de benchmarks de razonamiento en urdu estandarizado y de alta fidelidad, que comprende 250 instancias de MGSM, 500 de MATH-500, 1,140 de CommonSenseQA y 500 de OpenBookQA.
• Marco de Traducción: Un pipeline de traducción de ensamble escalable y consciente del contexto que integra múltiples LLMs con validación de humano en el bucle, asegurando la coherencia lingüística y reduciendo el ruido inducido por la traducción.
• Evaluación Exhaustiva: Una evaluación a gran escala de diversos LLMs de vanguardia (que van desde 1B hasta 14B+ de parámetros), incluyendo modelos orientados al razonamiento y modelos ajustados por instrucciones, a través de múltiples estrategias de prompting (Directo, Cadena de Pensamiento [Chain-of-Thought], Pocos Ejemplos + CoT).

Resultados y Análisis

La evaluación revela varios conocimientos críticos sobre el razonamiento multilingüe:

• Sensibilidad a la Tarea: Los benchmarks intensivos en razonamiento (MGSM, MATH-500) exhiben una varianza de rendimiento significativamente mayor y una precisión menor en comparación con las tareas de sentido común (CommonSenseQA, OpenBookQA), lo que indica que el razonamiento de múltiples pasos y el simbólico son particularmente sensibles a la transferencia lingüística y al ruido de la traducción.
• Escalamiento de la Dificultad: El rendimiento en MATH-500 declina monótonamente a medida que aumenta la dificultad del problema. Mientras que los modelos más grandes (por ejemplo, Gemma-3-12B-it) y los modelos orientados al razonamiento (por ejemplo, DeepSeek-R1-Distill-Qwen-14B) mantienen un rendimiento relativamente más fuerte en niveles de dificultad más altos, todos los modelos muestran degradación, resaltando los desafíos inherentes de las matemáticas formales en entornos de bajos recursos.
• Arquitectura de Modelo y Escala: Aunque los modelos más grandes generalmente funcionan mejor, la escala por sí sola es insuficiente. Por ejemplo, Gemma-3-4B-it supera a varios modelos de 7B y 8B, lo que sugiere que el preentrenamiento multilingüe dirigido y la exposición al urdu son más críticos que el recuento de parámetros por sí solo.
• Razonamiento vs. Ajuste de Instrucciones: Los modelos especializados en razonamiento muestran ganancias claras en tareas aritméticas (MGSM) bajo el prompting de Cadena de Pensamiento (CoT), pero no superan consistentemente a los modelos de instrucción general en benchmarks de sentido común. Esto sugiere que la supervisión explícita del razonamiento por sí sola es insuficiente sin un sólido fundamento multilingüe.
• Consistencia del Lenguaje: Existe una fuerte correlación positiva entre la consistencia del lenguaje (la capacidad del modelo para responder enteramente en urdu sin alternancia de código/code-switching) y la precisión del razonamiento. Los modelos con mayor consistencia lingüística, como Gemma-3-12B-it y Llama-3.1-8B-Instruct, logran un rendimiento superior, particularmente en tareas de razonamiento de múltiples pasos donde el uso inconsistente del lenguaje interrumpe los cálculos intermedios.

Significado

El artículo establece una metodología escalable para la evaluación estandarizada del razonamiento en urdu, proporcionando un marco reproducible que puede adaptarse a otras lenguas de bajos recursos. Al demostrar que la alineación lingüística estable es un prerrequisito crítico para un razonamiento multilingüe robusto, el trabajo ofrece conocimientos empíricos sobre los modos de falla de los actuales LLMs en contextos ajenos al inglés. Los autores señalan que sus hallazgos subrayan la necesidad de combinar prompts de razonamiento explícitos, capacidad de modelo suficiente y un entrenamiento consciente de la multilingüidad para lograr un rendimiento de razonamiento confiable en lenguas de bajos recursos. El código y los datasets se ponen a disposición pública para facilitar la investigación posterior.