Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

Resumen Técnico: Superando la Brecha Cultural en la Localización de Problemas Matemáticos

1. El Problema: Sesgo Centrado en lo Inglés y Falta de Contexto Cultural

Aunque los Modelos de Lenguaje Grande (LLM) han demostrado capacidades significativas para resolver problemas matemáticos expresados en lenguaje natural, su rendimiento en idiomas de recursos bajos (LRL) y contextos multilingües es deficiente en comparación con el inglés.

• Causa Raíz: La mayoría de los conjuntos de datos de evaluación multilingüe se crean mediante traducción directa de benchmarks en inglés (como GSM8K). Estos conjuntos de datos traducidos retienen entidades centradas en la cultura occidental (nombres propios, organizaciones, monedas como el dólar), ignorando la realidad socio-cultural de los hablantes nativos.
• Consecuencia: Los modelos no están siendo evaluados en su capacidad real de razonamiento matemático, sino en su familiaridad con entidades culturales extranjeras. Esto genera una "robustez" falsa; cuando se introducen entidades nativas (ej. cambiar "Mandy" por "Camari" o "dólares" por "chelines"), el rendimiento de los LLMs cae drásticamente, revelando una falta de generalización real.
• Barrera Actual: La localización manual por humanos es extremadamente costosa y lenta, lo que ha limitado la creación de conjuntos de datos verdaderamente localizados para idiomas de recursos bajos.

2. Metodología: Un Pipeline Automatizado de Localización Socio-Cultural

Los autores proponen un marco de trabajo automatizado impulsado por LLMs para transformar benchmarks traducidos en versiones culturalmente adaptadas. El proceso se divide en siete etapas clave (ilustradas en la Tabla 1 del artículo):

1. Clasificación de Entidades: Se utiliza un LLM (en lugar de modelos NER tradicionales como spaCy, que fallan con variaciones ortográficas) para identificar y extraer entidades críticas: nombres propios, nombres de organizaciones y divisas.
2. Base de Datos Multilingüe: Se colaboró con voluntarios para curar una base de datos de nombres unisex, organizaciones y valores de moneda representativos para cada uno de los 18 idiomas africanos objetivo, evitando sesgos de género.
3. Creación del Diccionario de Reemplazo: Se mapean las entidades extraídas del texto original (inglés) a sus equivalentes locales en la base de datos curada.
4. Reemplazo de Entidades: Se genera una versión intermedia del texto traducido donde las entidades originales se sustituyen por las locales, pero el resto del texto permanece como una traducción directa.
5. Localización Automática (Auto-Localization): Se utiliza un LLM (Gemini) con una estrategia de one-shot prompting. Se le presenta al modelo el par (Origen en Inglés, Traducción Directa) y la versión con entidades reemplazadas. El modelo debe generar la traducción final que integre las nuevas entidades manteniendo la fluidez y la gramática nativa.
   • Ventaja: Esto evita que el LLM simplemente traduzca de nuevo desde cero, asegurando que la estructura semántica se preserve mientras se adapta el contexto cultural.
6. Control de Calidad: Se aplican verificaciones automáticas (longitud, similitud de texto, consistencia de entidades) para asegurar que no se introduzcan errores o que las entidades no se mezclen. Si falla, se devuelve la traducción original.
7. Verificación Humana: Se realiza una validación humana en una muestra para confirmar la calidad de la localización.

Datos Generados:

• Evaluación: Se creó Localized-AfriMGSM, una versión localizada de AfriMGSM para 18 idiomas.
• Entrenamiento: Se generaron 25,100 ejemplos de problemas matemáticos localizados a partir de GSM8K para 18 idiomas, utilizando NLLB-200 para la traducción inicial y Gemini-2.5-pro para la localización final.

3. Contribuciones Clave

1. Pipeline de Localización Automatizado: Un sistema escalable que genera conjuntos de datos matemáticos culturalmente adaptados sin depender exclusivamente de anotadores humanos costosos.
2. Análisis de Disparidades de Rendimiento: Demostración empírica de que los benchmarks traducidos ocultan la verdadera capacidad multilingüe de los modelos. Se encontró que la presencia de entidades culturales nativas puede causar caídas de rendimiento de hasta un 9% en métricas de coincidencia numérica (Numeric Match) en modelos como GPT-4o-mini.
3. Mejora de la Robustez mediante Fine-Tuning: Se demostró que el ajuste fino (fine-tuning) de modelos (Gemma-2-9b-it y LLaMA-3-8B-Instruct) con estos datos localizados mejora significativamente su robustez y generalización en entornos multilingües, reduciendo la dependencia de las entidades centradas en inglés.

4. Resultados y Análisis

Los experimentos se centraron en responder tres preguntas de investigación (RQ):

• RQ1 (Viabilidad del Pipeline): El pipeline automatizado supera a la localización por prompting directo. Mientras que el prompting directo a menudo falla en adaptar las entidades o devuelve la traducción original, el pipeline propuesto logra una alta consistencia y calidad, validada por un acuerdo inter-annotador (Kappa de Cohen) de 0.79.
• RQ2 (Disparidades de Rendimiento):
  • Los modelos evaluados en benchmarks traducidos (con entidades en inglés) obtienen puntuaciones artificialmente altas.
  • Al introducir entidades nativas, el rendimiento de la mayoría de los modelos cae, revelando que están "sobreajustados" a la cultura occidental.
  • Excepción: Modelos como Gemma-2-27b-it mostraron una mayor consistencia entre ambos tipos de benchmarks, sugiriendo una mejor capacidad de generalización.
• RQ3 (Mejora de Robustez):
  • El fine-tuning con datos localizados (o una combinación de datos traducidos, con entidades reemplazadas y localizados) mejora la capacidad de los modelos para resolver problemas en sus idiomas nativos.
  • La combinación de fuentes de datos diversas (hybrid augmentation) produce los modelos más robustos, capaces de manejar variaciones culturales sin perder precisión matemática.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA en idiomas de recursos bajos por varias razones:

• Desmitificación de Benchmarks Traducidos: Alerta a la comunidad de investigación de que evaluar modelos en datos traducidos sin localización cultural no mide la verdadera capacidad de razonamiento, sino la familiaridad con la cultura anglosajona.
• Escalabilidad: Proporciona una solución práctica y económica para generar grandes volúmenes de datos de entrenamiento y evaluación culturalmente relevantes, algo que antes era prohibitivo.
• Equidad y Realismo: Fomenta el desarrollo de modelos que funcionen en el mundo real, donde los usuarios interactúan con sistemas utilizando sus propios nombres, monedas y contextos culturales, no versiones importadas de Estados Unidos o Europa.
• Dirección Futura: Establece la "robustez cultural" como un eje de análisis de primer orden en la evaluación de LLMs, sugiriendo que futuras investigaciones deben centrarse en crear problemas matemáticos basados en actividades cotidianas de las comunidades objetivo, no solo en traducir problemas existentes.

En conclusión, el artículo demuestra que la localización socio-cultural no es un lujo, sino una necesidad para lograr una inteligencia artificial matemática verdaderamente robusta y equitativa en un mundo multilingüe.