Unmasking the Factual-Conceptual Gap in Persian Language Models

Resumen Técnico: Unmasking the Factual-Conceptual Gap in Persian Language Models

1. Planteamiento del Problema

A pesar del avance de los modelos de lenguaje grandes (LLMs) en persa y la existencia de nuevos benchmarks (puntos de referencia) que cubren pragmática y cortesía, existe una carencia crítica en la evaluación actual: la distinción entre la memorización de hechos culturales y la capacidad de razonar sobre normas sociales implícitas.

Los modelos actuales suelen tratar conceptos culturales persas (como supersticiones, costumbres y etiqueta social) como datos factuales recuperables, en lugar de esquemas cognitivos complejos que dependen del contexto. El artículo identifica que los modelos fallan al distinguir entre:

• Hechos culturales: Información explícita (ej. "¿Qué es el Taarof?").
• Esquemas culturales: Lógica social implícita y dependiente del contexto (ej. "¿Es apropiado aceptar comida en la primera oferta de un invitado persa?").

El problema central es que los modelos aprenden a imitar patrones superficiales de texto persa sin internalizar la lógica subyacente de las interacciones sociales, lo que lleva a errores graves en situaciones donde la norma cultural contradice la lógica literal o requiere inferencia de múltiples pasos.

2. Metodología: DIVANBENCH

Para abordar esta brecha, los autores introducen DIVANBENCH, un benchmark diagnóstico diseñado específicamente para evaluar el razonamiento cultural en LLMs persas.

• Estructura del Dataset:

  • 315 preguntas basadas en 81 conceptos culturales distintos.
  • Cubre 7 dominios: etiqueta social, tradiciones de Nowruz, seres sobrenaturales, rituales apotropaicos (contra el mal de ojo), ceremonias de boda, tabúes y adivinación.
  • Los conceptos abarcan desde creencias zoroástricas antiguas hasta tradiciones islámicas y folclore contemporáneo.

• Tres Tipos de Tareas (Arquitectura de 3 Niveles):

  1. Recuperación de Hechos (Factual MCQ): 100 preguntas de opción múltiple para evaluar la base de conocimiento factual (ej. historia, geografía, definiciones).
  2. Verificación de Creencias Binaria (Binary Belief Verification): 162 enunciados emparejados (81 pares). Cada par presenta un escenario "positivo" (comportamiento culturalmente correcto) y uno "negativo" (violación cultural plausible en otros contextos). Esta tarea mide el sesgo de aquiescencia (tendencia a decir "sí" o aceptar cualquier afirmación que suene culturalmente relevante).
  3. Razonamiento Basado en Escenarios (Scenario-Based MCQ): 53 preguntas que requieren inferencia multi-paso en situaciones sociales complejas y novedosas, evaluando la aplicación de la lógica cultural en lugar de la memorización.

• Control de Calidad:

  • Todas las preguntas fueron redactadas y refinadas por autores nativos con experiencia vivida en la sociedad iraní, asegurando autenticidad y evitando estereotipos.
  • Se utilizaron 5 prompts de sistema variados para mitigar la sensibilidad a la formulación de las preguntas.

3. Configuración Experimental

• Modelos Evaluados: 7 LLMs de última generación en el rango de 7B a 12B de parámetros (Aya-8B, Dorna2-8B, Gemma2-9B, Gemma3-12B, Llama3.1-8B, Qwen2-7B, Qwen2.5-7B).
• Comparación Clave: Se realizó un análisis controlado entre Llama3.1-8B (modelo base) y Dorna2-8B (su variante adaptada al persa mediante preentrenamiento continuo), para aislar el efecto del preentrenamiento monolingüe.
• Métricas: Precisión general, Sesgo de Aquiescencia (diferencia entre aceptación de escenarios positivos y rechazo de negativos) y Brecha Factual-Conceptual (diferencia entre rendimiento en recuperación de hechos y razonamiento en escenarios).

4. Resultados Clave

El estudio reveló cuatro hallazgos críticos que desafían las suposiciones actuales sobre la competencia cultural en LLMs:

1. La Trampa de la Aquiescencia (Acquiescence Trap):

   • 6 de los 7 modelos mostraron un sesgo de aquiescencia severo. Aunque identificaban correctamente comportamientos apropiados (84-92% de precisión), fallaban estrepitosamente al rechazar violaciones culturales claras (tasa de rechazo entre 19% y 48%).
   • Esto indica que los modelos están reconociendo palabras clave culturales (como Taarof o Esfand) y asumiendo que cualquier enunciado que las contenga es "correcto", en lugar de razonar sobre la lógica de la situación.
   • Excepción: Llama3.1-8B mostró un sesgo escéptico (rechazaba más de lo que aceptaba), lo cual se perdió tras la adaptación persa.

2. La Paradoja del Preentrenamiento Persa:

   • El preentrenamiento continuo en persa (comparando Llama3.1 vs. Dorna2) degradó el razonamiento crítico.
   • La precisión en el rechazo de violaciones cayó drásticamente del 73% al 30% (-43 puntos porcentuales).
   • El modelo adaptado se volvió más "fluido" culturalmente (aceptaba el 91% de los escenarios positivos) pero menos discerniente, reforzando patrones superficiales en lugar de la lógica profunda.

3. La Brecha Factual-Conceptual:

   • Existe una brecha consistente de ~21% entre la recuperación de hechos y el razonamiento en escenarios.
   • Los modelos pueden recordar qué es una tradición, pero no saben cuándo o cómo aplicarla correctamente en un contexto social dinámico. Esto sugiere que los hechos y los esquemas culturales son objetivos de aprendizaje independientes.

4. El Tamaño no Garantiza Inteligencia Cultural:

   • El modelo más grande (Gemma3-12B) tuvo el mejor rendimiento en recuperación de hechos (87%), pero también mostró un sesgo de aquiescencia extremo (+61%), aceptando casi todas las afirmaciones positivas y fallando en rechazar las negativas.
   • Escalar el modelo mejora la memorización de datos, pero no necesariamente la capacidad de discernimiento cultural o el razonamiento lógico implícito.

5. Contribuciones y Significado

• Nueva Métrica de Evaluación: DIVANBENCH establece un estándar para evaluar la competencia cultural más allá de la fluidez lingüística o la recuperación de hechos, enfocándose en la capacidad de razonamiento sobre normas implícitas.
• Desafío a la Escalabilidad Monolingüe: El estudio demuestra que simplemente aumentar la cantidad de datos de entrenamiento en un idioma específico (preentrenamiento continuo) no mejora la comprensión cultural; de hecho, puede empeorar la capacidad de razonamiento al reforzar sesgos de patrones superficiales.
• Distinción Teórica: Proporciona evidencia empírica de la distinción entre hechos culturales (conocimiento explícito) y esquemas culturales (lógica social implícita), sugiriendo que los mecanismos de entrenamiento actuales son insuficientes para internalizar estos esquemas.
• Implicaciones para NLP de Recursos Limitados: Para idiomas como el persa, que poseen capas culturales complejas (zoroastrismo, islam, folclore), se requieren métodos de entrenamiento más avanzados que la simple escalada de datos, posiblemente enfocados en el razonamiento social y la alineación con normas implícitas.

En conclusión, el trabajo concluye que la competencia cultural real requiere que los modelos internalicen las "reglas no escritas" de la sociedad, algo que los modelos actuales, incluso los más grandes, no logran mediante el entrenamiento estándar en texto.