Common to Whom? Regional Cultural Commonsense and LLM Bias in India

Resumen Técnico: INDICA y el Sesgo Regional en Modelos de Lenguaje

1. El Problema

Los benchmarks actuales de "sentido común cultural" (cultural commonsense) suelen tratar a las naciones como entidades monolíticas, asumiendo que las prácticas y normas culturales son uniformes dentro de las fronteras nacionales. Sin embargo, en naciones culturalmente heterogéneas como la India (con 28 estados, 8 territorios de la unión y 22 idiomas oficiales), esta suposición es incorrecta.

El artículo identifica dos brechas críticas en la evaluación de Grandes Modelos de Lenguaje (LLM):

1. Falta de especificidad regional: No se sabe si los LLMs poseen conocimiento cultural granular a nivel subnacional o si generalizan incorrectamente.
2. Sesgo geográfico implícito: Los modelos podrían estar sobre-representando ciertas regiones (como el Norte o el Centro) como el "estándar" de la cultura nacional, ignorando la diversidad real.

2. Metodología: El Benchmark INDICA

Los autores presentan INDICA (Indian Cultural commonsense Inventory with Cross-regional Answers), el primer benchmark diseñado para evaluar la variación regional del sentido común cultural. La metodología se divide en tres fases principales:

• Fase 1: Creación de Preguntas (Taxonomía Antropológica):

  • Se basaron en la Outline of Cultural Materials (OCM), una taxonomía antropológica establecida.
  • Se seleccionaron 8 dominios de la vida cotidiana: Relaciones Interpersonales, Educación, Ropa y Adorno, Procesamiento y Consumo de Alimentos, Comunicación, Finanzas, Festivales y Rituales, y Comportamiento de Tráfico y Transporte.
  • Se generaron 611 preguntas únicas a través de 39 temas, asegurando que fueran de conocimiento cotidiano y no institucional.

• Fase 2: Recolección de Respuestas:

  • Se reclutaron 5 participantes por región (Norte, Sur, Este, Oeste y Centro) que hubieran vivido en su región más del 50% de su vida.
  • Los participantes respondieron todas las preguntas, generando un total de 15,275 respuestas.
  • Se estableció un Estándar de Oro mediante consenso: una respuesta se consideró válida para una región si al menos 4 de 5 participantes coincidían semánticamente.

• Fase 3: Evaluación de Modelos:
  Se diseñaron dos tareas de evaluación complementarias para 8 LLMs de última generación (incluyendo GPT-5.2, Claude Sonnet 4.5, Gemini 3, Llama 3.3, etc.):

  1. RASA (Region-Anchored Short Answer): Evalúa si el modelo puede generar conocimiento cultural específico cuando se le proporciona el contexto geográfico (ej. "En el Sur de la India, ¿cuál es el regalo común...?").
  2. RA-MCQ (Region-Agnostic Multiple Choice Questions): Evalúa el sesgo implícito. Se presentan opciones de diferentes regiones sin etiquetarlas, para ver qué región elige el modelo como "predeterminada" para la India.

3. Contribuciones Clave

• Evidencia Empírica de Heterogeneidad: Demostraron que el sentido común cultural en la India no es nacional, sino regional. Solo el 39.4% de las preguntas alcanzaron consenso unánime entre las cinco regiones.
• Nuevo Benchmark (INDICA): Un conjunto de datos público con 1,630 pares de preguntas-respuestas específicas por región, cubriendo 8 dominios.
• Marco Generalizable: Proponen una metodología replicable para cualquier nación heterogénea (ej. China, Brasil, Nigeria) que combine taxonomía antropológica, recolección de datos regionales y medición de sesgo.
• Análisis de Sesgo Geográfico: Cuantificaron sistemáticamente cómo los LLMs favorecen ciertas regiones sobre otras debido a la distribución de datos de entrenamiento.

4. Resultados Principales

• Bajo Rendimiento en Especificidad Regional:

  • Los modelos alcanzaron una precisión general baja (13.4% – 20.9%) en preguntas de respuesta corta ancladas a regiones.
  • La mayoría de las respuestas fueron "parcialmente correctas" (61-75%), lo que indica que los modelos capturan conceptos culturales amplios pero fallan en los detalles regionales específicos, a menudo añadiendo información genérica o innecesaria ("sobre-explicación").

• Sesgo Geográfico Sistemático (RA-MCQ):

  • Cuando el contexto geográfico se elimina, los modelos muestran un sesgo fuerte hacia India Central y del Norte.
  • Sobre-selección: Las respuestas de India Central y del Norte fueron seleccionadas un 30-40% más de lo esperado (tasa de selección de 1.25x a 1.46x).
  • Sub-representación: Las regiones de Oeste y Este fueron significativamente sub-representadas (seleccionadas un 27-37% menos de lo esperado).
  • Causas del Sesgo: Los autores atribuyen esto a:
    1. La dominancia del idioma hindi en los datos de internet (Common Crawl).
    2. La fragmentación de lenguas no dominantes por los tokenizadores.
    3. La representación cultural mediática (Bollywood) centrada en el Norte/Centro.

5. Significado e Implicaciones

• Revisión de la Evaluación de IA: El trabajo demuestra que tratar a las naciones como bloques culturales uniformes es empíricamente inválido. Los modelos de IA culturalmente competentes deben modelar la diversidad donde esta existe, no promediarla.
• Impacto en la Equidad: El sesgo hacia el Norte/Centro de la India en los LLMs puede perpetuar estereotipos y marginar las prácticas culturales de otras regiones en aplicaciones reales (asistentes virtuales, sistemas educativos, servicios públicos).
• Marco para el Futuro: INDICA sirve como una "hoja de ruta" para evaluar y mitigar sesgos culturales en cualquier país diverso. Sugiere que la próxima generación de benchmarks debe ir más allá de la nación y adentrarse en la granularidad subnacional.

En conclusión, el artículo establece que el "sentido común" en la India es predominantemente regional, y que los LLMs actuales fallan en capturar esta diversidad, operando con un sesgo intrínseco que normaliza las prácticas del Norte y Centro como la norma nacional.