Characterizing Cultural Localization in AI-Generated Stories

Planteamiento del Problema
A medida que los Modelos de Lenguaje Extensos (LLM) se despliegan globalmente, aumenta el interés en su capacidad para generar contenido culturalmente localizado. Sin embargo, no está claro si los modelos logran la localización mediante una localización holística —donde el contexto cultural moldea las tramas narrativas, los valores, los temas y las estructuras— o mediante una localización basada en plantillas. La localización basada en plantillas ocurre cuando un modelo inserta marcadores culturales aislados (por ejemplo, nombres, ubicaciones, artefactos) en una plantilla narrativa homogénea y culturalmente agnóstica. El artículo postula que, si los modelos dependen de la localización basada en plantillas, corren el riesgo de producir historias que reflejen narrativas y valores homogéneos, lo que podría conducir a daños culturales como la erradicación, la imposición de valores occidentales y la reducción de la diversidad creativa. Además, las evaluaciones existentes a menudo no logran distinguir entre la variación léxica superficial y las diferencias narrativas profundas, lo que podría sobreestimar la competencia cultural de un modelo.

Metodología
Los autores proponen un método de dos etapas para detectar y medir el grado de localización basada en plantillas en historias generadas por IA:

1. Identificación de Marcadores Culturales: El método identifica primero el conjunto mínimo de tokens léxicos (palabras) que distinguen las historias entre diferentes nacionalidades. Utilizando la Información Mutua Puntuada Normalizada (NPMI), los autores califican las palabras según su asociación con nacionalidades específicas. Luego, enmascaran iterativamente el $k\%$ superior de estas palabras asociadas culturalmente. El umbral $k$ se determina encontrando el punto donde un clasificador ya no puede distinguir la nacionalidad de la historia mejor que el azar. El texto restante, con estos marcadores eliminados, se denomina la "imagen de la plantilla".
2. Medición de la Homogeneidad Narrativa: La segunda etapa mide la similitud de las "imágenes de la plantilla" entre diferentes nacionalidades utilizando métricas de secuencias de múltiples palabras: la Subsecuencia Común Más Larga (LCS) y la similitud de Jaccard de 4-gramas. Si las narrativas restantes son altamente similares entre culturas tras eliminar los marcadores culturales, esto indica la presencia de una plantilla narrativa compartida y culturalmente agnóstica. Esto se compara contra la similitud de las historias originales y las historias donde se enmascararon palabras al azar.
3. Caracterización de la Estereotipicidad: Finalmente, los autores caracterizan los marcadores culturales identificados en cuanto a su estereotipicidad y ofensividad utilizando el conjunto de datos SeeGULL. Calculan la precisión de los estereotipos dentro de los marcadores y miden la puntuación promedio de ofensividad de estos marcadores.

Configuración Experimental
El estudio evaluó historias generadas por cinco LLM (GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B y Gemma 3 12B) a través de 193 nacionalidades y 125 temas de historias derivados de marcos de valores culturales (por ejemplo, la Encuesta Mundial de Valores, las Dimensiones Culturales de Hofstede). Los prompts instruyeron a los modelos para escribir cuentos infantiles en inglés sobre temas específicos para un niño de una nacionalidad específica.

Resultos Clave

• Vocabulario Limitado para la Localización: El estudio encontró que la variación cultural se concentra en un subconjunto muy pequeño del vocabulario. Enmascarar solo el 9% al 17% de las palabras asociadas culturalmente fue suficiente para que las historias de diferentes nacionalidades fueran indistinguibles para un clasificador.
• Presencia de Plantillas Compartidas: Tras eliminar estos marcadores culturales, las narrativas restantes ("imágenes de la plantilla") exhibieron una similitud de múltiples palabras significativamente mayor entre nacionalidades que las historias originales. En muchos casos, la similitud intergrupal de las historias enmascaradas representó más del 70% de la similitud intragrupal, lo que sugiere una estructura narrativa latente y compartida que es culturalmente agnóstica.
• Estereotipicidad y Ofensividad: Aunque muchos marcadores culturales fueron neutrales, el estudio identificó que los marcadores de 19 países fueron, en promedio, ofensivos. Estos países se encuentran predominantemente en el Sur Global (específicamente África y Asia Occidental) y suelen tener lenguas dominantes de menores recursos. Los marcadores ofensivos se alineaban frecuentemente con estereotipos negativos (por ejemplo, "poco fiable", "violento", "atrasado").

Significancia y Reivindicaciones
El artículo afirma que las historias generadas actualmente por la IA exhiben principalmente una localización basada en plantillas en lugar de una localización holística. Los autores argumentan que la representación cultural en estos modelos se reduce a un pequeño número de símbolos reconocibles insertados en una visión de mundo narrativa homogénea.

La significancia de este trabajo reside en su lente analítica para la competencia cultural extrínseca. Los autores aseveran que las evaluaciones centradas únicamente en la presencia de entidades culturalmente salientes (como nombres o lugares) pueden sobreestimar la capacidad de un modelo para generar narrativas localizadas. Al revelar la homogeneidad subyacente de la estructura narrativa, el artículo destaca la necesidad de:

1. Evaluaciones más amplias de la competencia cultural que incluyan estructuras narrativas, valores, postura y dialecto, no solo marcadores superficiales.
2. Reconocimiento de que, incluso sin procesos de generación basados explícitamente en plantillas, los LLM pueden revertir implícitamente hacia esquemas narrativos globalmente dominantes.
3. El desarrollo de métodos para detectar y medir la homogeneización narrativa a lo largo de los procesos de razonamiento y uso de herramientas de los sistemas de IA.

Los autores concluyen que comprender estos mecanismos es crucial para anticipar y evitar posibles daños culturales, tales como la erradicación de diversas tradiciones narrativas y la propagación de estereotipos ofensivos, particularmente para las comunidades del Sur Global.