💬 NLP

TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

Este artículo presenta TALES, un marco integral que comprende una taxonomía de las representaciones culturales erróneas y una evaluación a gran escala de 6 LLM, la cual revela que el 88% de las historias generadas por IA sobre las culturas indias contienen errores, afectando particularmente a los idiomas de recursos medios y bajos y a las narrativas periurbanas.

Autores originales: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Publicado 2026-02-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot muy inteligente y culto al que le encanta contar historias. Le pides que escriba un relato sobre una boda en un pequeño pueblo de la India, o un recuerdo de la infancia en una bulliciosa ciudad. Esperas que el robot capture el sabor local: los bocadillos específicos, los títulos familiares correctos, las tradiciones únicas.

Pero según este artículo, TALES, ese amigo robot a menudo se equivoca en los detalles. De hecho, es como pedirle a un turista que solo ha leído un folleto turístico que describa tu ciudad natal; puede que acierte con los monumentos principales, pero probablemente confundirá la jerga local, la comida y las rutinas diarias.

Aquí tienes un desglose sencillo de lo que descubrieron los investigadores, utilizando algunas analogías cotidianas:

1. El problema: El cerebro de "folleto turístico" del robot

Los investigadores querían saber: Cuando la IA cuenta historias sobre la cultura india, ¿lo hace bien?
Descubrieron que el 88% de las historias generadas por modelos de IA populares contenían errores. No eran solo pequeños errores tipográficos; eran errores culturales.

Piénsalo como un chef intentando cocinar un plato regional.

El error: El chef pone un ingrediente de postre (como azúcar) en un plato salado (como un curry) porque piensa que la "comida india" es una sola cosa.
La realidad: Los investigadores descubrieron que la IA a menudo confundía alimentos regionales específicos, usaba los títulos familiares equivocados (llamando "tía" a un pariente varón) o describía eventos que simplemente no ocurren en la vida real (como un autobús escolar que tiene un cobrador de billetes).

2. La herramienta: La "Hoja de trucos cultural" (TALES-Tax)

Antes de poder contar los errores, los investigadores necesitaban una forma de categorizarlos. No se limitaron a adivinar; pidieron a personas reales de la India (9 grupos de enfoque y 15 encuestas individuales) que leyeran las historias de la IA y señalaran qué les resultaba "extraño".

Basándose en estos comentarios, crearon una Hoja de trucos cultural (llamada TALES-Tax) con siete categorías de errores:

Inexactitud cultural: Errar en los hechos (por ejemplo, decir que un aperitivo específico se come en el desayuno cuando en realidad es un tentempié).
Escenarios improbables: Inventar eventos que parecen falsos (por ejemplo, un artista callejero tocando un instrumento clásico complejo durante una asamblea escolar matutina).
Clichés: Depender de estereotipos (por ejemplo, asumir que todos en una región beben un tipo específico de café o visten ropa tradicional de festival para ir a la escuela).
Simplificación excesiva: Suavizar los detalles únicos (por ejemplo, llamar a todo el arte indio "Rangoli" en lugar de usar el nombre local específico).
Errores factuales: Errar en geografía o historia (por ejemplo, decir que hay un desierto junto a una ciudad que es en realidad verde).
Errores lingüísticos: Escribir mal los nombres o usar incorrectamente las palabras de parentesco.
Errores lógicos: Romper las reglas de cómo funcionan las cosas (por ejemplo, un personaje bañándose en un pozo de agua potable).

3. La gran prueba: El "Test de sabor" con 108 expertos

Los investigadores no se limitaron a mirar una sola historia. Contrataron a 108 expertos de 71 regiones diferentes de la India. Estos eran hablantes nativos que conocían sus culturas locales a la perfección.

Les pidieron que leyeran 540 historias escritas por 6 modelos de IA diferentes (incluyendo nombres importantes como GPT-4 y Gemini) en 14 idiomas diferentes.

Los resultados:

La brecha entre "Rico" y "Pobre": La IA era mucho mejor contando historias sobre ciudades grandes y famosas (Nivel 1) y en inglés. Cuando la historia se situaba en un pueblo más pequeño o se escribía en un idioma indio menos común, los errores se cuadruplicaban.
La trampa de lo "Genérico": Algunos modelos de IA intentaban evitar errores escribiendo historias muy aburridas y genéricas, sin ningún detalle cultural. Otros intentaban ser creativos pero fallaban en los detalles. Ningún enfoque era bueno.
Relatabilidad: Debido a estos errores, las historias se sentían "ajenas" para las personas que debían representarlas. Es como ver una película sobre tu ciudad natal donde los actores hablan con un acento falso y comen la comida equivocada; simplemente no puedes conectar con ella.

4. La gran sorpresa: La paradoja de "Conocimiento vs. Rendimiento"

Esta es la parte más interesante. Los investigadores se preguntaron: "¿Es la IA simplemente ignorante? ¿Es que no conoce los hechos?"

Para probar esto, convirtieron los errores en un examen de preguntas y respuestas (llamado TALES-QA). Hicieron a la IA preguntas directas como: "¿Cuál es la comida tradicional que se sirve en esta boda?" o "¿Dónde se encuentra esta estatua?".

El resultado impactante:

Cuando se le preguntaba como un examen de preguntas y respuestas, la IA acertaba las respuestas el 76% de las veces (en inglés) y el 60% de las veces (en idiomas indios).
La conclusión: La IA conoce los hechos. Tiene la información en su cerebro. Pero cuando intenta escribir una historia, falla al aplicar ese conocimiento correctamente.

La analogía:
Imagina a un estudiante que puede sacar una nota excelente en un examen de opción múltiple sobre historia (acertando el 90%) pero, cuando se le pide que escriba un ensayo de historia, inventa hechos salvajes e incorrectos. El estudiante no es "ignorante"; simplemente no sabe aplicar lo que sabe en una situación creativa y abierta.

Resumen

El artículo concluye que los modelos de IA actuales son como turistas excesivamente confiados. Han leído las guías (tienen los datos), pero cuando intentan contar una historia sobre una cultura local, recurren a estereotipos, confunden los detalles y no logran capturar el verdadero "sabor" del lugar. Esto es especialmente cierto para los pueblos más pequeños y los idiomas menos comunes.

Los investigadores esperan que su "Hoja de trucos cultural" y su "Examen de preguntas y respuestas" ayuden a los desarrolladores a solucionar esto, para que la IA del futuro pueda contar historias que se sientan reales y respetuosas con las personas que pretende representar.

Resumen Técnico: TALES – Una taxonomía y análisis de las representaciones culturales en historias generadas por LLM

Declaración del Problema

Aunque los Modelos de Lenguaje Extensos (LLM) han avanzado significativamente en tareas de escritura creativa, frecuentemente fallan al representar con precisión culturas diversas no occidentales, perpetuando a menudo estereotipos, errores fácticos y homogeneización cultural. Las evaluaciones existentes de la competencia cultural en la IA se centran principalmente en la recuperación de conocimientos, la alineación de valores o la adherencia a las normas en tareas de respuesta cerrada. Existe una brecha crítica en la evaluación de la representación cultural en tareas generativas de código abierto (como la narración de historias), donde la "corrección" es subjetiva y está arraigada en las experiencias vividas de la comunidad. Específicamente, existe una falta de marcos estructurados para identificar cómo los LLM representan erróneamente las identidades culturales en la India, una región caracterizada por una inmensa diversidad lingüística, geográfica y cultural.

Metodología

Los autores proponen TALES (Taxonomía y Análisis de Representaciones Culturales en Historias generadas por LLM), un marco de evaluación centrado en la comunidad que consta de tres fases principales:

1. Desarrollo de una Taxonomía (TALES-Tax)

Para abordar la RQ1 (¿Cómo representan erróneamente los LLM las diversas identidades culturales?), los investigadores realizaron un estudio cualitativo que incluyó:

Grupos de enfoque (N=9) y Encuestas individuales (N=15) con participantes de diversas regiones de la India.
Los participantes revisaron historias generadas por LLM (usando GPT-4) basadas en temas como festivales, bodas y la vida cotidiana.
Utilizando el análisis temático reflexivo sobre los comentarios de los participantes y los fragmentos de texto resaltados, el equipo derivó TALES-Tax, una taxonomía de siete categorías de mala representación cultural:
1. Inexactitud Cultural: Descripciones incorrectas de símbolos, tradiciones o creencias.
2. Escenarios Improbables: Eventos contextualmente inverosímiles basados en normas locales.
3. Clichés: Uso excesivo de estereotipos o tropos romantizados.
4. Simplificación Excesiva: Homogeneización de elementos culturales complejos.
5. Error Fáctico: Información objetiva incorrecta (p. ej., geografía, historia).
6. Inexactitud Lingüística: Ortografía, gramática o alternancia de códigos (code-switching) inapropiada.
7. Error Lógico: Inconsistencias narrativas.

2. Evaluación Humana a Gran Escala

Para abordar la RQ2 (¿Con qué frecuencia ocurren estas malas representaciones?), el equipo llevó a cabo un estudio de anotación a gran escala:

Modelos Evaluados: 6 LLM populares (2 de código cerrado: GPT-4.1, Gemini 2.5 Pro; 4 de código abierto: Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B, Aya 32B).
Anotadores: 108 anotadores "expertos" con competencia en lengua nativa y experiencia vivida de 71 regiones de la India, cubriendo 14 idiomas (Inglés + 13 idiomas índicos).
Datos: 540 historias generadas mediante prompts basados en el modelo de la "cebolla cultural" de Hofstede (Símbolos, Héroes, Rituales, Valores).
Anotación: Los anotadores resaltaron fragmentos de mala representación utilizando TALES-Tax y calificaron la relatabilidad de la historia en una escala Likert de 5 puntos.
Análisis: El análisis estadístico (pruebas de Mann–Whitney U) comparó las frecuencias de mala representación entre niveles de recursos lingüísticos (Altos, Medios, Bajos) y niveles regionales (Tier-1, Tier-2, Tier-3).

3. Medición del Conocimiento Cultural (TALES-QA)

Para abordar la RQ3 (¿Se deben las malas representaciones a una falta de conocimiento cultural?), los investigadores:

Convirtieron los fragmentos anotados de mala representación en preguntas independientes (TALES-QA).
Utilizaron GPT-4.1 para generar preguntas candidatas, que luego fueron verificadas y refinadas por expertos humanos.
Crearon un conjunto de datos de 1,683 preguntas (1,115 en idiomas índicos, 568 en inglés) que cubren varios formatos (una palabra, completar el espacio en blanco, opción múltiple, verdadero/falso).
Evaluaron los mismos 6 modelos en este banco de preguntas para determinar si poseían el conocimiento subyacente que no lograban aplicar en la narración de historias.

Resultados Clave

Prevalencia y Distribución de las Malas Representaciones

Alta Frecuencia: El 88% de las historias generadas contenían al menos una mala representación cultural. En promedio, hubo 5.42 malas representaciones por historia (aproximadamente una cada 5 frases).
Disparidad Lingüística: Las malas representaciones aumentaron significamente en los idiomas no ingleses.
- Los idiomas de recursos medios vieron un aumento del 56% en las malas representaciones en comparación con el inglés.
- Los idiomas de bajos recursos vieron una cuadruplicación de las malas representaciones.
- Los errores lingüísticos fueron la categoría dominante en las historias en idiomas distintos al inglés.
Disparidad Regional: Las historias ambientadas en regiones de Tier-3 (periurbanas/rurales) contenían significativamente más malas representaciones que las de las regiones Tier-1. La inexactitud cultural y los errores fácticos aumentaron más drásticamente para las regiones Tier-3.
Relatabilidad: La calificación promedio de relatabilidad fue de 3.25/5. Hubo una correlación negativa moderada ( $r_s = -0.27$ ) entre el número de malas representaciones y la relatabilidad de la historia. Los modelos de código cerrado generalmente recibieron puntuaciones de relatabilidad más altas que los modelos de código abierto.

Conocimiento Cultural vs. Aplicación Generativa

Brecha de Conocimiento: A pesar de la alta tasa de mala representación en las historias, los modelos demostraron una precisión sorprendentemente alta en TALES-QA (preguntas independientes).
- Inglés: Precisión promedio del 76.9%.
- Idiomas Índicos: La precisión promedio cayó al 59.8%, con el rendimiento más bajo en los idiomas de bajos recursos.
Implicación: La causa principal de la mala representación no es la falta de conocimiento cultural. En cambio, los modelos luchan por aplicar fielmente el conocimiento cultural almacenado cuando generan narrativas abiertas y ricas en contexto.

Hallazgos Específicos de los Modelos

Gemini 2.5 Pro fue el que mejor se desempeñó en general, generando las historias más ricas culturalmente (alto recuento de Ítems Culturales Específicos) con la menor fracción de malas representaciones.
LLaMA 3.3 70B generó menos malas representaciones por historia, pero también exhibió la menor riqueza cultural (menos ítems culturales), lo que sugiere una tendencia hacia la "no-representación" (texto genérico) en lugar de una mala representación activa.
Aya 32B y Qwen 3 32B generaron una alta riqueza cultural, pero también altas tasas de mala representación.

Principales Contribuciones

TALES-Tax: Una novedosa taxonomía derivada de la comunidad de siete categorías de malas representaciones culturales, desarrollada mediante grupos de enfoque y encuestas con participantes indios.
Evaluación a Gran Escala: Una evaluación humana exhaustiva que involucró a 108 hablantes nativos de 71 regiones, proporcionando el primer análisis granular de la mala representación cultural a través de 6 modelos, 14 idiomas y diversas regiones de la India.
TALES-QA: Un banco de preguntas independiente de 1,683 preguntas diseñado para desacoplar el conocimiento cultural de la capacidad generativa, revelando que los modelos a menudo poseen el conocimiento pero fallan al aplicarlo correctamente en la narración de historias.
Evidencia Empírica de Brechas: El estudio proporciona evidencia cuantitativa de que las malas representaciones culturales se ven exacerbadas en idiomas de recursos medios/bajos y regiones periurbanas, destacando áreas específicas de mejora para el desarrollo de la IA.

Significado y Reivindicaciones

El artículo afirma que su trabajo es significativo porque va más allá de las métricas simples de recuperación de conocimiento para evaluar la representación cultural en entornos generativos a través de la lente de las experiencias vividas de los miembros de la comunidad.

Enfoque Centrado en la Comunidad: Al fundamentar la taxonomía y la evaluación en las perspectivas de diversos participantes indios, el estudio desafía el diseño "eurocéntrico/occidental-céntrico" de los sistemas de IA actuales y destaca los daños específicos que enfrentan las comunidades minorizadas dentro de regiones minorizadas (p. ej., la India rural).
Conocimiento vs. Aplicación: El hallazgo de que los modelos pueden responder preguntas de conocimiento cultural correctamente y, sin embargo, fallar al representar la cultura con precisión en las historias, sugiere una brecha fundamental en la alineación cultural durante la generación. Esto indica que simplemente aumentar los datos de entrenamiento o las bases de conocimiento es insuficiente; los modelos necesitan mejores mecanismos para aplicar el contexto cultural en tareas de código abierto.
Direcciones Futuras: Los autores argumentan que los sistemas de IA deben diseñarse para manejar la incertidumbre cultural (p. ej., absteniéndose o haciendo preguntas de seguimiento) en lugar de alucinar detalles culturales. El lanzamiento de TALES-Tax y TALES-QA proporciona una base estructurada para la investigación futura destinada a mitigar estas malas representaciones y mejorar la competencia cultural.

Los autores mantienen una postura modesta, reconociendo limitaciones como el uso del inglés para los grupos de enfoque iniciales y el diseño específico de los prompts, señalando que su trabajo sirve como un punto de partida para comprender y evaluar las malas representaciones culturales más que como un punto final definitivo.