💬 NLP

TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

Este artigo apresenta o TALES, um framework abrangente que compreende uma taxonomia de representações culturais equivocadas e uma avaliação em larga escala de 6 LLMs, a qual revela que 88% das histórias geradas por IA sobre culturas indianas contêm erros, afetando particularmente idiomas de recursos médios e baixos e narrativas periurbanas.

Autores originais: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Publicado 2026-02-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô muito inteligente e culto que adora contar histórias. Você pede a ele para escrever um conto sobre um casamento em uma pequena aldeia na Índia ou uma memória de infância em uma cidade movimentada. Você espera que o robô capture o sabor local — os lanches específicos, os títulos familiares corretos, as tradições únicas.

Mas, de acordo com este artigo, TALES, esse amigo robô frequentemente erra os detalhes. Na verdade, é como pedir a um turista que leu apenas um folheto de viagem para descrever sua cidade natal; eles podem acertar os grandes marcos, mas provavelmente confundirão a gíria local, a comida e as rotinas diárias.

Aqui está uma divisão simples do que os pesquisadores descobriram, usando algumas analogias do cotidiano:

1. O Problema: O Cérebro de "Folheto de Viagem" do Robô

Os pesquisadores queriam saber: Quando a IA conta histórias sobre a cultura indiana, ela acerta?
Eles descobriram que 88% das histórias geradas pelos modelos de IA populares continham erros. Não eram apenas pequenos erros de digitação; eram gafes culturais.

Pense nisso como um chef tentando cozinhar um prato regional.

O Erro: O chef coloca um ingrediente de sobremesa (como açúcar) em um prato salgado (como um curry) porque acha que "comida indiana" é uma coisa só.
A Realidade: Os pesquisadores descobriram que a IA frequentemente confundia comidas regionais específicas, usava os títulos familiares errados (chamando um parente masculino de "tia") ou descrevia eventos que simplesmente não acontecem na vida real (como um ônibus escolar tendo um cobrador de passagens).

2. A Ferramenta: A "Folha de Cola Cultural" (TALES-Tax)

Antes de poderem contar os erros, os pesquisadores precisavam de uma maneira de categorizá-los. Eles não apenas adivinharam; pediram a pessoas reais da Índia (9 grupos de foco e 15 pesquisas individuais) para lerem as histórias da IA e apontarem o que parecia "estranho".

Com base nesse feedback, eles criaram uma Folha de Cola Cultural (chamada TALES-Tax) com sete categorias de erros:

Imprecisão Cultural: Errar fatos (ex: dizer que um lanche específico é comido no café da manhã quando é, na verdade, um lanche).
Cenários Improváveis: Inventar eventos que parecem falsos (ex: um artista de rua tocando um instrumento clássico complexo durante uma assembleia escolar matinal).
qu
Clichês: Depender de estereótipos (ex: assumir que todos em uma região bebem um tipo específico de café ou usam roupas festivas tradicionais para a escola).
Oversimplificação (Simplificação Excessiva): Suavizar detalhes únicos (ex: chamar toda arte indiana de "Rangoli" em vez de usar o nome local específico).
Erros Fatuais: Errar geografia ou história (ex: dizer que há um deserto ao lado de uma cidade que é, na verdade, verde).
Erros Linguísticos: Escrever nomes errado ou usar palavras de parentesco incorretamente.
Erros Lógicos: Quebrar as regras de como as coisas funcionam (ex: um personagem tomando banho em um poço de água potável).

3. O Grande Teste: O "Teste de Sabor" com 108 Especialistas

Os pesquisadores não olharam apenas para uma história. Eles contrataram 108 especialistas de 71 regiões diferentes da Índia. Estes eram falantes nativos que conheciam suas culturas locais profundamente.

Eles pediram a esses especialistas para lerem 540 histórias escritas por 6 modelos diferentes de IA (incluindo grandes nomes como GPT-4 e Gemini) em 14 idiomas diferentes.

Os Resultados:

A Lacuna "Rico" vs. "Pobre": A IA era muito melhor contando histórias sobre grandes cidades famosas (Tier-1) e em inglês. Quando a história era ambientada em uma cidade menor ou escrita em um idioma indiano menos comum, os erros quadruplicavam.
A Armadilha do "Genérico": Alguns modelos de IA tentavam evitar erros escrevendo histórias muito chatas e genéricas, sem nenhum detalhe cultural. Outros tentavam ser criativos, mas erravam os detalhes. Nenhuma das abordagens era boa.
Relatabilidade: Devido a esses erros, as histórias pareciam "não relacionáveis" para as pessoas que elas deveriam representar. É como assistir a um filme sobre sua cidade natal onde os atores falam com um sotaque falso e comem a comida errada; você simplesmente não consegue se conectar com isso.

4. A Grande Surpresa: O Paradoxo "Conhecimento vs. Desempenho"

Esta é a parte mais interessante. Os pesquisadores se perguntaram: "A IA é apenas ignorante? Ela não conhece os fatos?"

Para testar isso, eles transformaram os erros em um quiz (chamado TALES-QA). Eles fizeram perguntas diretas à IA como: "Qual é a comida tradicional servida neste casamento?" ou "Onde está localizada esta estátua?".

O Resultado Chocante:

Quando perguntada como um quiz, a IA acertou as respostas 76% das vezes (em inglês) e 60% das vezes (em idiomas indianos).
A Conclusão: A IA conhece os fatos. Ela tem a informação em seu cérebro. Mas, quando tenta escrever uma história, ela falha em usar esse conhecimento corretamente.

A Analogia:
Imagine um aluno que consegue gabaritar um teste de múltipla escolha sobre história (acertando 90%) mas, quando lhe pedem para escrever uma redação de história, inventa fatos selvagens e incorretos. O aluno não é "ignorante"; ele apenas não consegue aplicar o que sabe em uma situação criativa e aberta.

Resumo

O artigo conclui que os modelos de IA atuais são como turistas autoconfiantes. Eles leram os guias (eles têm os dados), mas quando tentam contar uma história sobre uma cultura local, dependem de estereótipos, confundem detalhes e falham em capturar o verdadeiro "sabor" do lugar. Isso é especialmente verdadeiro para cidades menores e idiomas menos comuns.

Os pesquisadores esperam que sua "Folha de Cola Cultural" e seu "Quiz" ajudem os desenvolvedores a corrigir isso, para que as futuras IAs possam contar histórias que pareçam reais e respeitosas para as pessoas que elas pretendem representar.

Resumo Técnico: TALES – Uma Taxonomia e Análise de Representações Culturais em Histórias Geradas por LLM

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado significativamente em tarefas de escrita criativa, eles frequentemente falham em representar com precisão diversas culturas não ocidentais, perpetuando frequentemente estereótipos, erros fatuais e homogeneização cultural. As avaliações existentes da competência cultural em IA concentram-se amplamente na recuperação de conhecimento, alinhamento de valores ou adesão a normas em tarefas de extremidade fechada. Existe uma lacuna crítica na avaliação da representação cultural em tarefas generativas de extremidade aberta (como a contação de histórias), onde a "correção" é subjetiva e enraizada nas experiências vividas pelas comunidades. Especificamente, há uma falta de frameworks estruturados para identificar como os LLMs deturpam identidades culturais na Índia, uma região caracterizada por imensa diversidade linguística, geográfica e cultural.

Metodologia

Os autores propõem o TALES (Taxonomia e Análise de Representações Culturais em Histórias Geradas por LLM), um framework de avaliação centrado na comunidade que consiste em três fases principais:

1. Desenvolvendo uma Taxonomia (TALES-Tax)

Para abordar a RQ1 (Como os LLMs deturpam diversas identidades culturais?), os pesquisadores conduziram um estudo qualitativo envolvendo:

Grupos de Foco (N=9) e Pesquisas Individuais (N=15) com participantes de diversas regiões indianas.
Os participantes revisaram histórias geradas por LLM (usando GPT-4) baseadas em tópicos como festivais, casamentos e vida cotidiana.
Utilizando análise temática reflexiva sobre os comentários dos participantes e trechos de texto destacados, a equipe derivou o TALES-Tax, uma taxonomia de sete categorias de deturpação cultural:
1. Imprecisão Cultural: Descrições incorretas de símbolos, tradições ou crenças.
2. Cenários Improváveis: Eventos contextualmente implausíveis com base em normas locais.
3. Clichês: Uso excessivo de estereótipos ou tropos romantizados.
4. Oversimplificação: Homogeneização de elementos culturais complexos.
5. Erro Factual: Informação objetiva incorreta (ex: geografia, história).
6. Imprecisão Linguística: Ortografia, gramática ou alternância de código (code-switching) inapropriada.
7. Erro Lógico: Inconsistências narrativas.

2. Avaliação Humana em Larga Escala

Para abordar a RQ2 (Com que frequência ocorrem essas deturpações?), a equipe conduziu um estudo de anotação em larga escala:

Modelos Avaliados: 6 LLMs populares (2 de código fechado: GPT-4.1, Gemini 2.5 Pro; 4 de código aberto: Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B, Aya 32B).
Anotadores: 108 anotadores "especialistas" com proficiência na língua nativa e experiência de vida de 71 regiões de toda a Índia, cobrindo 14 idiomas (Inglês + 13 línguas indicas).
Dados: 540 histórias geradas usando prompts baseados no modelo da "cebola cultural" de Hofstede (Símbolos, Heróis, Rituais, Valores).
Anotação: Os anotadores destacaram trechos de deturpação usando o TALES-Tax e avaliaram a relatabilidade da história em uma escala Likert de 5 pontos.
Análise: A análise estatística (testes Mann–Whitney U) comparou as frequências de deturpação entre níveis de recursos linguísticos (Alto, Médio, Baixo) e camadas regionais (Tier-1, Tier-2, Tier-3).

3. Medindo o Conhecimento Cultural (TALES-QA)

Para abordar a RQ3 (As deturpações são devidas à falta de conhecimento cultural?), os pesquisadores:

Converteram os trechos anotados de deturpação em perguntas independentes (TALES-QA).
Usaram o GPT-4.1 para gerar perguntas candidatas, que foram então verificadas e refinadas por especialistas humanos.
Criaram um conjunto de dados de 1.683 perguntas (1.115 em línguas indicas, 568 em inglês) cobrindo vários formatos (Palavra única, Preencher lacuna, Múltipla escolha, Verdadeiro/Falso).
Avaliaram os mesmos 6 modelos neste banco de questões para determinar se possuíam o conhecimento subjacente que falharam em aplicar na contação de histórias.

Principais Resultados

Prevalência e Distribuição de Deturpações

Alta Frequência: 88% das histórias geradas continham pelo menos uma deturpação cultural. Em média, houve 5,42 deturpações por história (aproximadamente uma a cada 5 frases).
Disparidade Linguística: As deturpações aumentaram significamente em línguas não inglesas.
- Línguas de recursos médios viram um aumento de 56% nas deturpações em comparação ao inglês.
- Línguas de baixos recursos viram um quadruplicamento das deturpações.
- Erros linguísticos foram a categoria dominante em histórias não inglesas.
Disparidade Regional: Histórias ambientadas em regiões de Tier-3 (periurbanas/rurais) continham significativamente mais deturpações do que em regiões de Tier-1. Imprecisões culturais e erros factuais aumentaram mais acentuadamente para as regiões de Tier-3.
Relatabilidade: A classificação média de relatabilidade foi de 3,25/5. Houve uma correlação negativa moderada ( $r_s = -0,27$ ) entre o número de deturpações e a relatabilidade da história. Modelos de código fechado geralmente receberam pontuações de relatabilidade mais altas do que os modelos de código aberto.

Conhecimento Cultural vs. Aplicação Generativa

Lacuna de Conhecimento: Apesar da alta taxa de deturpação nas histórias, os modelos demonstraram uma precisão surpreendentemente alta no TALES-QA (perguntas independentes).
- Inglês: Precisão média de 76,9%.
- Línguas Indicas: A precisão média caiu para 59,8%, com o desempenho mais baixo em línguas de baixos recursos.
Implicação: A causa primária da deturpação não é a falta de conhecimento cultural. Em vez disso, os modelos têm dificuldade em aplicar fielmente o conhecimento cultural armazenado ao gerar narrativas ricas em contexto e abertas.

Descobertas Específicas de Modelos

O Gemini 2.5 Pro teve o melhor desempenho geral, gerando as histórias culturalmente mais ricas (alto número de Itens Culturais Específicos) e a menor fração de deturpações.
O LLaMA 3.3 70B gerou menos deturpações por história, mas também exibiu a menor riqueza cultural (menos itens culturais), sugerindo uma tendência para a "não-representação" (texto genérico) em vez de deturpação ativa.
Aya 32B e Qwen 3 32B geraram alta riqueza cultural, mas também altas taxas de deturpação.

Principais Contribuições

TALES-Tax: Uma taxonomia inovadora, derivada da comunidade, de sete categorias de deturpações culturais, desenvolvida através de grupos de foco e pesquisas com participantes indianos.
Avaliação em Larga Escala: Uma avaliação humana abrangente envolvendo 108 falantes nativos de 71 regiões, fornecendo a primeira análise granular de deturpação cultural entre 6 modelos, 14 línguas e diversas regiões indianas.
TALES-QA: Um banco de questões independente de 1.683 perguntas projetado para desacoplar o conhecimento cultural da capacidade generativa, revelando que os modelos muitas vezes possuem o conhecimento, mas falham em aplicá-lo corretamente na contação de histórias.
Evidência Empírica de Lacunas: O estudo fornece evidências quantitativas de que as deturpações culturais são exacerbadas em línguas de recursos médios/baixos e regiões periurbanas, destacando áreas específicas para melhoria no desenvolvimento de IA.

Significância e Alegações

O artigo afirma que seu trabalho é significativo porque vai além das métricas simples de recuperação de conhecimento para avaliar a representação cultural em ambientes generativos através da lente das experiências vividas pelos membros da comunidade.

Abordagem Centrada na Comunidade: Ao fundamentar a taxonomia e a avaliação nas perspectivas de diversos participantes indianos, o estudo desafia o design "centrado no Ocidente" dos sistemas de IA atuais e destaca os danos específicos enfrentados por comunidades minoritárias dentro de regiões minoritárias (ex: Índia rural).
Conhecimento vs. Aplicação: A descoberta de que os modelos podem responder corretamente a perguntas de conhecimento cultural, mas falham em representar a cultura com precisão em histórias, sugere uma lacuna fundamental de alinhamento cultural durante a geração. Isso indica que simplesmente aumentar os dados de treinamento ou as bases de conhecimento é insuficiente; os modelos precisam de melhores mecanismos para aplicar o contexto cultural em tarefas abertas.
Direções Futuras: Os autores argumentam que os sistemas de IA devem ser projetados para lidar com a incerteza cultural (ex: abstendo-se ou fazendo perguntas de acompanhamento) em vez de alucinar detalhes culturais. A liberação do TALES-Tax e TALES-QA fornece uma base estruturada para pesquisas futuras para mitigar essas deturpações e melhorar a competência cultural em contextos não ocidentais.

Os autores mantêm uma postura modesta, reconhecendo limitações como o uso de inglês para os grupos de foco iniciais e o design específico dos prompts, observando que seu trabalho serve como um ponto de partida para entender e avaliar deturpações culturais, em vez de um ponto final definitivo.