Characterizing Cultural Localization in AI-Generated Stories

Declaração do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) são implantados globalmente, cresce o interesse em sua capacidade de gerar conteúdo culturalmente localizado. No entanto, permanece incerto se os modelos alcançam a localização por meio de uma localização holística — onde o contexto cultural molda enredos, valores, temas e estruturas narrativas — ou através de uma localização baseada em templates. A localização baseada em templates ocorre quando um modelo insere marcadores culturais isolados (ex: nomes, locais, artefatos) em um template narrativo homogêneo e culturalmente agnóstico. O artigo postula que, se os modelos dependem da localização por templates, eles correm o risco de produzir histórias que refletem narrativas e valores homogêneos, podendo levar a danos culturais, como o apagamento, a imposição de valores ocidentais e a redução da diversidade criativa. Além disso, as avaliações existentes frequentemente falham em distinguir entre a variação lexical superficial e diferenças narrativas mais profundas, potencialmente superestimando a competência cultural de um modelo.

Metodologia
Os autores propõem um método de dois estágios para detectar e medir o grau de localização por templates em histórias geradas por IA:

1. Identificação de Marcadores Culturais: O método identifica primeiro o conjunto mínimo de tokens lexicais (palavras) que distinguem histórias entre diferentes nacionalidades. Usando a Informação Mútua Ponto a Ponto Normalizada (NPMI), os autores pontuam palavras com base em sua associação com nacionalidades específicas. Em seguida, eles mascaram iterativamente os $k\%$ superiores dessas palavras culturalmente associadas. O limiar $k$ é determinado encontrando o ponto onde um classificador não consegue mais distinguir a nacionalidade da história melhor do que um palpite aleatório. O texto restante, com esses marcadores removidos, é denominado "imagem do template".
2. Medição da Homogeneidade Narrativa: O segundo estágio mede a similaridade das "imagens de template" entre diferentes nacionalidades usando métricas de sequências de múltiplas palavras: a Maior Subsequência Comum (LCS) e a similaridade de Jaccard de 4-gramas. Se as narrativas restantes forem altamente similares entre culturas após a remoção dos marcadores culturais, isso indica a presença de um template narrativo compartilhado e culturalmente agnóstico. Isso é comparado com a similaridade das histórias originais e de histórias onde palavras aleatórias foram mascaradas.
3. Caracterização da Estereotipicidade: Finalmente, os autores caracterizam os marcadores culturais identificados quanto à estereotipicidade e ofensividade usando o conjunto de dados SeeGULL. Eles calculam a precisão dos estereótipos dentro dos marcadores e medem a pontuação média de ofensividade desses marcadores.

Configuração Experimental
O estudo avaliou histórias geradas por cinco LLMs (GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B e Gemma 3 12B) em 193 nacionalidades e 125 tópicos de histórias derivados de estruturas de valores culturais (ex: Pesquisa de Valores Mundiais, Dimensões Culturais de Hofstede). Os prompts instruíram os modelos a escrever histórias infantis em inglês sobre tópicos específicos para uma criança de uma nacionalidade específica.

Resultos Principais

• Vocabulário Limitado para Localização: O estudo descobriu que a variação cultural está concentrada em um subconjunto muito pequeno do vocabulário. Mascarar apenas 9% a 17% das palavras culturalmente associadas foi suficiente para tornar as histórias de diferentes nacionalidades indistinguíveis para um classificador.
• Presença de Templates Compartilhados: Após a remoção desses marcadores culturais, as narrativas restantes ("imagens de template") exibiram uma similaridade de múltiplas palavras significativamente maior entre as nacionalidades do que as histórias originais. Em muitos casos, a similaridade intergrupal das histórias mascaradas representou mais de 70% da similaridade intragrupal, sugerindo uma estrutura narrativa latente e compartilhada que é culturalmente agnóstica.
• Estereotipicidade e Ofensividade: Embora muitos marcadores culturais fossem neutros, o estudo identificou que os marcadores de 19 países eram, em média, ofensivos. Esses países estão predominantemente localizados no Sul Global (especificamente África e Ásia Ocidental) e frequentemente possuem línguas dominantes de baixos recursos. Os marcadores ofensivos frequentemente alinhavam-se com estereótipos negativos (ex: "não confiável", "violento", "atrasado").

Significância e Alegações
O artigo alega que as histórias geradas atualmente pela IA exibem primordialmente uma localização por template em vez de uma localização holística. Os autores argumentam que a representação cultural nesses modelos é reduzida a um pequeno número de símbolos reconhecíveis inseridos em uma visão de mundo narrativa homogênea.

A significância deste trabalho reside em sua lente analítica para a competência cultural extrínseca. Os autores afirmam que as avaliações focadas apenas na presença de entidades culturalmente salientes (como nomes ou lugares) podem superestimar a capacidade de um modelo de gerar narrativas localizadas. Ao revelar a homogeneidade subjacente da estrutura narrativa, o artigo destaca a necessidade de:

1. Avaliações mais amplas de competência cultural que incluam estruturas narrativas, valores, postura e dialeto, não apenas marcadores superficiais.
2. Reconhecimento de que, mesmo sem pipelines de geração baseados explicitamente em templates, os LLMs podem retornar implicitamente a esquemas narrativos globalmente dominantes.
3. O desenvolvimento de métodos para detectar e medir a homogeneização narrativa durante os processos de raciocínio e uso de ferramentas dos sistemas de IA.

Os autores concluem que compreender esses mecanismos é crucial para antecipar e evitar potenciais danos culturais, como o apagamento de tradições narrativas diversas e a propagação de estereótipos ofensivos, particularmente para comunidades do Sul Global.