💬 NLP

LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Este artigo introduz um framework iterativo para extrair Grafos de Conhecimento de Senso Comum Cultural de grandes modelos de linguagem para estruturar o conhecimento cultural implícito, revelando que, embora esses grafos melhorem o raciocínio e a geração cultural, eles exibem atualmente um viés significativo em direção ao inglês, mesmo ao representar culturas não inglesas.

Autores originais: Junior Cedric Tonga, Chen Cecilia Liu, Iryna Gurevych, Fajri Koto

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junior Cedric Tonga, Chen Cecilia Liu, Iryna Gurevych, Fajri Koto

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs) sejam como bibliotecas imensas e invisíveis. Essas bibliotecas estão repletas de livros escritos por pessoas de todo o mundo, portanto, contêm uma enorme quantidade de informações sobre como diferentes culturas pensam, agem e celebram. No entanto, no momento, essa informação está bagunçada. Ela está enterrada profundamente dentro da biblioteca, espalhada em milhões de frases desorganizadas, tornando difícil encontrar ou compreender as "regras" específicas de uma cultura.

Este artigo propõe uma maneira de organizar essa biblioteca e transformá-la em um Grafo de Conhecimento de Senso Comum Cultural (CCKG). Pense neste grafo não como uma lista de fatos, mas como um sistema de trilhos de trem.

A Ideia Central: Transformando Fatos em Trilhos de Trem

Normalmente, se você perguntar a uma IA sobre cultura, ela pode lhe dar um fato isolado, como "Indonésios comem soto ayam no café da manhã". Isso é um fato estático.

Os autores quiseram mapear a jornada desse fato. Eles construíram um sistema que pergunta à IA: "Se alguém quer tomar café da manhã, o que faz em seguida? Depois, o que mais? E o que acontece depois disso?"

O Trilho: "Se você procura o café da manhã $\rightarrow$ você vai a um warung (pequena loja) $\rightarrow$ você pede soto ayam $\rightarrow$ você se sente aquecido e confortado."

Ao conectar essas etapas, eles criam um "trilho" de lógica cultural. Isso permite que a IA entenda não apenas o que acontece, mas o fluxo da vida cultural.

Como Eles Construíram os Trilhos (O Processo)

Os pesquisadores trataram a IA (especificamente o GPT-4o) como um "arquivista cultural". Eles usaram um processo de duas etapas para construir esses trilhos:

Lançando os Primeiros Trilhos (Geração Inicial): Eles pediram à IA para gerar afirmações simples de "Se-Então" sobre tópicos da vida cotidiana (como comida, casamentos ou hábitos) para cinco países diferentes: China, Indonésia, Japão, Inglaterra e Egito.
Estendendo os Trilhos (Expansão Iterativa): Esta é a parte inteligente. Uma vez que a IA dissesse: "Se você procura o café da manhã, você pede soto ayam", os pesquisadores pediram à IA para preencher as lacunas.
- Expansão Intermediária: "O que acontece entre procurar o café da manhã e pedir? Talvez você escolha um acompanhamento primeiro."
- Expansão Prospectiva: "O que acontece depois de pedir? Talvez você adicione sambal (molho de pimenta)."

Eles repetiram esse processo, transformando um único fato em uma longa e lógica cadeia de comportamento cultural.

A Grande Surpresa: A "Ponte Inglesa"

Os pesquisadores tinham uma hipótese: "Se quisermos saber sobre a cultura indonésia, devemos perguntar à IA em indonésio. Se quisermos saber sobre a cultura chinesa, devemos perguntar em chinês."

Eles estavam errados.

Quando testaram a qualidade desses trilhos culturais, encontraram um padrão estranho, mas consistente: Os trilhos construídos em inglês eram muito melhores do que os trilhos construídos nas línguas nativas.

A Analogia: Imagine tentar desenhar o mapa de uma cidade. Você pode pensar que desenhá-lo na língua local seria mais preciso. Mas os pesquisadores descobriram que o "mapa interno" da IA era desenhado de forma mais clara em inglês. Mesmo ao descrever cafés da manhã indonésios ou casamentos egípcios, a IA produzia "trilhos" mais lógicos, coerentes e culturalmente precisos quando era forçada a falar inglês.
O Resultado: As versões em inglês do grafo de conhecimento eram mais consistentes e faziam mais sentido para avaliadores humanos do que as versões escritas em chinês, árabe ou indonésio.

Isso Ajuda IAs Menores?

Os pesquisadores então pegaram esses "trilhos de trem" (o CCKG) e os entregaram a modelos de IA menores e mais fracos para ver se isso os ajudava a entender melhor a cultura.

O Teste: Eles pediram a esses modelos menores que respondessem perguntas sobre cultura ou escrevessem histórias curtas.
O Resultado: Quando os modelos menores tinham permissão para "olhar para os trilhos" (usando o CCKG como guia), eles ficaram muito melhores em responder perguntas e escrever histórias que pareciam culturalmente autênticas.
A Ressalva: O maior aumento veio quando os modelos usaram os trilhos em inglês, mesmo para culturas não inglesas. Parece que a "ponte inglesa" é atualmente a maneira mais confiável de acessar o conhecimento cultural da IA.

O Que Eles NÃO Afirmaram

É importante ater-se ao que o artigo realmente diz:

Eles não disseram que este sistema está pronto para uso em hospitais, escolas ou sistemas jurídicos.
Eles não alegaram que resolveram o problema do viés ou dos estereótipos da IA (de fato, observaram que o viés ainda é um risco e não o auditaram profundamente).
Eles não disseram que o inglês é a "melhor" língua para os seres humanos falarem; eles apenas descobriram que, para estes modelos de IA específicos, o inglês é a língua mais estável para extrair a lógica cultural.

Resumo

O artigo mostra que podemos tratar os modelos de IA como arquivos gigantes de conhecimento cultural. Ao pedir à IA para construir "trilhos de trem" de lógica cultural (Se isso acontece, então aquilo acontece), podemos criar um mapa estruturado de como diferentes culturas funcionam. No entanto, há uma reviravolta: atualmente, esses modelos de IA parecem entender e expressar esses mapas culturais com mais clareza quando estão falando inglês, mesmo quando a cultura em questão não é de língua inglesa. Essa "vantagem do inglês" ajuda modelos de IA menores a performar melhor, mas também destaca que nossas ferramentas de IA atuais ainda são desiguais na forma como representam as diversas culturas do mundo.

Resumo Técnico: LLMs como Arquivos Culturais: Extração de Grafos de Conhecimento de Senso Comum Cultural

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) codificam vastas quantidades de conhecimento cultural derivado de dados em escala web diversificados, oferecendo um potencial recurso para modelar o senso comum cultural em escala. No entanto, esse conhecimento permanece amplamente implícito, não estruturado e difícil de interpretar. As abordagens computacionais existentes para o raciocínio de senso comum historicamente trataram a cultura como neutra ou eurocêntrica/ocidental (ex: ATOMIC), enquanto esforços recentes para construir bases de conhecimento cultural dependem frequentemente de fatos estáticos e isolados de fontes como Wikipedia ou redes sociais. Essas abordagens falham em capturar a natureza procedimental, sequencial e contextual das práticas culturais, que são frequentemente definidas por cadeias ordenadas de ações, em vez de afirmações atômicas. Além disso, há uma carência de representações estruturadas e inferenciais que reflitam normas e práticas locais em diferentes idiomas.

Metodologia
Os autores propõem um framework iterativo baseado em prompts para construir um Grafo de Conhecimento de Senso Comum Cultural (CCKG), tratando os LLMs como "arquivos culturais" para extrair e estruturar sistematicamente o conhecimento cultural específico.

Construção do Framework:
- Definição do Grafo: O CCKG é um grafo direcionado e rotulado $G = (V, E)$ onde os nós representam ações e as arestas representam relações rotuladas. Uma asserção é uma tripla $(A_i, R, A_j)$ interpretada como "se a ação $A_i$ ocorre, então a ação $A_j$ se segue."
- Tipos de Relação: O framework utiliza cinco tipos de relação: $xNext$ (próxima ação do agente), $xEffect$ (efeito sobre o agente), $xNeed$ (pré-requisito para o agente), $oNext$ (próxima ação de outros) e $oEffect$ (efeito sobre outros).
- Processo de Extração (Algoritmo 1):
  - Geração Inicial: Dado um subtema, país e idioma, um LLM (GPT-4o) gera asserções iniciais de "se-então" baseadas em tipos de relação predefinidos.
  - Expansão Iterativa: A base de conhecimento é enriquecida através de dois mecanismos:
    - Expansão Intermediária: Decomposição de um link direto $(A_i \to A_j)$ em uma sequência de etapas mais granulares.
    - Expansão Direta (Forward Expansion): Geração de novas continuações começando a partir da ação resultante $A_j$ .
  - Poda (Pruning): Para garantir eficiência e reduzir redundâncias, as ações geradas são confrontadas com nós existentes usando pontuações de similaridade; duplicatas são mescladas e a lista de expansão é limitada a seis asserções por nó.
Configuração Experimental:
- Escopo: O framework foi aplicado a cinco países (China, Indonésia, Japão, Inglaterra, Egito) cobrindo 11 tópicos de vida cotidiana e 65 subtemas.
- Idiomas: Os grafos de conhecimento foram gerados tanto em inglês quanto nos respectivos idiomas nativos (chinês, indonésio, japonês, árabe).
- Avaliação: Anotadores humanos (falantes nativos) avaliaram os grafos gerados em três dimensões: Correção (ações e relações válidas), Relevância Cultural (especificidade à cultura alvo) e Coerência do Caminho Lógico (consistência das cadeias de inferência).
- Tarefas de Downstream: O CCKG extraído foi utilizado para aumentar modelos menores de LLM para três tarefas: Resposta a Múltipla Escolha (MCQA), Completamento de Sentença e Geração de Histórias. Os benchmarks incluíram IndoCulture e ArabCulture.

Principais Contribuições

Framework CCKG: A introdução de um método para extrair cadeias de conhecimento inferencial, multilingue e culturalmente específico de LLMs, indo além de fatos estáticos para estruturas de raciocínio procedimentais de múltiplos passos.
Análise Empírica de Codificação Cultural: Uma avaliação sistemática revelando que, embora os idiomas nativos capturem detalhes culturais mais ricos, o Inglês frequentemente serve como um meio mais coerente e consistente para representar grafos de conhecimento cultural dentro dos atuais LLMs.
Aumento de Desempenho: Demonstração de que o aumento de modelos menores ou base com o CCKG (via asserções ou caminhos de contexto) melhora significativamente o desempenho em tarefas de raciocínio cultural e geração de histórias, particularmente ao utilizar asserções no idioma nativo para contextos culturais específicos.

Resultos

Qualidade do Grafo: Nas avaliações humanas, os CCKGs gerados em inglês superaram consistentemente as versões em idiomas nativos em termos de correção, relevância cultural e coerência de caminho para culturas não inglesas (ex: chinesa, indonésia, árabe). Isso sugere uma assimetria nos atuais LLMs multilingues, onde o inglês atua como um meio de representação mais estável para o raciocínio cultural, provavelmente devido a um pré-treinamento mais rico.
Tarefas de Raciocínio (MCQA): A integração do conhecimento do CCKG melhorou a precisão nos benchmarks IndoCulture e ArabCulture. O aumento com o idioma nativo gerou os maiores ganhos (média de +1,2 pontos), superando o aumento em inglês e baselines existentes como o Mango. Notavelmente, o prompting de Cadeia de Pensamento (CoT) teve um desempenho inferior ao baseline, sugerindo que o senso comum cultural depende mais de contexto intuitivo do que de lógica explícita passo a passo.
Tarefas de Geração: Para completamento de sentença e geração de histórias, o aumento via CCKG (especificamente baseado em caminhos) melhorou as pontuações de similaridade de sentença e coerência. Na geração de histórias, a incorporação de caminhos do CCKG aumentou consistentemente as pontuações de Relevância Cultural (aumento médio de +1,4 para modelos Llama), com as melhorias mais significativas observadas na geração de histórias em inglês, embora a geração em idioma nativo também tenha se beneficiado em casos específicos (ex: histórias indonésias com Llama3.1-8B-IT).
LLM-as-a-Judge: A avaliação automatizada usando LLMs correlacionou-se fortemente com os julgamentos humanos para histórias em idiomas nativos, mas mostrou correlação moderada a fraca para histórias em inglês, particularmente em relação à fluência e coerência, provavelmente devido a variações estilísticas e nuances de tradução.

Significância e Alegações
O artigo postula que os LLMs podem servir como "arquivos culturais" viáveis para a extração de conhecimento inferencial estruturado, desde que o processo de extração seja sistemático. Os autores alegam que o conhecimento cultural estruturado em cadeias é um substrato prático para o desenvolvimento de sistemas de NLP culturalmente fundamentados.

O estudo destaca uma limitação e um insight críticos: apesar do objetivo de modelar o raciocínio cultural local, os atuais LLMs representam o senso comum cultural de forma mais eficaz através do Inglês, mesmo quando o alvo cultural não é inglês. Este achado desafia a suposição de que os outputs em idiomas nativos são inerentemente superiores para tarefas culturais e sugere que o inglês pode atuar como um "pivô" para o raciocínio cultural coerente nos modelos atuais.

Os autores concluem que, embora seu método seja promissor, ele é um protótipo de pesquisa. Eles alertam contra o uso do conteúdo extraído como um dataset formal para sistemas de produção sem abordar riscos potenciais, como o reforço de estereótipos, e enfatizam a necessidade de trabalhos futuros para investigar vieses e estender o framework para níveis culturais mais granulares.