LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Technische Samenvatting: LLM's als Culturele Archieven: Extractie van Culturele Common Sense Knowledge Graphs

Probleemstelling
Large Language Models (LLM's) coderen enorme hoeveelheden culturele kennis afgeleid van diverse web-schaal data, wat een potentieel potentieel biedt voor het modelleren van culturele common sense op schaal. Deze kennis blijft echter grotendeels impliciet, ongestructureerd en moeilijk te interpreteren. Bestaande computationele benaderingen van common sense redeneren hebben cultuur historisch gezien behandeld als neutraal of Westers-georiënteerd (bijv. ATOMIC), terwijl recente inspanningen om culturele kennisbanken op te bouwen vaak vertrouwen op statische, geïsoleerde feiten uit bronnen zoals Wikipedia of sociale media. Deze benaderingen falen in het vastleggen van het procedurele, sequentiële en contextuele karakter van culturele praktijken, die vaak worden gedefinieerd door geordende ketens van acties in plaats van atomische beweringen. Bovs is er een gebrek aan gestructureerde, inferentiële representaties die lokale normen en praktijken in verschillende talen weerspiegelen.

Methodologie
De auteurs stellen een iteratief, prompt-gebaseerd framework voor om een Cultural Commonsense Knowledge Graph (CCKG) te construeren, waarbij LLM's worden behandeld als "culturele archieven" om systematisch cultuurspecifieke kennis te extraheren en te structureren.

1. Framework Constructie:

   • Graaf Definitie: De CCKG is een gerichte gelabelde graaf $G = (V, E)$ waarbij knopen acties representeren en randen gelabelde relaties representeren. Een bewering is een tripel $(A_i, R, A_j)$ geïnterpreteerd als "als actie $A_i$ plaatsvindt, dan volgt actie $A_j$".
   • Relatietypes: Het framework maakt gebruik van vijf relatietypes: $xNext$ (volgende actie van de agent), $xEffect$ (effect op de agent), $xNeed$ (voorwaarde voor de agent), $oNext$ (volgende actie van anderen) en $oEffect$ (effect op anderen).
   • Extractieproces (Algoritme 1):
     • Initiële Generatie: Gegeven een subtopic, land en taal, genereert een LLM (GPT-4o) initiële "als-dan" beweringen op basis van vooraf gedefinieerde relatietypes.
     • Iteratieve Expansie: De kennisbank wordt verrijkt via twee mechanismen:
       • Intermediaire Expansie: Het deconstrueren van een directe link $(A_i \to A_j)$ in een sequentie van fijnere stappen.
       • Forward Expansie: Het genereren van nieuwe voortzettingen beginnend bij de resulterende actie $A_j$.
     • Pruning (Snoeien): Om efficiëntie te waarborgen en redundantie te verminderen, worden gegenereerde acties gematcht tegen bestaande knopen met behulp van gelijkenissscores; duplicaten worden samengevoegd en de expansielijst wordt beperkt tot zes beweringen per knoop.

2. Experimentele Opzet:

   • Omvang: Het framework werd toegepast op vijf landen (China, Indonesië, Japan, Engeland, Egypte) over 11 dagelijkse levensonderwerpen en 65 subtopics.
   • Talen: Kennisgrafen werden gegenereerd in zowel het Engels als de respectieve moedertalen (Chinees, Indonesisch, Japans, Arabisch).
   • Evaluatie: Menselijke annotatoren (moedertaalsprekers) evalueerden de gegenereerde grafen op drie dimensies: Correctheid (geldige acties en relaties), Culturele Relevantie (specificiteit ten opzichte van de doelcultuur) en Logische Padcoherentie (consistentie van inferentiële ketens).
   • Downstream Taken: De geëxtraheerde CCKG werd gebruikt om kleinere LLM's te augmenteren voor drie taken: Multiple-Choice Question Answering (MCQA), zinvolledige zinnen (Sentence Completion) en verhaalgeneratie (Story Generation). Benchmarks omvatten IndoCulture en ArabCulture.

Belangrijkste Bijdragen

1. CCKG Framework: De introductie van een methode om meertalige, cultuurspecifieke inferentiële kennisketens uit LLM's te extraheren, waarbij de focus verschuift van statische feiten naar procedurele, meerstaps redeneerstructuren.
2. Empirische Analyse van Culturele Codering: Een systematische evaluatie die aantoont dat hoewel moedertalen rijkere culturele details vastleggen, Engels vaak een coherenter en consistenter medium is voor het representeren van culturele kennisgrafen binnen huidige LLM's.
3. Prestatie-augmentatie: Demonstratie dat het augmenteren van kleinere of basismodellen met CCKG (via in-context beweringen of paden) de prestaties op culturele redeneer- en verhaalgeneratietaken aanzienlijk verbetert, met name wanneer native-language beweringen worden gebruikt voor specifieke culturele contexten.

Resultaten

• Grafiekkwaliteit: In menselijke evaluaties presteerden in het Engels gegenereerde CCKG's consequent beter dan de versies in de moedertaal op het gebied van correctheid, culturele relevantie en padcoherentie voor niet-Engelse culturen (bijv. Chinees, Indonesisch, Arabisch). Dit suggereert een asymmetrie in huidige meertalige LLM's waarbij Engels fungeert als een stabieler representatiemedium voor cultureel redeneren, waarschijnlijk door rijkere pretraining data.
• Redeneertaken (MCQA): Het integreren van CCKG-kennis verbeterde de nauwkeurigheid op de IndoCulture en ArabCulture benchmarks. Augmentatie in de moedertaal leverde de hoogste winst op (gemiddeld +1,2 punten), wat beter was dan Engelse augmentatie en bestaande baselines zoals Mango. Opvallend genoeg presteerde Chain-of-Thought (CoT) prompting slechter dan de baseline, wat suggereert dat culturele common sense meer leunt op intuïtieve context dan op expliciete stapsgewijze logica.
• Generatietaken: Voor zinvolledige zinnen en verhaalgeneratie verbeterde CCKG-augmentatie (specifiek pad-gebaseerd) de scores voor zin-gelijkenis en coherentie. Bij verhaalgeneratie zorgde de incorporatie van CCKG-paden consistent voor een hogere score op Culturele Relevantie (gemiddeld +1,4 toename voor Llama-modellen), waarbij de meest significante verbeteringen werden waargenomen in de Engelse verhaalgeneratie, hoewel generatie in de moedertaal ook profiteerde in specifieke gevallen (bijv. Indonesische verhalen met Llama3.1-8B-IT).
• LLM-as-a-Judge: Geautomatiseerde evaluatie met behulp van LLM's correleerde sterk met menselijke oordelen voor verhalen in de moedertaal, maar vertoonde matige tot zwakke correlatie voor Engelse verhalen, met name wat betreft vloeiendheid en coherentie, waarschijnlijk door stilistische variaties en vertaalkwesties.

Betekenis en Claims
Het artikel stelt dat LLM's levensvatbare "culturele archieven" kunnen zijn voor het extraheren van gestructureerde, inferentiële kennis, mits het extractieproces systematisch is. De auteurs beweren dat keten-gestructureerde culturele kennis een praktisch substraat is voor het ontwikkelen van cultureel gewortelde NLP-systemen.

De studie benadrukt een cruciale beperking en inzichten: ondanks het doel om lokale culturele redenering te modelleren, representeren huidige LLM's culturele common sense het meest effectief via het Engels, zelfs wanneer de doelcultuur niet-Engels is. Deze bevinding daagt de aanname uit dat output in de moedertaal inherent superieur is voor culturele taken en suggereert dat Engels kan fungeren als een "pivot" voor coherente culturele redenering in huidige modellen.

De auteurs concluderen dat hoewel hun methode veelbelovend is, het een onderzoeksprototype is. Ze waarschuwen tegen het gebruik van de geëxtraheerde inhoud als een formele dataset voor productiesystemen zonder de potentiële risico's aan te pakken, zoals de versterking van stereotypen, en benadrukken de noodzaak van toekomstig werk om bias te onderzoeken en het framework uit te breiden naar fijnere culturele niveaus.