💬 NLP

LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Dieses Paper führt ein iteratives Framework zur Extraktion von kulturellen Common-Sense-Wissensgraphen aus großen Sprachmodellen ein, um implizites kulturelles Wissen zu strukturieren, wobei aufgezeigt wird, dass diese Graphen zwar das kulturelle Schlussfolgern und die Generierung verbessern, jedoch derzeit eine signifikante Verzerrung zugunsten des Englischen aufweisen, selbst wenn sie nicht-englische Kulturen repräsentieren.

Ursprüngliche Autoren: Junior Cedric Tonga, Chen Cecilia Liu, Iryna Gurevych, Fajri Koto

Veröffentlicht 2026-01-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junior Cedric Tonga, Chen Cecilia Liu, Iryna Gurevych, Fajri Koto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Large Language Models (LLMs) wären wie riesige, unsichtbare Bibliotheken. Diese Bibliotheken sind gefüllt mit Büchern, die von Menschen auf der ganzen Welt geschrieben wurden, sodass sie eine enorme Menge an Informationen darüber enthalten, wie verschiedene Kulturen denken, handeln und feiern. Doch im Moment sind diese Informationen chaotisch. Sie liegen tief in der Bibliothek vergraben, verstreut in Millionen unorganisierter Sätze, was es schwierig macht, die spezifischen „Regeln“ einer Kultur zu finden oder zu verstehen.

Dieses Paper schlägt einen Weg vor, diese Bibliothek aufzuräumen und sie in einen Cultural Commonsense Knowledge Graph (CCKG) zu verwandeln. Betrachten Sie diesen Graphen nicht als eine Liste von Fakten, sondern als ein Gleissystem.

Die Kernidee: Fakten in Gleise verwandeln

Normalerweise, wenn man eine KI nach Kultur fragt, gibt sie einem vielleicht einen einzelnen Fakt aus, wie zum Beispiel: „Indonesier essen Soto Ayam zum Frühstück.“ Das ist ein statischer Fakt.

Die Autoren wollten jedoch die Reise dieses Fakts abbilden. Sie bauten ein System, das die KI fragt: „Wenn jemand Frühstück möchte, was macht er als Nächstes? Und dann? Und was passiert danach?“

Das Gleis: „Wenn du nach Frühstück suchst $\rightarrow$ gehst du zu einem Warung (einem kleinen Laden) $\rightarrow$ du bestellst Soto Ayam $\rightarrow$ du fühlst dich warm und geborgen.“

Durch das Verbinden dieser Schritte erschaffen sie ein „Gleis“ der kulturellen Logik. Dies ermöglicht es der KI, nicht nur zu verstehen, was passiert, sondern auch den Fluss des kulturellen Lebens.

Wie sie die Gleise gebaut haben (Der Prozess)

Die Forscher behandelten die KI (speziell GPT-4o) als einen „kulturellen Archivaren“. Sie nutzten einen zweistufigen Prozess, um diese Gleise zu bauen:

Die ersten Schienen legen (Initial Generation): Sie baten die KI, einfache „Wenn-Dann“-Aussagen über Themen des täglichen Lebens (wie Essen, Hochzeiten oder Gewohnheiten) für fünf verschiedene Länder zu generieren: China, Indonesien, Japan, England und Ägypten.
Die Gleise verlängern (Iterative Expansion): Das ist der clevere Teil. Sobald die KI sagte: „Wenn du nach Frühstück suchst, bestellst du Soto Ayam“, baten die Forscher die KI, die Lücken zu füllen.
- Intermediäre Expansion: „Was passiert zwischen dem Suchen nach Frühstück und dem Bestellen? Vielleicht wählst du zuerst eine Beilage aus.“
- Vorwärtsgerichtete Expansion: „Was passiert nach dem Bestellen? Vielleicht fügst du Sambal (Chilisauce) hinzu.“

Sie wiederholten diesen Prozess und verwandelten so einen einzelnen Fakt in eine lange, logische Kette kulturellen Verhaltens.

Die große Überraschung: Die „Englische Brücke“

Die Forscher hatten eine Hypothese: „Wenn wir etwas über die indonesische Kultur wissen wollen, sollten wir die KI auf Indonesisch fragen. Wenn wir etwas über die chinesische Kultur wissen wollen, sollten wir auf Chinesisch fragen.“

Sie lagen falsch.

Als sie die Qualität dieser kulturellen Gleise testeten, fanden sie ein seltsames, aber konsistentes Muster: Die Gleise, die auf Englisch gebaut wurden, waren viel besser als die in den jeweiligen Landessprachen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Karte einer Stadt zu zeichnen. Sie könnten denken, dass es am genauesten ist, die Karte in der lokalen Sprache zu zeichnen. Aber die Forscher fanden heraus, dass die „interne Karte“ der KI am klarsten auf Englisch gezeichnet war. Selbst wenn sie ein indonesisches Frühstück oder eine ägyptische Hochzeit beschrieben, produzierte die KI logischere, kohärentere und kulturell genauere „Gleise“, wenn sie gezwungen war, Englisch zu sprechen.
Das Ergebnis: Die englischen Versionen des Wissensgraphen waren konsistenter und ergaben für menschliche Evaluatoren mehr Sinn als die Versionen in Chinesisch, Arabisch oder Indonesisch.

Hilft das kleineren KIs?

Die Forscher nahmen diese „Gleise“ (den CCKG) und gaben sie kleineren, schwächeren KI-Modellen, um zu sehen, ob es ihnen hilft, Kultur besser zu verstehen.

Der Test: Sie baten diese kleineren Modelle, Fragen über Kultur zu beantworten oder kurze Geschichten zu schreiben.
Das Ergebnis: Wenn die kleineren Modelle die Erlaubnis hatten, „auf die Gleise zu schauen“ (indem sie den CCKG als Leitfaden nutzten), wurden sie viel besser darin, Fragen zu beantworten oder Geschichten zu schreiben, die sich kulturell authentisch anfühlten.
Der Haken: Der größte Schub kam, wenn die Modelle die englischen Gleise verwendeten, selbst bei nicht-englischen Kulturen. Es scheint, dass die „englische Brücke“ derzeit der zuverlässigste Weg ist, um auf das kulturelle Wissen der KI zuzugreifen.

Was sie NICHT behauptet haben

Es ist wichtig, sich an das zu halten, was das Paper tatsächlich aussagt:

Sie haben nicht gesagt, dass dieses System bereit für den Einsatz in Krankenhäusern, Schulen oder Rechtssystemen ist.
Sie haben nicht behauptet, dass sie das Problem des KI-Bias oder der Stereotypen gelöst haben (tatsächlich merkten sie an, dass Bias weiterhin ein Risiko darstellt und sie dies nicht tiefgehend geprüft haben).
Sie haben nicht gesagt, dass Englisch die „beste“ Sprache für Menschen ist; sie fanden lediglich heraus, dass für diese spezifischen KI-Modelle Englisch die stabilste Sprache ist, um kulturelle Logik zu extrahieren.

Zusammenfassung

Das Paper zeigt, dass wir KI-Modelle als riesige Archive kulturellen Wissens behandeln können. Indem wir die KI bitten, „Gleise“ der kulturellen Logik zu bauen (Wenn dies passiert, dann passiert jenes), können wir eine strukturierte Karte erstellen, wie verschiedene Kulturen funktionieren. Es gibt jedoch eine Wendung: Derzeit scheinen diese KI-Modelle diese kulturellen Karten am klarsten zu verstehen und auszudrücken, wenn sie Englisch sprechen, selbst wenn die Kultur selbst nicht englischsprachig ist. Dieser „englische Vorteil“ hilft kleineren KI-Modellen zwar bei der Leistung, verdeutlicht aber auch, dass unsere aktuellen KI-Werkzeuge noch immer ungleichmäßig darin sind, die vielfältigen Kulturen der Welt darzustellen.

Technische Zusammenfassung: LLMs als kulturelle Archive: Extraktion von kulturellem Common-Sense-Wissen

Problemstellung
Große Sprachmodelle (LLMs) kodieren enorme Mengen an kulturellem Wissen, das aus vielfältigen, web-skalierbaren Daten abgeleitet wurde, und bieten somit eine potenzielle Ressource für die Modellierung von kulturellem Common Sense (gesamtheitlichem Weltwissen) in großem Maßstab. Dieses Wissen bleibt jedoch weitgehend implizit, unstrukturiert und schwer interpretierbar. Bestehende computergestützte Ansätze für das kulturelle Schlussfolgern (Commonsense Reasoning) behandelten die Kultur historisch gesehen als neutral oder westlich-zentriert (z. B. ATOMIC), während jüngere Bemühungen zum Aufbau kultureller Wissensbasen oft auf statischen, isolierten Fakten aus Quellen wie Wikipedia oder sozialen Medien beruhen. Diese Ansätze versäumen es, die prozedurale, sequentielle und kontextuelle Natur kultureller Praktiken zu erfassen, die oft durch geordnete Ketten von Handlungen definiert sind und nicht durch atomare Aussagen. Zudem mangelt es an strukturierten, inferenziellen Repräsentationen, die lokale Normen und Praktiken über verschiedene Sprachen hinweg widerspiegeln.

Methodik
Die Autoren schlagen ein iteratives, prompt-basiertes Framework vor, um einen Kulturellen Common-Sense-Wissensgraphen (CCKG) zu konstruieren, wobei LLMs als „kulturelle Archive“ behandelt werden, um kulturspezifisches Wissen systematisch zu extrahieren und zu strukturieren.

Framework-Konstruktion:
- Graph-Definition: Der CCKG ist ein gerichteter, beschrifteter Graph $G = (V, E)$ , bei dem Knoten Aktionen repräsentieren und Kanten beschriftete Relationen darstellen. Eine Assertion ist ein Tripel $(A_i, R, A_j)$ , interpretiert als „wenn Aktion $A_i$ auftritt, dann folgt Aktion $A_j$ “.
- Relationstypen: Das Framework nutzt fünf Relationstypen: $xNext$ (nächste Aktion des Agenten), $xEffect$ (Auswirkung auf den Agenten), $xNeed$ (Voraussetzung für den Agenten), $oNext$ (nächste Aktion anderer) und $oEffect$ (Auswirkung auf andere).
- Extraktionsprozess (Algorithmus 1):
  - Initiale Generierung: Basierend auf einem Subthema, einem Land und einer Sprache generiert ein LLM (GPT-4o) initiale „Wenn-Dann“-Assertionen basierend auf vordefinierten Relationstypen.
  - Iterative Expansion: Die Wissensbasis wird durch zwei Mechanismen angereichert:
    - Intermediäre Expansion: Zerlegung einer direkten Verbindung $(A_i \to A_j)$ in eine Sequenz feiner abgestufter Zwischenschritte.
    - Vorwärts-Expansion (Forward Expansion): Generierung neuer Fortsetzungen ausgehend von der resultierenden Aktion $A_j$ .
  - Pruning (Beschneidung): Um die Effizienz zu gewährleisten und Redundanzen zu reduzieren, werden generierte Aktionen mittels Ähnlichkeitswerten mit bestehenden Knoten abgeglichen; Duplikate werden zusammengeführt und die Expansionsliste wird auf sechs Assertionen pro Knoten begrenzt.
Experimentelles Setup:
- Umfang: Das Framework wurde auf fünf Länder (China, Indonesien, Japan, England, Ägypten) angewendet, die 11 Themen des täglichen Lebens und 65 Subthemen abdecken.
- Sprachen: Die Wissensgraphen wurden sowohl auf Englisch als auch in der jeweiligen Landessprache (Chinesisch, Indonesisch, Japanisch, Arabisch) generiert.
- Evaluierung: Menschliche Annotatoren (Muttersprachler) bewerteten die generierten Graphen in drei Dimensionen: Korrektheit (valide Aktionen und Relationen), kulturelle Relevanz (Spezifität für die Zielkultur) und logische Pfadkohärenz (Konsistenz der inferenziellen Ketten).
- Downstream-Aufgaben: Der extrahierte CCKG wurde zur Augmentierung kleinerer LLMs für drei Aufgaben verwendet: Multiple-Choice-Fragen (MCQA), Satzvervollständigung und Geschichterzählung. Zu den Benchmarks gehörten IndoCulture und ArabCulture.

Zentrale Beiträge

CCKG-Framework: Die Einführung einer Methode zur Extraktion multilingualer, kulturspezifischer inferenzieller Wissensketten aus LLMs, die über statische Fakten hinaus zu prozeduralen, mehrstufigen Denkstrukturen übergeht.
Empirische Analyse der kulturellen Kodierung: Eine systematische Evaluierung, die zeigt, dass native Sprachen zwar reichhaltigere kulturelle Details erfassen, Englisch jedoch oft ein kohärenteres und konsistenteres Medium zur Repräsentation kultureller Wissensgraphen innerhalb aktueller LLMs darstellt.
Leistungssteigerung: Die Demonstration, dass die Augmentierung kleinerer oder Basis-Modelle mit CCKG (via In-Context-Assertionen oder Pfaden) die Leistung bei kulturellen Schlussfolgerungs- und Geschichterzeugungsaufgaben signifikant verbessert, insbesondere wenn native Sprach-Assertionen für spezifische kulturelle Kontexte verwendet werden.

Ergebnisse

Graphqualität: In menschlichen Evaluationen schnitten englisch generierte CCKGs bei der Korrektheit, kulturellen Relevanz und Pfadkohärenz für nicht-englische Kulturen (z. B. Chinesisch, Indonesisch, Arabisch) konsistent besser ab als die Versionen in den jeweiligen Landessprachen. Dies deutet auf eine Asymmetrie in aktuellen multilingualen LLMs hin, in denen Englisch als stabileres Repräsentationsmedium für kulturelles Schlussfolgern dient, was wahrscheinlich auf reichhaltigere Pretraining-Daten zurückzuführen ist.
Schlussfolgerungsaufgaben (MCQA): Die Integration von CCKG-Wissen verbesserte die Genauigkeit bei den IndoCulture- und ArabCulture-Benchmarks. Die Augmentierung in der Landessprache lieferte die höchsten Gewinne (durchschnittlich +1,2 Punkte) und übertraf damit die englische Augmentierung sowie bestehende Baselines wie Mango. Bemerkenswerterweise performte das Chain-of-Thought (CoT) Prompting schlechter als die Baseline, was darauf hindeutet, dass kultureller Common Sense eher auf intuitivem Kontext als auf expliziter Schritt-für-Schritt-Logik beruht.
Generierungsaufgaben: Für die Satzvervollständigung und Geschichterzählung verbesserte die CCKG-Augmentierung (insbesondere pfadbasiert) die Scores für Satzähnlichkeit und Kohärenz. Bei der Geschichterzählung erhöhte die Einbeziehung von CCKG-Pfaden konsistent die Scores für kulturelle Relevanz (durchschnittlicher Anstieg um +1,4 bei Llama-Modellen), wobei die signifikantesten Verbesserungen bei der englischen Geschichterzählung beobachtet wurden, wenngleich auch die Generierung in Landessprachen in spezifischen Fällen (z. B. indonesische Geschichten mit Llama3.1-8B-IT) profitierte.
LLM-as-a-Judge: Die automatisierte Evaluierung mittels LLMs korrelierte stark mit menschlichen Urteilen für Geschichten in der Landessprache, zeigte jedoch moderate bis schwache Korrelationen für englische Geschichten, insbesondere hinsichtlich Fluenz und Kohärenz, was wahrscheinlich auf stilistische Variationen und Nuancen der Übersetzung zurückzuführen ist.

Bedeutung und Behauptungen
Das Paper postuliert, dass LLMs als lebensfähige „kulturelle Archive“ für die Extraktion von strukturiertem, inferenziellem Wissen dienen können, sofern der Extraktionsprozess systematisch erfolgt. Die Autoren behaupten, dass kettenstrukturierte kulturelle Kenntnisse ein praktisches Substrat für die Entwicklung kulturell fundierter NLP-Systeme darstellen.

Die Studie hebt eine kritische Einschränkung und Erkenntnis hervor: Trotz des Ziels, lokales kulturelles Schlussfolgern zu modellieren, repräsentieren aktuelle LLMs kulturellen Common Sense am effektivsten durch das Englische, selbst wenn es sich um eine nicht-englische Kultur handelt. Dieser Befund stellt die Annahme infrage, dass Outputs in der Landessprache inhärent überlegen für kulturelle Aufgaben sind, und legt nahe, dass Englisch in aktuellen Modellen als „Pivot“ für kohärentes kulturelles Schlussfolgern fungiert.

Die Autoren kommen zu dem Schluss, dass ihre Methode zwar vielversprechend ist, aber ein Forschungsprototyp bleibt. Sie mahnen zur Vorsicht bei der Verwendung der extrahierten Inhalte als formale Datensätze für Produktionssysteme, ohne die potenziellen Risiken, wie etwa die Verstärkung von Stereotypen, zu adressieren, und betonen die Notwendigkeit zukünftiger Arbeiten, um Bias zu untersuchen und das Framework auf feinere kulturelle Ebenen auszuweiten.