💬 NLP

Attributing Culture-Conditioned Generations to Pretraining Corpora

Diese Arbeit stellt mit dem MEMOed-Framework eine Methode vor, um kulturelle Verzerrungen in den Generierungen von Sprachmodellen auf ungleiche Verteilungen in den Vorab-Trainingsdaten zurückzuführen und zeigt, dass Modelle bei seltenen Kulturen weniger auf Memorierung zurückgreifen, während sie bei häufigen Kulturen stark auf hochfrequente, aber oft irrelevante Begriffe verfallen.

Ursprüngliche Autoren: Huihan Li, Arnav Goel, Keyu He, Xiang Ren

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Huihan Li, Arnav Goel, Keyu He, Xiang Ren

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🌍 Das große kulturelle Kochbuch: Warum KI manchmal nur „Fleisch und Brot" serviert

Stellen Sie sich ein riesiges, digitales Kochbuch vor, das eine Künstliche Intelligenz (KI) gelesen hat, bevor sie überhaupt angefangen hat zu sprechen. Dieses Buch heißt OLMo-7B und es enthält Milliarden von Texten aus dem Internet.

Die Forscher aus dieser Studie haben sich gefragt: Warum erzählt die KI über manche Kulturen spannende, echte Geschichten, während sie über andere nur langweilige, immergleiche Floskeln von sich gibt?

Um das herauszufinden, haben sie ein neues Werkzeug erfunden, das sie MEMOED nennen. Man kann sich MEMOED wie einen Detektiv vorstellen, der im riesigen Kochbuch nachspürt, woher die KI ihre Informationen eigentlich hat.

🕵️‍♂️ Die vier Arten, wie die KI über Kultur spricht

Wenn man die KI fragt: „Was isst dein Nachbar aus [Land X]?", kann sie auf vier verschiedene Arten antworten. Die Forscher haben diese in vier Kategorien eingeteilt:

Der „Gedächtnis-Träger" (Memorized Association):
- Das ist: Die KI nennt ein Essen, das wirklich typisch für dieses Land ist (z. B. „Biryani" für Indien).
- Warum? Im großen Kochbuch steht dieses Wort oft direkt neben dem Namen des Landes. Die KI hat es einfach auswendig gelernt, wie ein Schüler, der eine Vokabelkartei gepaukt hat.
- Ergebnis: Das ist gut! Aber es passiert nur bei Ländern, die im Buch sehr oft vorkommen.
Der „Allrounder" (Diffuse Association):
- Das ist: Die KI nennt etwas, das für jeden passt, aber nichts Besonderes ist (z. B. „Hähnchen" oder „Reis").
- Warum? Diese Wörter sind im Kochbuch so extrem häufig, dass die KI denkt: „Ah, das passt sicher auch hier!" Sie greift auf diese allgemeinen Begriffe zurück, weil sie keine spezifischen Informationen für das Land hat.
- Das Problem: Es ist langweilig. Es ist, als würde man einem Italiener „Pizza" und einem Japaner „Reis" zuessen geben, nur weil man nicht weiß, was sie wirklich essen.
Der „Kultur-Dieb" (Cross-Culture Generalization):
- Das ist: Die KI sagt über Korea, dass sie „Kimono" tragen (was eigentlich japanisch ist).
- Warum? Im Kochbuch stehen Japan und Korea oft in denselben Kapiteln über „Asien" oder „Mode". Die KI denkt: „Wenn es für Japan passt, passt es sicher auch für Korea." Sie verwechselt die Kulturen, weil sie im Buch oft nebeneinander stehen.
Der „Erfinder" (Weak Association Generalization):
- Das ist: Die KI erfindet etwas Abstraktes, das halbwegs passt (z. B. „ein langes Gewand" statt „Kimono").
- Warum? Die KI weiß, dass es ein spezielles Kleidungsstück gibt, kann sich den Namen aber nicht merken. Also beschreibt sie es nur allgemein.

🔍 Was haben die Detektive herausgefunden?

Die Studie hat 110 verschiedene Kulturen untersucht (von großen wie den USA bis zu kleineren wie Trinidad). Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

Je mehr im Buch steht, desto besser ist das Gedächtnis:
Länder, die im Internet (und im Kochbuch) sehr oft erwähnt werden, haben viele „Gedächtnis-Träger". Die KI kennt ihre echten Gerichte und Kleider.
Beispiel: Mexiko hat viele spezifische Antworten.
Beispiel: Ein kleines Land wie Trinidad hat oft gar keine spezifischen Antworten. Die KI weiß einfach nicht genug darüber.
Die „Lauten" übertönen die „Leisen":
Wörter wie „Hähnchen" oder „Hemd" sind im Kochbuch millionenfach öfter zu finden als spezifische Wörter wie „Tacos" oder „Kimono". Deshalb greift die KI oft zu diesen allgemeinen Begriffen, selbst wenn sie eigentlich etwas Spezifisches sagen sollte. Es ist, als würde ein lauter Schreier im Raum alle anderen Stimmen übertönen.
Kulturen werden vermischt:
Wenn zwei Länder im Buch oft zusammen erwähnt werden (z. B. Iran und Saudi-Arabien bei Themen wie „Religion"), dann übernimmt die KI die Symbole des einen für das andere. Sie vermischt die Kulturen, weil sie im Datenbuch nicht sauber getrennt sind.

💡 Die große Lektion

Die Forscher sagen: Die KI ist nicht böse, sie ist nur ein Spiegel.

Wenn die KI kulturelle Vorurteile zeigt oder wenig über bestimmte Länder weiß, liegt das nicht daran, dass die KI „dumm" ist. Es liegt daran, dass das Kochbuch (die Trainingsdaten) ungleich gewichtet ist.

Manche Kulturen sind im Buch mit goldenen Buchstaben geschrieben (sehr oft erwähnt).
Andere sind nur mit winzigen, kaum lesbaren Buchstaben geschrieben (selten erwähnt).

Was bedeutet das für die Zukunft?
Damit die KI fairer wird und alle Kulturen gleich gut versteht, müssen wir das Kochbuch verbessern. Wir müssen sicherstellen, dass auch die „kleinen" Kulturen dort so oft und so detailliert vorkommen wie die großen. Nur dann kann die KI aufhören, nur „Hähnchen und Reis" für alle zu servieren, und echte, kulturelle Vielfalt präsentieren.

Zusammengefasst: Die KI macht genau das, was sie im Internet gelesen hat. Wenn das Internet unvollständig ist, ist auch die KI unvollständig. Das Werkzeug MEMOED hilft uns nun zu sehen, wo genau diese Lücken im Wissen der KI liegen.

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen in offenen generativen Aufgaben (z. B. narrative Texte, Dialoge) oft kulturelle Voreingenommenheit. Sie verfügen über begrenztes Wissen über weniger verbreitete Kulturen und produzieren statische, vorlagenartige Ausgaben.

Hypothese: Diese Verzerrungen resultieren aus einer ungleichen Repräsentation von Kulturen in den Pretraining-Korpora.
Forschungsfrage: Wie führt Pretraining zu voreingenommenen, kulturspezifischen Generationen? Unterscheidet das Modell zwischen echten kulturellen Assoziationen (Memorierung) und generischen Verallgemeinerungen, und wie hängt dies mit der Häufigkeit von Daten im Pretraining zusammen?

2. Methodik: Das MEMOED-Framework

Die Autoren stellen MEMOED (MEMOrization from pretraining document) vor, ein Framework, um zu bestimmen, ob eine generierte Entität („Symbol") für eine bestimmte Kultur auf einer echten Memorierung aus den Pretraining-Daten beruht oder auf anderen Mechanismen.

A. Datenbasis und Setup

Modell: OLMo-7B (ein Open-Source-Modell mit vollständig zugänglichen und indizierten Pretraining-Daten).
Korpus: Dolma (ein Open-Source-Pretraining-Korpus).
Umfang: 110 verschiedene Kulturen, analysiert in den Domänen „Essen" und „Kleidung".
Generierung: Das Modell wurde mit Prompts wie „Mein Nachbar ist [Kultur]. Er/Sie mag wahrscheinlich [Essen/Tragen]..." gefüttert, um 300 Generationen pro Kultur zu erhalten.

B. Das MEMOED-Pipeline

MEMOED klassifiziert die Assoziationen zwischen Kultur und Symbol in vier Kategorien:

Memorized Association (Memorierung): Das Symbol und die Kultur treten im Pretraining häufig und kontextuell relevant zusammen auf.
Diffuse Association: Symbole, die nicht spezifisch für eine Kultur sind, aber in über 50 % aller Generationen vorkommen (z. B. „Reis", „T-Shirt").
Cross-Culture Generalization: Ein Symbol, das für Kultur A memorisiert wurde, wird fälschlicherweise für Kultur B generiert.
Weak Association Generalization: Symbole, die aus einer Synthese oder Uminterpretation von memorisierten Symbolen abgeleitet werden (z. B. „Robe" als Verallgemeinerung von „Kimono").

C. Nachweis der Memorierung (Kernalgorithmus)

Um festzustellen, ob ein Symbol für eine Kultur memorisiert wurde, analysiert MEMOED die Pretraining-Dokumente auf drei Metriken:

Token-Distanz ( $d_{TOK}$ ): Wie nah beieinander stehen die Tokens der Kultur und des Symbols im Dokument?
Satz-Distanz ( $d_{SENT}$ ): Wie viele Sätze trennen die Begriffe?
Document-Signal-to-Noise-Ratio ( $d_{SNR}$ ): Ein logarithmisches Maß, das die Häufigkeit der Zielkultur im Dokument im Verhältnis zu allen anderen Kulturen bewertet. Ein hoher Wert bedeutet, dass das Dokument thematisch stark auf die Zielkultur fokussiert ist.

Ein Dokument wird als „beitragend" klassifiziert, wenn die Distanzen gering sind und die $d_{SNR}$ einen Schwellenwert überschreitet.

Bewertung: Für jedes Symbol wird ein Contribution Score (CS) berechnet (Anteil der beitragenden Dokumente an allen Dokumenten, in denen das Symbol vorkommt).
Klassifikation: Ein Symbol wird als „memorisiert" für eine Kultur markiert, wenn der CS dieser Kultur statistisch signifikant als Ausreißer (Z-Score > 2,6) in der Verteilung aller Kulturen für dieses Symbol hervorsticht.

3. Wichtige Ergebnisse

A. Memorierung ist für unterrepräsentierte Kulturen begrenzt

Es besteht eine starke positive Korrelation (Spearman $\rho \approx 0,67$ für Essen) zwischen der Anzahl der Pretraining-Dokumente einer Kultur und der Anzahl der memorisierten Symbole.
Ergebnis: Hochfrequente Kulturen (z. B. USA, Indien) haben viele memorisierte Symbole. Bei „Long-Tail"-Kulturen (z. B. Trinidad) fehlen oft jegliche memorisierten Symbole; das Modell greift hier auf diffuse Assoziationen oder Verallgemeinerungen zurück.
Im Bereich „Kleidung" ist die Memorierung generell schwächer als bei „Essen" (nur 45 von 110 Kulturen haben mindestens ein memorisiertes Kleidungsstück).

B. Diffuse Assoziationen werden durch Frequenz getrieben

Symbole mit diffuser Assoziation (z. B. „Hähnchen", „Jeans") erscheinen im Pretraining um Größenordnungen häufiger als spezifische kulturelle Symbole.
Es gibt eine positive Korrelation zwischen der Frequenz eines diffusen Symbols und der Anzahl der Kulturen, für die es generiert wird. Das Modell priorisiert diese hochfrequenten, aber kulturell unspezifischen Symbole, selbst wenn sie nicht zur instruierten Kultur passen.

C. Cross-Culture Generalization (Verallgemeinerung zwischen Kulturen)

Kulturen mit hoher Präsenz im Pretraining neigen dazu, ihre memorisierten Symbole für andere Kulturen zu generieren.
Umgekehrt enthalten Generationen von Kulturen mit geringer Pretraining-Häufigkeit häufiger Symbole, die für andere Kulturen memorisiert wurden.
Themen-Modellierung: Die Analyse zeigt, dass diese Verallgemeinerungen oft durch gemeinsame Themen in den Pretraining-Dokumenten getrieben werden (z. B. werden „Hijab" und „Iran" oft in Dokumenten über „Islam/Politik" gemeinsam erwähnt, was dazu führt, dass „Hijab" auch für andere muslimische Länder generiert wird).

D. Schwache Assoziationen

Verallgemeinerungen aus schwachen Assoziationen korrelieren nicht stark mit der Anzahl der memorisierten Symbole.
Kulturen ohne eigene memorisierten Symbole (z. B. Jemen für Kleidung) generieren häufig Verallgemeinerungen, die auf hochfrequenten Symbolen basieren.

4. Hauptbeiträge

MEMOED-Framework: Ein neues, reproduzierbares Framework zur Attribution von Modell-Generationen auf spezifische Muster im Pretraining-Datensatz. Es unterscheidet quantitativ zwischen echter Memorierung, diffusen Assoziationen und Verallgemeinerungen.
Empirische Analyse: Eine umfassende Studie an 110 Kulturen, die zeigt, dass LLMs nicht gleichmäßig über globales kulturelles Wissen verfügen, sondern stark von der Datenverteilung im Pretraining abhängig sind.
Mechanismus-Entschlüsselung: Die Arbeit zeigt, dass „Halluzinationen" oder falsche kulturelle Zuordnungen oft keine zufälligen Fehler sind, sondern systematische Folgen von Frequenz-Bias (hohe Frequenz diffuser Symbole) und Cross-Culture-Generalisierung durch thematische Überlappungen im Training.
Validierung: Die Ergebnisse wurden durch menschliche Annotationen (Experten aus den jeweiligen Kulturen) validiert, die die Klassifizierung von MEMOED als „emblematische Symbole" zu einem großen Teil bestätigten (Weighted F1: 0,845 für Kleidung).

5. Bedeutung und Implikationen

Diagnose von Bias: Die Studie liefert ein Werkzeug, um zu verstehen, warum ein Modell kulturelle Vorurteile zeigt (z. B. fehlende Daten vs. falsche Generalisierung).
Datenqualität: Sie unterstreicht, dass die reine Vergrößerung von Datensätzen nicht ausreicht; die Verteilung und Repräsentativität der Daten sind entscheidend für die Fähigkeit des Modells, kulturelle Nuancen zu lernen.
Zukünftige Arbeiten: Die Ergebnisse deuten darauf hin, dass Techniken wie „Unlearning" (Löschen von Bias) oder gezielte Daten-Augmentierung für Long-Tail-Kulturen notwendig sind, um die kulturelle Vielfalt in LLMs zu verbessern.
Einschränkung: Die Analyse ist derzeit auf Modelle mit zugänglichen Pretraining-Daten beschränkt (wie OLMo), aber die Methodik ist auf andere Modelle übertragbar, sofern deren Daten zugänglich sind.

Zusammenfassend demonstriert das Papier, dass kulturelle Verzerrungen in LLMs direkt auf die statistischen Eigenschaften der Pretraining-Daten zurückzuführen sind, wobei das Modell tendenziell hochfrequente, unspezifische Symbole bevorzugt und bei seltenen Kulturen auf Verallgemeinerungen aus anderen Kontexten zurückgreift.