💬 NLP

The Culture Funnel: You Can't Align What isn't in the Data

Dieses Papier argumentiert, dass aktuelle Fehler in der kulturellen Ausrichtung aus einem „kulturellen Datenfunnel“ resultieren, bei dem explizite kulturelle Signale während des Post-Trainings aufgrund geografisch konzentrierter Daten abnehmen, und demonstriert, dass die Verlagerung des Fokus auf kulturell getaggte Trainings-Pipelines die nachgelagerte Performance signifikant verbessert.

Ursprüngliche Autoren: Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Der „Kultur-Trichter“

Stellen Sie sich vor, Sie bauen einen riesigen, superintelligenten Roboter-Koch (ein Large Language Model oder LLM). Um ihm das Kochen beizubringen, füttern Sie ihn zuerst mit einem riesigen Buffet aus Rezepten aus allen Ecken der Welt. Dies ist die Phase des Pretrainings. Zu diesem Zeitpunkt hat der Roboter bereits Gerichte aus Indien, Brasilien, Japan und Nigeria probiert. Er weiß ein bisschen über alles.

Doch während sich der Roboter auf die Arbeit vorbereitet, durchläuft er eine Reihe von „Trainingslagern“ (genannt Post-Training).

Camp 1 (Instruction Tuning): Der Roboter lernt, strikte Befehle zu befolgen.
Camp 2 (Alignment): Der Roboter lernt, höflich und sicher zu sein.
Camp 3 (Reasoning): Der Roboter lernt, mathematische Probleme zu lösen und Code zu schreiben.

Das Problem: Die Autoren argumentieren, dass der Roboter, während er diese Camps durchläuft, durch einen Trichter gepresst wird. Das breite, bunte, vielfältige Buffet vom Anfang wird schmaler. Bis der Roboter bereit ist, Ihnen zu servieren, ist der „kulturelle Geschmack“ herausgefiltert worden. Der Roboter ernährt sich nun hauptsächlich von einer Diät aus Mathematik, Programmierung und westlicher Logik. Er kann zwar immer noch viele Sprachen sprechen, aber er hat die kulturellen Nuancen hinter ihnen vergessen.

Warum „viele Sprachen sprechen“ nicht ausreicht

Sie denken vielleicht: „Aber Moment mal, der Roboter spricht 100 Sprachen! Bedeutet das nicht, dass er auch 100 Kulturen versteht?“

Das Paper sagt: Nein.

Die Analogie: Stellen Sie sich eine Bibliothek vor, die Bücher in 100 verschiedenen Sprachen besitzt. Aber 90 % dieser Bücher sind lediglich Übersetzungen desselben amerikanischen Selbsthilfebuchs.
Die Realität: Das Hinzufügen von mehr Sprachen zu den Trainingsdaten bedeutet nicht automatisch, dass auch mehr Kulturen hinzugefügt werden. Wenn die Daten nur übersetzte Matheaufgaben oder generischer Code sind, lernt der Roboter zwar die Wörter, aber nicht die Lebensweise, die dahintersteht. Das Paper stellte fest, dass das Hinzufügen von Sprachen zwar die Anzahl der erwähnten Orte (Geolokationen) erhöht, aber nicht zwangsläufig die Tiefe des kulturellen Verständnisses.

Das „Schatzkarten“-Experiment

Die Forscher wollten sehen, ob sie dieses „Trichter-Problem“ lösen können. Sie probierten zwei verschiedene Methoden aus, um dem Roboter zu helfen, sich an sein kulturelles Buffet zu erinnern:

Methode 1: Die „Nur-Kultur“-Diät (Cultural SFT)
Sie versuchten, den Roboter nur mit den kulturellen Gerichten aus dem Buffet zu füttern, in der Hoffnung, er würde zu einem Kulturexperten werden.

Das Ergebnis: Es war, als würde man dem Roboter eine Diät aus reinem Obst geben. Er wurde gut darin, über Obst zu sprechen, aber er vergaß, wie man die Hauptgerichte kocht (Mathe, Coding, allgemeine Aufgaben). Er wurde insgesamt sogar ein schlechterer Assistent.

Methode 2: Die „Markierungen“ (Marker-Augmented Finetuning)
Anstatt zu ändern, was der Roboter aß, fügten sie dem Essen kleine „Flaggen“ oder „Tags“ hinzu.

Die Analogie: Stellen Sie sich vor, jedes Mal, wenn der Roboter eine Geschichte über eine Hochzeit in Indien liest, erscheint eine kleine digitale Flagge mit der Aufschrift: „Hey, das handelt von der indischen Hochzeitskultur!“
Das Ergebnis: Dies funktionierte viel besser. Der Roboter vergaß nicht, wie man Mathe oder Code schreibt, aber er lernte zu erkennen, wann ein kultureller Kontext wichtig war. Er wurde besser darin, Fragen zu kulturellen Vorlieben und Biases zu beantworten, ohne seine anderen Fähigkeiten zu verlieren.

Was die Daten tatsächlich zeigen

Die Forscher untersuchten 5,6 Millionen Datensätze (wie eine massive Prüfung der Diät des Roboters) und fanden drei Hauptpunkte:

Der Trichter ist real: Während Modelle vom Pretraining zum Post-Training übergehen, sinkt der Anteil an kulturellen Inhalten drastisch.
Das „Long-Tail“-Problem: Ein paar Orte (wie die USA, Indien und China) dominieren die Daten. Viele andere Kulturen sind wie „Long-Tail“-Elemente – selten gesehen und schwer für den Roboter zu lernen.
Die Aufgabe entscheidet: Der Robot ist gut in kulturellen Aufgaben, wenn er eine Geschichte schreiben oder übersetzen soll, aber er hat Schwierigkeiten, wenn er Ratschläge zu medizinischen oder rechtlichen Themen geben soll, da diese Bereiche in den Trainingsdaten überwiegend westlich geprägt sind.

Das Fazit

Man kann das kulturelle Verständnis eines Roboters nicht einfach „reparieren“, indem man ihn am Ende nur höflich bittet (Inference-Time). Wenn das kulturelle Wissen nicht von vornherein in die Trainingsdaten eingebacken wurde, wird der Roboter es nicht zu geben haben.

Die Lösung: Wir müssen aufhören, Kultur als einen Nachgedanken zu behandeln. Anstatt nur zu versuchen, den Roboter später zu „alignen“, müssen wir die Trainingspipeline gezielt so gestalten, dass diese kulturellen „Geschmacksrichtungen“ sichtbar bleiben. Wir müssen aufhören, den Trichter so eng zuzudrücken, dass nur die „dominante“ Kultur hindurchkommt.

Kurz gesagt: Wenn Sie einen Roboter wollen, der die Welt versteht, dürfen Sie ihn nicht nur lehren, die Sprachen der Welt zu sprechen; Sie müssen ihn mit den Geschichten der Welt füttern und sicherstellen, dass diese Geschichten nicht herausgefiltert werden, bevor der Roboter seine Arbeit aufnimmt.

Technisches Resümee: Der Kultur-Trichter: Man kann nicht ausrichten, was nicht in den Daten vorhanden ist

Problemstellung

Derzeitige Ansätze zur kulturellen Ausrichtung (Cultural Alignment) bei Large Language Models (LLMs) behandeln Kultur primär als ein Problem der Inferenzzeit, wobei sie auf Prompting-Strategien, Alignment-Tuning oder Benchmarking setzen, um kulturell situierte Verhaltensweisen zu evozieren. Diese Methoden basieren auf der Annahme, dass Modelle bereits über ausreichendes kulturelles Wissen innerhalb ihrer Parameter verfügen und lediglich die richtigen „Evozierungsmechanismen“ benötigen.

Die Autoren argumentieren, dass diese Annahme fehlerhaft ist. Sie postulieren, dass moderne LLM-Pipelines unter einem „Kultur-Trichter“ (Culture Funnel) leiden – einer systematischen Kompression kultureller Signale während der Post-Training-Phasen. Während die Pretraining-Korpora vielfältige Sprachdaten enthalten, führen Post-Training-Verfahren (insbesondere Supervised Fine-Tuning, Alignment und Reasoning) zunehmstend zu einer Homogenisierung des Modellverhaltens hin zu dominanten kulturellen Normen (oft westlich geprägt) und reduzieren die Dichte an expliziter kultureller Fundierung. Zudem stellen die Autoren fest, dass Mehrsprachigkeit allein keine kulturelle Vielfalt garantiert; Web-Scale-Daten sind unverhältnismäßig stark durch westliche, englischsprachige Populationen repräsentiert, und das Hinzufügen von Sprachen führt oft nicht zu einer Erhöhung des Anteils kulturell fundierter Inhalte, wenn die Quellen nicht diversifiziert werden.

Methodik

Um diesen „Kultur-Trichter“ zu quantifizieren, entwickelten die Autoren ein multidimensionales Tagging-Framework, das auf 5,6 Millionen Datenpunkten aus 10 diversen Datensätzen über den gesamten LLM-Trainingslebenszyklus hinweg (Pretraining, Instruction Fine-Tuning, Alignment, Reasoning und reale Nutzerkonversationen) angewendet wurde.

1. Datensatzauswahl und Tagging

Die Studie analysierte Datensätze wie CulturaX (Pretraining), Dolci Instruct SFT, UltraFeedback (Alignment), OpenThoughts (Reasoning), Aya Dataset, PRISM und ShareLM. Die Autoren nutzten eine automatische Tagging-Pipeline unter Verwendung des Command-A-Modells, die gegen menschliche Annotationen validiert wurde.

Die Tagging-Taxonomie umfasst fünf Dimensionen:

Kulturelle Dimension: Basierend auf AlKhamissi et al. (2026), kategorisiert Kultur als Wissen (Fakten, Traditionen), Dynamik (soziale Interaktionen, Normen), Präferenz (Werte, Meinungen), Bias (Stereotypen), Allgemeine Kultur (Entitäten, Übersetzungskontexte) oder Keine Kultur.
Domäne: z. B. Geisteswissenschaften, Naturwissenschaften, Code, Mathematik.
Aufgabenabsicht (Task Intent): z. B. Kreatives Schreiben, Übersetzung, Reasoning, Programmierung.
Geolokalisierung: Der implizite geografische Kontext des Inhalts.
Sprache: Detektiert via FastText.

2. Experimentelle Evaluierung

Um zu testen, ob explizite kulturelle Signale in den Trainingsdaten die Downstream-Fähigkeiten verbessern, führten die Autoren kontrollierte Fine-Tuning-Experimente mit dem multilingualen Tiny Aya Global Modell (3,35 Mrd. Parameter) unter Verwendung des Dolci Instruct SFT Datensatzes (übersetzt in 66 Sprachen, bezeichnet als MDolci) durch.

Sie verglichen drei Strategien:

Kulturelles SFT: Ausschließlich Fine-Tuning auf der Teilmenge der Daten, die als „kulturell“ getaggt wurden (Filterung nicht-kultureller Daten heraus).
Marker-Augmented Fine-tuning: Fine-Tuning auf dem gesamten MDolci-Datensatz, jedoch unter Anfügen expliziter kultureller Marker (Metadaten-Tags) an die Prompts und Completions, inspiriert vom „Treasure Marking“-Ansatz.
Baseline: Standardmäßiges Fine-Tuning ohne kulturelle Filterung oder Marker.

Die Modelle wurden auf kulturellen Benchmarks (BLEnD, NormAd, BBQ) sowie allgemeinen multilingualen Benchmarks (MGSM, GlobalMMLU-Lite) evaluiert, um die Trade-offs zwischen kultureller Ausrichtung und allgemeiner Aufgabenleistung zu bewerten.

Zentrale Erkenntnisse

1. Der Kultur-Trichter existiert

Die Analyse zeigt eine konsistente Abnahme explizit kulturell fundierter Inhalte, während Modelle vom Pretraining zum Post-Training übergehen:

Pretraining (CulturaX): Enthält den höchsten Prozentsatz an kulturellen Markern (ca. 65 %), insbesondere in den Bereichen Geisteswissenschaften, Sozialwissenschaften und Allgemeinbildung.
Instruction Fine-Tuning (Dolci): Kulturelle Inhalte sinken signifikant (ca. 12 %).
Alignment (UltraFeedback) & Reasoning (OpenThoughts): Kulturelle Inhalte sind minimal (ca. 17 % bzw. <1 %).
Domänenverschiebung: Post-Training-Daten werden von technischen Domänen (Mathe, Code, Wissenschaft) dominiert, die inhärent weniger explizite kulturelle Fundierung aufweisen als Geistes- oder Sozialwissenschaften.

2. Mehrsprachigkeit $\neq$ Kulturelle Diversität

Die Erhöhung der Anzahl der Sprachen in einem Datensatz steigert den Anteil kultureller Inhalte nicht linear. Während das Hinzufügen von Sprachen die geografische Diversität des kulturellen Wissens erhöht (Abdeckung mehrer einzigartiger Geolokationen), gewährleistet dies keine ausgewogene Repräsentation. Die Autoren beobachteten eine „Long-Tail“-Verteilung, bei der eine kleine Anzahl von Regionen (z. B. Indien, USA, China) die kulturellen Stichproben dominiert, während viele andere Regionen selbst in multilingualen Datensätzen unterrepräsentiert bleiben.

3. Aufgabenabsichten und kulturelle Bedürfnisse

Es besteht eine Diskrepanz zwischen den Aufgaben, die im Trainingsdatensatz die meiste Kultur tragen, und den Aufgaben, für die Nutzer laut Befragung kulturelles Bewusstsein benötigen.

Trainingsdaten: Übersetzung und lokale Informationsabfragen weisen die höchste kulturelle Präsenz auf.
Nutzerbedürfnisse: Eine Umfrage unter 81 Teilnehmern ergab eine hohe Nachfrage nach kulturellem Bewusstsein bei kreativem Schreiben, Übersetzung und beim Schreiben von E-Mails/Nachrichten.
Lücke: Technische Aufgaben (Programmierung, Mathematik) und medizinische Fragen weisen in den Trainingsdaten die geringste kulturelle Präsenz auf, obwohl die Autoren anmerken, dass kulturelle Fundierung auch für diese Bereiche vorteilhaft ist.

4. Experimentelle Ergebnisse

Kulturelles SFT (Filterung): Das bloße Filtern nach kulturellen Daten und das anschließende Fine-Tuning lieferte enttäuschende Ergebnisse. Es verbesserte NormAd nur um 0,2 % und verschlechterte die Leistung bei wissensbasierten und mathematischen Benchmarks, was darauf hindeutet, dass die Isolierung kultureller Daten zum katastrophalen Vergessen (Catastrophic Forgetting) allgemeiner Fähigkeiten führt.
Marker-Augmented Fine-tuning: Dieser Ansatz erwies sich als überlegen. Durch die Beibehaltung der vollen Datenverteilung und das Hinzufügen expliziter kultureller Marker erreichte das Modell:
- Eine Verbesserung von +8,0 % bei NormAd (Kultur als Präferenz/Dynamik).
- Eine Verbesserung von +6,0 % bei BBQ (Kultur als Bias).
- Es behielt die Leistung auf allgemeinen Benchmarks (MGSM, GlobalMMLU) bei oder verbesserte sie sogar, was eine bessere Balance zwischen kultureller und aufgabenspezifischer Leistung im Vergleich zur Baseline demonstriert.

Bedeutung und Thesen

Das Paper argumentt, dass kulturelle Ausrichtung nicht rein als Problem der Inferenzzeit behandelt werden kann, da die notwendigen Signale während der Trainingspipeline oft fehlen oder komprimiert werden. Die Autoren behaupten:

Daten-Pipelines sind Alignment-Mechanismen: Die Zusammensetzung der Trainingsdaten, insbesondere die Verschiebung hin zu technischen Domänen im Post-Training, fungiert als primärer Treiber der kulturellen Homogenisierung.
Explizites Markieren ist effektiv: Anstatt Daten zu filtern (was das Risiko von Overfitting und Vergessen birgt), ermöglicht das explizite Markieren kultureller Dimensionen in den Trainingsdaten den Modellen, langgestreckte (long-tailed) kulturelle Eigenschaften zu lernen und zu behalten, ohne die allgemeine Aufgabenleistung zu opfern.
Intentionale Kuratierung ist erforderlich: Um eine global repräsentative KI zu erreichen, ist eine intentionale Kuratierung über Sprachen, Geolokationen, Domänen und Aufgabenabsichten hinweg erforderlich, statt sich lediglich auf die Skalierung der Mehrsprachigkeit zu verlassen.

Die Autoren kommen zu dem Schluss, dass Kultur in LLMs nicht automatisch aus der Skalierung hervorgehen wird; sie erfordert ein intentionales Design der Trainings-Pipelines, die die multidimensionalen Aspekte der Kultur sichtbar, repräsentativ und lernbar machen. Sie stellen ihren kulturell getaggten Datensatz mit 5,6 Millionen Stichproben zur Verfügung, um zukünftige Forschung in dieser Richtung zu unterstützen.