Characterizing Narrative Content in Web-scale LLM Pretraining Data
Dieses Paper führt ein neuartiges Framework und einen Datensatz namens NarraDolma ein, um die feingliedrige Erzählstruktur von Web-Scale-LLM-Pretraining-Daten zu charakterisieren, wobei aufgezeigt wird, dass erzählerische Qualitäten zwar messbar vorhanden, aber über Quellen und Themen hinweg ungleich verteilt sind, was durch aktuelle Kuratierungspraktiken unberücksichtigt bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie backen einen riesigen Kuchen für eine gewaltige Party. Das Rezept verlangt nach „Mehl“, aber Sie wissen nicht, welche Art von Mehl Sie da haben. Ist es feines, seidiges Kuchenmehl? Grobes Vollkornmehl? Ist es mit Sand vermischt?
Lange Zeit haben Wissenschaftler, die „Large Language Models“ (LLMs) entwickelten – die superintelligenten KI-Gehirne hinter Werkzeugen wie Chatbots – ihr „Mehl“ (den Internettext, mit dem sie trainiert werden) gemischt, ohne genau zu wissen, welche spezifischen Zutaten darin enthalten sind. Sie wussten, dass einige Teile „toxisch“ oder „über Mathematik“ waren, aber sie wussten nicht viel über die Geschichten, die in der Mischung stecken.
Dieses Paper ist wie ein Team von Lebensmittelwissenschaftlern, das beschlossen hat, ein Mikroskop an diesen riesigen Haufen Mehl zu halten. Sie wollten die Frage beantworten: Wie viel Storytelling steckt eigentlich darin, und wie sieht es aus?
Hier ist die Aufschlüsselung ihrer Untersuchung:
1. Das Rezeptbuch (Das Framework)
Die Forscher haben nicht einfach nur gefragt: „Ist das eine Geschichte?“ (Ja/Nein). Stattdessen haben sie ein detailliertes Geschmacksprofil erstellt, das darauf basiert, wie Menschen Geschichten erzählen. Sie haben „Storytelling“ in drei Hauptzutaten unterteilt:
- Der Akteur (Agency): Wer handelt? Sehen wir die Welt durch deren Augen? Fühlen wir deren Emotionen oder hören wir deren Gedanken? (Denken Sie an dies als das „Herz“ der Geschichte).
- Die Bühne (Setting): Wo und wann spielt das Ganze? Ist es ein vages „irgendwo“ oder ein spezifisches, staubiges Zimmer im Paris der 1920er Jahre? (Denken Sie an dies als die „Kulisse“).
- Die Handlung (Events): Was passiert eigentlich? Verändern sich die Dinge? Gibt es eine Ursache-Wirkungs-Kette oder nur eine Liste von Dingen? (Denken Sie an dies als die „Action“).
Sie haben daraus 11 spezifische „Regler“ oder Schieberegler gemacht, die auf einer Skala von 1 bis 5 bewertet werden können.
2. Der Geschmackstest (Die Daten)
Sie nahmen eine riesige Bibliothek von Internettexten namens DOLMA (die gewaltig ist – 3 Billionen Wörter, wie eine Bibliothek, für deren Lesen man ein Leben lang bräuchte).
- Schritt 1: Sie konnten es nicht alle lesen. Also bauten sie einen Roboter-Assistenten (ein Modell namens NARRABERT), um ihnen zu helfen.
- Schritt 2: Zuerst engagierten sie menschliche Experten, die 400 zufällige Textausschnitte lasen und diese auf den 11 Reglern bewerteten. Dies war der „Goldstandard“.
- Schritt 3: Dann brachten sie den Roboter-Assistenten bei, die Menschen nachzuahmen.
- Schritt 4: Der Roboter ging durch 3 Millionen Textausschnitte und bewertete sie alle. Sie erstellten eine neue Karte namens NARRADOLMA.
3. Die überraschenden Erkenntnisse
Als sie die Karte betrachteten, fanden sie drei große Dinge:
A. Geschichten sind nicht einfach „an“ oder „aus“.
Es ist nicht wie ein Lichtschalter, bei dem ein Text entweder eine Geschichte ist oder nicht. Es ist eher wie ein Dimmer-Schalter. Einige Texte sind sehr schwach beleuchtet (langweilige Fakten), manche hell (dramatische Romane), und die meisten liegen irgendwo dazwischen. Die Forscher fanden heraus, dass „Storytelling“ im Internet eine kontinuierliche, mehrdimensionale Landschaft ist und keine einfache Kategorie.
B. Das „Mehl“ ist ungleichmäßig gemischt.
Wenn Sie denken, dass „Reddit“ voller Geschichten und „Wikipedia“ voller Fakten ist, liegen Sie größtenteils richtig, aber es ist komplexer.
- Reddit und Bücher sind wie ein Gewürzregal voller „innerer Gefühle“ und „Gedanken von Charakteren“. Sie sind hoch auf den „Akteur“-Reglern.
- Wikipedia und Nachrichten sind wie eine Landkarte. Sie sind hoch bei „Ereignissen“ und „Zeit/Ort“, aber niedrig bei „Gefühlen“.
- Reise- und Food-Blogs sind wie ein Gemälde. Sie sind hoch bei „sensorischen Details“ (Gerüche, Anblicke), aber niedrig bei „Konflikten“.
C. Man kann nicht einfach „mehr Geschichten hinzufügen“, indem man mehr Bücher hinzufügt.
Die Forscher fanden heraus, dass selbst innerhalb einer einzigen Quelle (wie Reddit) das „Storytelling“ stark variiert. Einige Reddit-Posts sind reine Dramatik; andere sind nur technische Fragen.
- Die Metapher: Stellen Sie sich vor, Sie wollen Ihren Kuchen „fluffiger“ machen. Vielleicht denken Sie: „Ich füge einfach mehr Kuchenmehl hinzu!“ Aber wenn dieser Sack Mehl tatsächlich eine Mischung aus Kuchenmehl, Sand und Kies enthält, garantiert das Hinzufügen von mehr aus diesem Sack nicht automatisch einen fluffigeren Kuchen. Sie müssen wissen, welcher spezifische Teil des Sacks das gute Mehl ist.
4. Warum das wichtig ist
Das Paper kommt zu dem Schluss, dass die Menschen, die KI-Modelle bauen, ihre Datenquellen (wie „Reddit“ oder „Nachrichten“) so behandelt haben, als wären sie alle die gleiche Art von Geschichtenerzähler. Das sind sie aber nicht.
Wenn eine KI hauptsächlich auf „Nachrichten“ (hohe Ereignisdichte, wenig Gefühl) trainiert wird, könnte sie gut darin werden, Fakten zu berichten, aber schlecht darin, menschliche Emotionen zu verstehen. Wenn sie hauptsächlich auf „Reddit“ (hohe Gefühlsdichte, wenig Struktur) trainiert wird, könnte sie gut darin werden, Empathie zu zeigen, aber schlecht beim logischen Ursache-Wirkungs-Prinzip.
Der Kern der Sache:
Dieses Paper hat keine neue KI erfunden oder eine kaputte KI repariert. Stattdessen haben sie ein Maßband für die Geschichten des Internets gebaut. Es hat uns gezeigt, dass der „Geschichten“-Teil unserer Daten chaotisch, vielfältig und ungleich verteilt ist. Bevor wir eine KI lehren können, bessere Geschichten zu erzählen, müssen wir zuerst genau verstehen, welche Arten von Geschichten derzeit in der Mischung enthalten sind.
Die Forscher haben ihr Maßband (das Modell) und ihre Karte (den Datensatz) zur Verfügung gestellt, damit jeder sie nutzen kann, damit wir in Zukunft alle bessere Kuchen backen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.