Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation
Diese Studie zeigt, dass der linguistische Register des Vorabtrainingsdaten den Leistungsgrad von Large Language Models erheblich beeinflusst, wobei sich ergibt, dass zwar Nachrichtentexte suboptimal sind, die Einbeziehung der Register Meinung, Anleitung und Informationsbeschreibung jedoch zu erheblichen Verbesserungen der Modellfähigkeiten führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem kleinen Kind beizubringen, zu sprechen und die Welt zu verstehen. Sie haben eine riesige Bibliothek voller Bücher, aber statt dem Kind einfach einen zufälligen Stapel zu übergeben, entscheiden Sie sich, die Bücher nach Genres zu sortieren: einige sind Kochbücher, einige sind Nachrichtenberichte, einige sind Songtexte, einige sind meinungsstarke Blogposts und einige sind Wissenschaftslehrbücher.
Diese Arbeit stellt eine einfache, aber tiefgründige Frage: Ist es wichtig, welche Bücher Sie verwenden, um das Kind zu unterrichten?
Die meisten Menschen, die KI (Large Language Models) entwickeln, gehen davon aus, dass „mehr Daten besser sind" und dass, wenn man einfach den „schlechten" Teil (wie Spam oder Hassrede) herausfiltert, der Rest alles gleichermaßen gut ist. Diese Studie sagt: Nein, der „Geschmack" des Textes macht einen enormen Unterschied.
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit alltäglichen Analogien:
1. Das „Ein-Genre"-Experiment
Die Forscher bauten mehrere kleine KI-Modelle. Jedes Modell wurde während seines gesamten Trainingslebens nur mit einer Art von Text (einem „Register") gefüttert.
- Das „Rezept"-Modell: Nur auf „Anleitungen" trainiert.
- Das „Nachrichten"-Modell: Nur auf Nachrichtenartikel trainiert.
- Das „Lyrik"-Modell: Nur auf Songtexte trainiert.
- Das „Meinung"-Modell: Nur auf Bewertungen und Blogposts trainiert.
Die Überraschung:
- Das „Nachrichten"-Modell war eine Enttäuschung. Man könnte denken, dass das Lesen der Nachrichten einen intelligent macht, aber das Modell, das nur auf Nachrichten trainiert wurde, schnitt ziemlich schlecht ab. Es war wie ein Schüler, der nur die täglichen Schlagzeilen liest, aber nie lernt, Probleme zu lösen oder tiefe Konzepte zu verstehen.
- Das „Meinung"-Modell war ein Star. Dies war der größte Schock. Texte voller Meinungen, Bewertungen und Argumente (wie Yelp-Bewertungen oder politische Blogs) ließen das Modell unglaublich gut abschneiden. Es scheint, dass das Lernen, zu argumentieren, zu überzeugen und eine Sichtweise auszudrücken, eine geheime Superkraft für KI ist.
- Das „Lyrik"-Modell hatte Schwierigkeiten. Da die verwendeten Tests sich auf Logik und Fakten bezogen, wusste ein Modell, das nur auf Poesie und Songs trainiert wurde, nicht, wie es diese Fragen beantworten sollte. (Die Autoren stellen fest, dass dies nicht bedeutet, dass Poesie nutzlos ist, sondern nur, dass sie bei diesen spezifischen Tests nicht half).
2. Der „Mix-and-Match"-Durchbruch
Die Forscher versuchten dann, die am besten abschneidenden Genres zu mischen. Sie warfen nicht einfach alles in einen Mixer; sie wählten die Gewinner sorgfältig aus.
- Das Gewinnrezept: Sie stellten fest, dass die Kombination aus Anleitungen, informationsreichen Beschreibungen (wie Wikipedia) und Meinungen ein Modell schuf, das klüger war als das, das auf dem gesamten, chaotischen Internet trainiert wurde.
- Die „Nachrichten"- und „Chat"-Falle: Als sie Nachrichten oder „interaktive Diskussionen" (wie Forum-Chats) in die Mischung aufnahmen, wurde das Modell bei diesen Tests tatsächlich dümmer. Es ist, als würde man zu viel Wasser in eine Suppe geben; es verwässerte den Geschmack, der funktionierte.
3. Spezialisierte Superkräfte
Die Studie zeigte auch, dass verschiedene Genres der KI unterschiedliche „Muskeln" beibringen:
- Anleitungen machten die KI hervorragend im physikalischen Schlussfolgern (z. B. „Wenn ich ein Glas fallen lasse, wird es dann zerbrechen?"), aber schlecht im allgemeinen Allgemeinwissen.
- Narrative/Geschichtenerzählen machten die KI besser im Verstehen sozialer Situationen, aber schlechter im Beantworten von Wissenschaftsfragen.
- Meinungen steigerten die Fähigkeit der KI, gesunden Menschenverstand und soziale Interaktionen zu verstehen.
Die große Erkenntnis
Die Autoren kommen zu dem Schluss, dass das Register immer wichtig ist.
Stellen Sie sich die Vorab-Trainingsdaten wie eine Ernährung vor. Man kann nicht einfach allgemein „Essen" zu sich nehmen; man braucht eine spezifische Mischung aus Nährstoffen.
- Wenn Sie nur „Nachrichten" essen, wird Ihre KI etwas gelangweilt und unkreativ.
- Wenn Sie nur „Lyrik" essen, wird Ihre KI poetisch, kann aber keine Mathematik.
- Wenn Sie Anleitungen (wie Dinge funktionieren), Beschreibungen (was Dinge sind) und Meinungen (wie Menschen über Dinge denken) mischen, erhalten Sie eine ausgewogene, leistungsstarke KI.
Was dies für die Zukunft bedeutet (laut der Arbeit):
Anstatt einfach nur mehr Daten aus dem Internet zu scrapen, sollten wir sorgfältiger darüber nachdenken, welche Art von Daten wir auswählen. Indem wir das „Genre" des Textes verstehen, können wir bessere KI-Modelle mit weniger Verschwendung bauen, anstatt einfach nur zu hoffen, dass ein größerer Stapel zufälliger Texte irgendwann funktionieren wird.
Hinweis: Die Autoren betonen, dass diese Studie an kleinen Modellen durchgeführt wurde, um diese Theorien zu testen. Sie haben diese Modelle nicht in realen medizinischen oder rechtlichen Beratungssituationen oder anderen hochriskanten Anwendungen getestet, daher wissen wir nicht, wie sich diese spezifischen „Ernährungspläne" in diesen komplexen, realen Szenarien verhalten würden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.