Children, but not language models, show accelerating returns in word learning
Diese Arbeit zeigt auf, dass Kinder zwar beschleunigte Erträge beim Wortlernen aufweisen, indem sie mit jeder neuen linguistischen Erfahrung zunehmend effizienter werden, Sprachmodelle – selbst jene, die auf kindgerechter Sprache trainiert wurden – lediglich konstante proportionale Erträge zeigen, die im Einklang mit Skalierungsgesetzen stehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die menschliche Sprache beginnt mit einem langsamen, stolpernden Anfang. Im ersten Lebensjahr lernt ein Kind vielleicht nur eine Handvoll Wörter, oft nur Namen für vertraute Personen oder Gegenstände. Dann geschieht etwas Bemerkenswertes. Das Lerntempo verändert sich dramatisch. Innerhalb weniger kurzer Jahre erwirbt dasselbe Kind hunderte von Wörtern und bewegt sich von einfachen Bezeichnungen hin zu komplexen Sätzen mit einer Geschwindigkeit, die fast magisch erscheint. Jahrzehntelang haben Wissenschaftler versucht, die Mechanik dieser Explosion zu verstehen. Sie vermuteten lange Zeit, dass das Geheimnis darin liegt, wie Kinder den Strom der Wörter verarbeiten, die sie jeden Tag hören. Die vorherrschende Vorstellung war, dass Lernen ein stetiger, linearer Prozess ist: Je mehr ein Kind hört, desto mehr lernt es, mit einer konstanten Rate. Wenn dies wahr wäre, würde der Wortschatz eines Kindes wachsen wie Wasser, das mit einem stetigen Tropfen in einen Eimer fließt.
In den letzten Jahren sind leistungsfähige Computerprogramme, bekannt als Sprachmodelle, als ein neuer Weg zur Untersuchung dieses Prozesses entstanden. Diese Systeme werden auf riesigen Mengen von Text trainiert, wobei sie lernen, das nächste Wort in einem Satz vorherzusagen. Da sie auf spezifischen Mengen von Daten trainiert werden können, können Forscher sie nutzen, um Theorien darüber zu testen, wie Lernen funktioniert. Es ist jedoch eine rätselhafte Lücke aufgetreten. Um selbst ein grundlegendes Niveau an Sprachkompetenz zu erreichen, benötigen diese Computermodelle Billionen von Wörtern an Trainingsdaten. Im Gegensatz dazu lernt ein menschliches Kind seine ersten tausend Wörter, nachdem es nur wenige Millionen gehört hat. Dieser massive Unterschied im Datenbedarf deutet darauf hin, dass Kinder und Maschinen auf grundlegend unterschiedliche Weise lernen, aber bis jetzt hatte niemand eine klare mathematische Beschreibung dafür, wie sich dieser Unterschied über die Zeit genau manifestiert.
Ein Forscher setzte sich zum Ziel, diesen Unterschied direkt zu messen. Er konzentrierte sich auf das Wachstum des Wortschatzes, indem er verfolgte, wie Kinder spezifische Wörter im Laufe der Zeit lernen, und verglich dieses Muster mit der Art und Weise, wie Computermodelle dieselben Wörter lernen. Der Forscher sammelte Daten von tausenden Kindern unter Verwendung detaillierter Aufzeichnungen, in denen Eltern berichteten, welche Wörter ihre Kinder in verschiedenen Altersstufen sagen konnten. Er trainierte auch Computermodelle mit Aufnahmen von Sprache, die sich spezifisch an Kinder richtete, um sicherzustellen, dass der Computer die gleiche Art von Input erhielt, den ein Kleinkind hören würde. Durch die Analyse dieser beiden Gruppen nebeneinander entdeckte der Forscher, dass die Standardansicht des Lernens als stetige Akkumulation für Menschen nicht korrekt war.
Die Studie zeigte, dass Kinder nicht mit einer konstanten Rate lernen. Stattdessen beschleunigt sich ihre Fähigkeit zu lernen. Zu Beginn muss ein Kind ein Wort vielleicht hunderte Male hören, bevor es es ausspricht. Aber während sie älter werden und ihr Wortschatz sich erweitert, benötigen sie weit weniger Expositionen, um ein neues Wort zu lernen. Ein Kleinkind muss das Wort „Buch“ vielleicht tausende Male hören, bevor es es spricht, doch ein Vorschulkind hört das Wort „Ibex“ vielleicht nur ein paar Mal im Zoo und wiederholt es am nächsten Tag. Der Forsterschtellte fest, dass diese Beschleunigung ein reales, messbares Phänomen ist. Während Kinder älter werden, wird jedes neue linguistische Erlebnis wertvoller. Sie lernen aus jeder zusätzlichen Stunde des Gesprächs mehr als aus der Stunde zuvor. Die Computermodelle zeigten, selbst wenn sie auf kindgerechter Sprache trainiert wurden, keine solche Beschleunigung. Sie lernten in einem stetigen, unveränderlichen Tempo und benötigten die gleiche Menge an Daten, um ein neues Wort zu lernen, unabhängig davon, wie viel sie bereits wussten.
Dieser Unterschied erklärt, warum Kinder mit so wenig Daten zu fließenden Sprechern werden können im Vergleich zu Maschinen. Die Computermodelle operieren nach einem Prinzip konstanter Erträge: Jedes neue Wort, das sie lernen, kostet sie die gleiche Menge an Trainingsdaten. Kinder hingegen erzielen jedoch steigende Erträge auf ihre Investition. Der Forscher testete, ob diese Beschleunigung einfach ein Resultat daraus war, dass Eltern anders zu ihren Kindern sprechen, wenn diese älter werden, oder ob es sich um eine interne Veränderung der Lernfähigkeit des Kindes handelte. Die Daten deuteten darauf hin, dass Letzteres der Fall war. Die Gehirne der Kinder schienen immer besser darin zu werden, Bedeutung aus den gehörten Klängen zu extrahieren, vielleicht weil sie lernten, die Wörter, die sie bereits kannten, zu nutzen, um neue zu entschlüsseln.
Die Ergebnisse stellen die Idee infrage, dass das Erlernen von Sprache lediglich eine Frage der Akkumulation von Evidenz über die Zeit ist. Stattdessen ist der Prozess dynamisch. Der Forscher zeigte, dass ein Modell, bei dem der „Wert“ jedes neuen Wortes mit dem Alter steigt, die realen Daten von Kindern perfekt abbildet, während ein Modell, bei dem der Wert gleich bleibt, dies nicht tut. Diese Beschleunigung ist nicht nur ein kleines Detail; sie ist ein grundlegender Unterschied zwischen dem Lernen von Menschen und Maschinen. Während die Computermodelle die Wörter schließlich lernten, taten sie dies mit einer Starrheit, die menschliche Kinder nicht besitzen. Die Studie legt nahe, dass das Geheimnis der menschlichen Sprache nicht nur in der Menge der Daten liegt, die wir erhalten, sondern darin, wie sich unsere Fähigkeit, diese Daten zu nutzen, während wir wachsen, verbessert. Diese Erkenntnis bietet eine neue Richtung für das Verständnis der menschlichen Kognition und für den Bau künstlicher Systeme, die eines Tages vielleicht so effizient wie ein Kind lernen könnten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.