Measuring Form and Function in Language Models
Dieser Beitrag stellt die Metrik Contextual Alternative Choice (CAC) vor, um Sprachmodelle quantitativ hinsichtlich der formalen syntaktischen und funktionalen Diskurseigenschaften englischer Determinierer zu evaluieren, und zeigt auf, dass zwar einige sehr große Modelle die Leistung menschlicher Kinder auf beiden Benchmarks erreichen können, jedoch kein derzeitiges Modell, das auf vergleichbaren Daten trainiert wurde, dies gleichzeitig leistet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie ein Mensch zu sprechen. Sie haben zwei Möglichkeiten zu prüfen, ob es funktioniert:
- Der Grammatiktest: Sagt es „Der Hund" statt „Hund der"? (Korrekte Form)
- Das Gesprächstest: Weiß es, wann es „Der Hund" versus „Ein Hund" sagen muss, basierend darauf, was die andere Person gerade gesagt hat? (Korrekte Funktion)
Dieser Artikel handelt davon, einen besseren Test für Sprachmodelle (LLMs) zu entwickeln, indem man betrachtet, wie echte Kinder sprechen lernen. Die Autoren, Forscher der University of Pennsylvania, argumentieren, dass wir KI zu sehr wie einen Grammatiktest und zu wenig wie ein echtes Gespräch geprüft haben.
Hier ist die Aufschlüsselung ihrer Arbeit mit einfachen Analogien:
1. Das Problem: Die „Multiple-Choice"-Falle
Die meisten heutigen KI-Tests sind wie Multiple-Choice-Prüfungen. Sie zeigen der KI zwei Sätze:
- „Der Hund bellte."
- „Hund der bellte."
Und fragen: „Welcher ist richtig?"
Die KI bekommt das meist richtig. Doch die Autoren sagen, dies sei wie ein Kind zu testen, indem man es fragt, auf ein Bild eines Hundes versus eines Katzen zu zeigen. Es beweist nicht, dass es versteht, wie man das Wort in einer echten Geschichte verwendet. Echte Kinder machen keine Multiple-Choice-Tests; sie reden einfach. Um wirklich zu wissen, ob eine KI „lernt" wie ein Mensch, müssen wir sehen, wie sie den chaotischen, hin- und hergehenden Fluss eines echten Gesprächs bewältigt.
2. Das neue Werkzeug: „Kontextuelle Alternativwahl" (CAC)
Die Autoren erfanden eine neue Art, KI zu testen, die CAC heißt. Denken Sie daran wie an ein „Lückentext"-Spiel, aber mit einem Twist.
- Das Setup: Sie nehmen eine echte Aufnahme einer Mutter, die mit ihrem zweijährigen Kind spricht.
- Das Spiel: Sie verstecken das Wort, das das Kind verwendet hat (meist ein kleines Wort wie „der" oder „ein") und fragen die KI: „Angesichts dessen, was die Mutter gerade gesagt hat, welches Wort sollte hier stehen?"
- Das Ziel: Sie wollen nicht nur, dass die KI das richtige Wort auswählt. Sie wollen sehen, ob das Muster der Entscheidungen der KI mit dem Muster des Kindes übereinstimmt.
3. Die zwei Benchmarks (Der Punktesten)
Die Autoren erstellten zwei spezifische Punktesten, um zu sehen, ob die KI wie ein menschliches Kind agiert.
Punktesten A: Der „Mix-and-Match"-Test (Formale Produktivität)
- Das Konzept: Ein kluges Kind weiß, dass „der" und „ein" mit fast jedem Substantiv kombiniert werden können. Es merkt sich nicht nur „der Hund" und „eine Katze". Es kennt die Regel.
- Der Test: Die Forscher schauen sich an, wie viele verschiedene Substantive die KI mit „der" und „ein" verwendet. Wenn die KI „der" nur mit bestimmten Wörtern verwendet, die sie auswendig gelernt hat, besteht sie den Test nicht. Wenn sie sie frei mit vielen verschiedenen Wörtern mischt, besteht sie.
- Das Ergebnis: Viele KI-Modelle bestanden dies. Sie lernten die „Mix-and-Match"-Regel.
Punktesten B: Der „Gesprächsfluss"-Test (Diskursfunktion)
- Das Konzept: Dies ist der schwierige Teil. In einem echten Gespräch, wenn eine Mutter sagt: „Schau dir den Hund an", antwortet das Kind normalerweise: „Der Hund ist groß." Aber wenn die Mutter sagt: „Ich sehe einen Hund", könnte das Kind sagen: „Ein Hund rennt."
- Manchmal behält man dasselbe Wort bei („der" -> „der").
- Manchmal wechselt man („ein" -> „der").
- Der Wechsel hängt vollständig vom Kontext der Geschichte ab.
- Der Test: Die Forscher maßen, wie oft die KI Wörter wechselte, im Vergleich dazu, wie oft echte Menschen Wörter wechseln.
- Das Ergebnis: Hier scheiterten die meisten KIs. Selbst die großen, klugen Modelle neigten dazu, Wörter zufällig zu wechseln, wie bei einem Münzwurf. Sie schienen die Geschichte hinter den Wörtern nicht zu verstehen. Sie kannten die Grammatik, aber sie kannten nicht die sozialen Regeln des Gesprächs.
4. Die große Überraschung
Die Autoren testeten 45 verschiedene KI-Modelle.
- Die „kleinen" Modelle: Die Modelle, die mit etwa der gleichen Datenmenge trainiert wurden wie ein zweijähriges Kind (10–20 Millionen Wörter), bestanden im Allgemeinen beide Tests nicht. Sie hatten nicht genug gelernt.
- Die „großen" Modelle: Die massiven Modelle, die auf Milliarden von Wörtern trainiert wurden (in der Größe des gesamten Internets), schnitten viel besser ab.
- Zwei Modelle bestanden beide Tests. Sie klangen sowohl in der Grammatik als auch im Gesprächsfluss wie Menschen.
- Ein Modell bestand den Gesprächstest, scheiterte aber am Grammatiktest.
- Viele andere bestanden den Grammatiktest, scheiterten aber am Gesprächstest.
5. Das Fazit
Die Studie kommt zu dem Schluss, dass Größe wichtig ist, aber nicht alles ist.
Nur weil eine KI einen Grammatiktest bestehen kann, bedeutet das nicht, dass sie Sprache so versteht wie ein Mensch. Sie merkt sich vielleicht nur Muster. Um wirklich ein „kognitives Modell" menschlichen Lernens zu sein, muss eine KI den „Gesprächsfluss"-Test bestehen und zeigen, dass sie versteht, warum wir bestimmte Wörter basierend auf der Geschichte, die wir erzählen, wählen.
Derzeit zeigen nur die allergrößten Modelle dieses menschenähnliche Verständnis, aber selbst sie sind ein gemischter Haufen. Die Autoren schlagen vor, dass wir, wenn wir bessere KI bauen wollen, aufhören sollten, sie wie Schüler zu behandeln, die eine Prüfung schreiben, und anfangen sollten, sie wie Kleinkinder in einem Gespräch zu behandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.