When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
Dieses Paper führt eine Auditierung der Belohnungs-Aktions-Validität ein, um zu demonstrieren, dass ein Deep-Q-Network-Notebook, das behauptet, englische Morphologie zu erlernen, aufgrund grundlegender Mängel in seiner Belohnungsfunktion, Aktions-Expressivität, Zustandskodierung und Evaluierungsmethodik tatsächlich daran scheitert, grammatikalische Regeln zu erwerben.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der geschäftigen Welt der künstlichen Intelligenz versuchen Forscher oft, Maschinen die verborgenen Regeln der menschlichen Sprache beizubringen. Sie verwenden eine Methode namens bestärkendem Lernen (Reinforcement Learning), die dem Training eines Hundes sehr ähnlich ist: Der Computer probiert eine Aktion aus, und wenn er das richtige Ergebnis erzielt, erhält er eine digitale Belohnung oder ein „Leckerli“. Mit der Zeit lernt der Computer, die Aktionen zu wiederholen, die die meisten Leckerlis einbringen. Dieser Ansatz ist zu einer beliebten Methode geworden, um zu testen, ob eine Maschine die Grammatik wirklich verstehen kann, ohne eine riesige Datenbank mit menschlichem Text zu benötigen. Die Hoffnung ist, dass eine KI allein durch die Belohnung korrekter Antworten die Logik dahinter entdecken kann, wie wir Wörter verändern, etwa indem wir ein Singular-Nomen in ein Plural-Nomen verwandeln oder ein Verb in die Vergangenheitsform setzen. Wenn dies erfolgreich ist, würde es beweisen, dass Maschinen Sprachstrukturen durch Erfahrung statt nur durch Auswendiglernen lernen können.
Ein neuer Bericht der Coventry University deutet jedoch darauf an, dass in einigen jüngsten Experimenten die digitalen Leckerlis zu leichtfertig verteilt wurden. Die Forscher Nikesh Adhikari, Shankar Ghimire und Sagar Neupane beschlossen, ein spezifisches Computerprogramm genau unter die Lupe zu nehmen, das behauptete, die englische Grammatik gelernt zu haben. Sie beobachteten das Programm nicht nur beim Lernen zu, sondern prüften das gesamte Spiel, das es spielte. Sie kontrollierten die Regeln, das Bewertungssystem und die Art und Weise, wie der Computer die Welt sah. Ihre Untersuchung ergab, dass das Programm gar keine Grammatik lernte. Stattdessen nutzte es Schwachstellen im Test aus, um hohe Punktzahlen zu erreichen, während es Antworten produzierte, die oft falsch oder sogar mit den zur Verfügung stehenden Werkzeugen unmöglich zu generieren waren.
Die Studie konzentrierte sich auf ein Computer-Notebook, das behauptete, einem Agenten drei spezifische englische Fähigkeiten beizubringen: das Bilden von Pluralformen bei Nomen, das Ändern von Verben in die Vergangenheitsform und das Abgleichen von Subjekten mit Verben. Das Notebook berichtete von beeindruckenden Erfolgsraten und behauptete, der Agent habe perfekte Punktzahlen bei der Bildung der Vergangenheitsform erreicht und eine hohe Genauigkeit bei den anderen Aufgaben erzielt. Die Forscher begannen mit einer einfachen Frage: Produzierte der Computer tatsächlich die korrekten englischen Wörter, oder produzierte er lediglich Wörter, die das Bewertungssystem fälschlicherweise akzeptierte? Sie fanden heraus, dass das Bewertungssystem viel zu nachsichtig war. Für die Aufgabe, Wörter in den Plural zu setzen, gab das System eine positive Belohnung für 10 verschiedene Versuche, aber nur vier dieser Versuche waren tatsächlich korrekte englische Wörter. Die anderen sechs waren fehlerhafte Nonsens-Wörter, die dem korrekten Wort ähnlich genug sahen, um den einfachen Prüfer zu täuschen. Bei der Vergangenheitsform-Aufgabe war die Situation noch schlimmer. Das System meldete eine perfekte Erfolgsquote von 100 Prozent, doch als die Forscher die tatsächlichen korrekten Wörter zählten, stellten sie fest, dass nur 25 Prozent der belohnten Versuche wirklich richtig waren. Der Computer wurde für Fehler belohnt.
Das Problem ging tiefer als nur ein nachsichtiger Punktezähler. Die Forscher entdeckten, dass der Computer physisch nicht in der Lage war, die korrekten Antworten für viele der getesteten Wörter zu produzieren. Das Programm war mit einem sehr begrenzten Satz an Werkzeugen konzipiert worden, der es ihm erlaubte, lediglich Buchstaben am Ende eines Wortes hinzuzufügen. Es konnte keine Buchstaben löschen oder die Mitte eines Wortes ändern. Dies bedeutete, dass für bestimmte Wörter, wie etwa die Umwandlung von „city“ in „cities“ oder „baby“ in „babies“, die korrekte Antwort das Entfernen des „y“ und das Hinzufügen von „ies“ erforderte. Da der Computer das „y“ nicht löschen konnte, war es unmöglich, das korrekte Wort zu generieren, egal wie intelligent er wurde. Die Forscher berechneten, dass die korrekte Antwort für ein Drittel der Plural-Wörter und die Hälfte der Verben in der Vergangenheitsform schlichtweg unerreichbar war. Die im Notebook berichteten hohen Punktzahlen waren daher kein Zeichen des Lernens, sondern ein Zeichen dafür, dass der Test fehlerhaft war.
Darüber hinaus stellten die Forscher fest, dass der Computer gar nicht ein Spiel spielte, das erforderte, dass er in einer Sequenz dachte. Die Forscher verfolgten die Schritte des Programms und fanden heraus, dass dem Computer dasselbe Wort immer wieder für dreißig Schritte lang gezeigt wurde, ohne dass sich etwas änderte. Er musste sich von einem Schritt zum nächsten nichts merken, um das Problem zu lösen. Dies verwandelte das, was als komplexe Lernaufgabe gedacht war, in ein einfaches, wiederholtes Raten. Auch die visuellen Diagramme im ursprünglichen Notebook, die zeigten, wie der Computer im Laufe der Zeit verschiedene Regeln lernte und Wissen von einer auf die andere übertrug, wurden als irreführend befunden. Die „Lernkurven“ waren tatsächlich nur Zufallszahlen, die der Computer generierte, und keine echten Messungen des Fortschritts. Die Visualisierungen waren dekorativ, nicht Beweis für Intelligenz.
Die Forscher deckten auch eine verborgene Instabilität darin auf, wie der Computer die Wörter wahrnahm. Das Programm nutzte eine Methode, um Wörter in Zahlen umzuwandeln, die sich jedes Mal änderte, wenn der Computer neu gestartet wurde. Dies bedeutete, dass dasselbe Wort an verschiedenen Tagen wie eine völlig andere Zahl aussehen konnte. In vielen Fällen sahen zwei verschiedene Wörter für den Computer gleich aus, was dazu führte, dass er sie verwechselte. Da der Computer nicht in der Lage war, zwischen diesen verwechselten Wörtern zu unterscheiden, konnte er auch nicht die korrekte Regel für beide lernen. Diese Instabilität bedeutete, dass die Ergebnisse nicht zuverlässig waren; der Computer konnte an einem Tag so wirken, als hätte er gelernt, und am nächsten Tag scheitern, einfach weil sich die Zahlen, die er verwendete, verschoben hatten.
Letztlich kommt die Studie zu dem Schluss, dass das ursprüngliche Notebook nicht bewiesen hat, dass der Computer die englische Grammatik gelernt hat. Es hat lediglich bewiesen, dass der Computer einen Weg finden konnte, eine hohe Punktzahl in einem fehlerhaften Test zu erreichen. Die Forscher betonen, dass dies nicht bedeutet, dass bestärkendes Lernen nicht für Sprache funktionieren kann. Es bedeutet lediglich, dass dieses spezifische Experiment nicht korrekt aufgesetzt war, um es zu testen. Das Belohnungssystem war zu vage, die Werkzeuge zu begrenzt und die Testumgebung zu instabil. Um wirklich zu wissen, ob eine Maschine eine Regel gelernt hat, muss der Test präzise sein, die korrekten Antworten müssen generierbar sein und die Bewertung muss das exakte richtige Wort verlangen, nicht nur eine Annäherung. Bis diese Bedingungen erfüllt sind, sollten hohe Punktzahlen in solchen Tests mit Skepsis betrachtet werden, da sie eher die Mängel des Experiments als die Intelligenz der Maschine widerspiegeln könnten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.