An empirical investigation into the properties of standard word embeddings
Diese Arbeit untersucht verschiedene Mechanismen zur Berechnung von Word Embeddings, analysiert populäre öffentliche Toolkits und Matrizen und führt Experimente durch, um die Charakteristika dieser standardmäßigen Implementierungen von Word Embeddings besser zu verstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, menschliche Gefühle zu verstehen, indem Sie einfach nur lesen, was wir schreiben. Menschen sind darin großartig; wir wissen, dass „Ich liebe diesen Film“ glücklich klingt, während „Dieser Film ist schrecklich“ traurig klingt. Aber Computer sind schrecklich im Lesen. Für einen Computer ist Text nur ein Durcheinander von Symbolen, wie ein Geheimcode ohne Schlüssel. Lange Zeit versuchten Wissenschaftler, Computer zu unterrichten, indem sie Tausende von strengen Regeln aufschrieben, wie zum Beispiel: „Wenn das Wort ‚liebe‘ erscheint, füge einen Glückspunkt hinzu.“ Aber Sprache ist chaotisch und voller Ausnahmen, sodass dieser Regelbuch-Ansatz zu riesig und verwirrend wurde, um ihn handhabbar zu machen.
Dann entstand eine klügere Idee: Anstatt dem Computer ein Regelbuch zu geben, lassen Sie ihn ein Wörterbuch nutzen, in dem jedes Wort eine geheime „Adresse“ oder einen Satz von Koordinaten in einer riesigen, unsichtbaren Karte hat. In dieser Karte sind Wörter, die ähnliche Dinge bedeuten oder in ähnlichen Situationen vorkommen, Nachbarn. „König“ und „Königin“ könnten in derselben Straße wohnen, während „König“ und „Banane“ in verschiedenen Städten leben. Dies wird als „Word Embedding“ bezeichnet. Es verwandelt Wörter in Zahlen, die der Computer verarbeiten kann, was es ihm ermöglicht, die Bedeutung eines Satzes zu erraten, indem er betrachtet, wo die Wörter auf dieser Karte leben. Dies ist das Herzstück der Geschichte des Papiers, das Sie gleich lesen werden: Können wir diese vorgefertigten „Wort-Karten“ nutzen, um einem einfachen Computergehirn beizubringen, zu erkennen, ob eine Filmkritik glücklich oder traurig ist?
Die Geschichte des Filmkritik-Detektivs
Dieses Papier ist eine Untersuchung von Salomon Kabongo Kabenamualu, einem Studenten am African Institute for Mathematical Sciences, der untersuchen wollte, wie gut diese „Wort-Karten“ in der realen Welt funktionieren. Speziell richtete er ein Detektivspiel ein: Könnte ein Computer 50.000 Filmkritiken aus der Internet Movie Database (IMDb) betrachten und herausfinden, ob die Person, die sie schrieb, den Film mochte oder hasste?
Um dieses Spiel zu spielen, musste Salomon den Computer lehren, wie man liest. Er probierte drei verschiedene Wege aus, um den Text in Zahlen zu übersetzen, wobei er wie drei verschiedene Übersetzer agierte.
Übersetzer 1: Der „Bag of Words“ (Der ahnungslose Sack)
Zuer Sie probierte die altmodische Methode namens „Bag of Words“ (speziell etwas namens TF-IDF). Stellen Sie sich vor, Sie haben einen Beutel mit Scrabble-Steinen. Sie schütten die Buchstaben eines Satzes in den Beutel und schütteln ihn durch. Sie zählen, wie oft „gut“ und wie oft „schlecht“ vorkommt, aber Sie werfen die Reihenfolge weg. Sie wissen nicht, ob der Satz „Der Film war gut“ oder „Gut war der Film“ lautete.
Salomon fand heraus, dass diese Methode anfangs ganz okay war. Sie lieferte etwa 79,9 % der richtigen Antworten bei neuen, ungesehenen Kritiken. Aber es gab einen Haken: Der Computer schummelte. Er lernte die Trainings-Rezensionen so gut auswendig, dass er scheiterte, sobald er neue sah. Es war wie ein Schüler, der die Antworten auf eine Übungsprüfung auswendig gelernt hat, aber keine neue Aufgabe lösen kann. Der Computer war „overfitted“, was bedeutet, dass er zu sehr auf die spezifischen Wörter in den Trainingsdaten fixiert war und das große Ganze übersah.
Übersetzer 2: Die „FastText“-Karte (Der Nachbarschaftsführer)
Als Nächstes probierte Salomon einen klügeren Übersetzer namens „fastText“. Anstatt nur ganze Wörter zu betrachten, schaut diese Methode auf die winzigen Teile von Wörtern (wie „un-“ oder „-ing“) und versteht, dass „unhappy“ (unglücklich) mit „happy“ (glücklich) verwandt ist. Sie nutzt eine vorgefertigte Karte, auf der Wörter basierend darauf platziert sind, wie sie in Millionen anderer Sätze verwendet werden.
Als er diese Methode anwandte, sank die Genauigkeit des Computers tatsächlich auf 66,35 %. Warum? Weil diese spezifische Karte einige der Wörter in den Filmkritiken nicht kannte (wie Slang oder falsch geschriebene Wörter). Es war, als würde man versuchen, eine Stadt mit einer Karte zu navigieren, in der die Hälfte der Straßen fehlt. Der Computer wurde durch die Wörter, die er nicht kannte, verwirrt und gab auf.
Übersetzer 3: Die „Google“-Karte (Der Super-Navigator)
Schließlich probierte Salomon einen dritten Ansatz unter Verwendung einer massiven, vorab trainierten Karte, die von Google erstellt und über eine Bibliothek namens „TensorFlow Hub“ bereitgestellt wurde. Diese Karte wurde erstellt, indem die gesamte englische Wikipedia gelesen wurde. Sie war riesig und kannte fast jedes Wort.
Diesmal las der Computer nicht nur die Wörter; er kombinierte ihre Bedeutungen zu einem einzigen Zusammenfassungs-Vektor mittels eines gewichteten Durchschnitts (speziell ein Weighted Continuous Bag of Words). Obwohl dieser Ansatz die Wörter in einer einzigen Repräsentation zusammenfasst, stellt das Papier fest, dass diese Kodierung der Sequenz in eine gewichtete Summe von Embeddings tatsächlich half, die Komposition und die Abhängigkeiten der Merkmale des Modells zu erfassen. Es war, als würde man Farben auf einer Palette mischen, um den perfekten Farbton von „Traurigkeit“ oder „Freude“ zu erhalten, basierend darauf, welche Farben vorhanden sind und wie sie interagieren, anstatt sie nur aufzulisten.
Das Ergebnis? Der Computer lieferte 86,5 % der richtigen Antworten bei den Test-Rezensionen. Dies war die beste Leistung. Die Konfusionsmatrix (eine Tabelle, die zeigt, wo der Computer Fehler machte) zeigte, dass er viel besser darin war, den Unterschied zwischen einer positiven und einer negativen Rezension zu erkennen als die anderen Methoden.
Was haben sie gelernt?
Die wichtigste Erkenntnis hier ist, dass die Verwendung dieser vorgefertigten „Wort-Karten“ (Embeddings) ein Wendepunkt ist. Selbst obwohl das Computer-Modell, das Salomon verwendete, relativ einfach war (nur wenige Schichten digitaler Neuronen), erlaubte ihm eine gute Karte, die Gefühle im Text viel besser zu verstehen als die alte „Bag of Words“-Methode.
Das Papier legt nahe, dass das „Geheimrezept“ darin bestand, dass der Computer nicht nur nach den Wörtern schaute, sondern nach der kollektiven Bedeutung der Wörter, gewichtet nach ihrer Wichtigkeit. Die „Google“-Karte war so gut, dass sie Wörter handhaben konnte, die der Computer zuvor noch nie gesehen hatte, und so die Lücken füllte, damit der Computer nicht stecken blieb.
Das Fazit
Salomon kommt zu dem Schluss, dass einfache Methoden zwar ihren Platz haben, die Zukunft des Textverständnisses jedoch in diesen tiefen, vorab trainierten Karten liegt. Er weist auch auf ein kleines Problem hin: Viele dieser mächtigen Werkzeuge werden von großen Unternehmen hergestellt und sind für junge Forscher schwer zu modifizieren oder zu verbessern. Er hofft, dass in Zukunft mehr dieser Werkzeuge für alle offen zur Nutzung und Weiterentwicklung bereitstehen werden.
Kurz gesagt: Das Papier zeigt, dass man einem Computer, der menschliche Emotionen verstehen soll, nicht nur ein Wörterbuch geben sollte, sondern eine Karte der Welt, und ihm dann erlauben muss, die Reise selbst zu lernen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.