Exploring Functional Shifts in Pos Tagging Across Various NLP Libraries: A Study of NLTK, spaCy and Textblob
Diese Studie vergleicht die Leistungsfähigkeit von NLTK, TextBlob und spaCy im Umgang mit Garden-Path-Sätzen, die durch Funktionsverschiebungen verursacht werden, wobei festgestellt wurde, dass spaCy die anderen beiden Bibliotheken in Bezug auf die syntaktische Genauigkeit signifikant übertrifft und Einblicke zur Verbesserung von NLP-Werkzeugen bietet, einschließlich solcher für afrikanische Sprachen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Bilderbuch zu lesen. Sie möchten, dass er nicht nur die Wörter versteht, sondern auch, wie sich diese Wörter in einem Satz verhalten. Ist „laufen“ ein Befehl, um schnell zu bewegen, oder ist es ein Substantiv, das eine lange Zeitspanne beschreibt? In der Welt der Informatik nennt man diese Aufgabe Part-of-Speech (POS) Tagging (Wortartbestimmung). Es ist wie ein digitaler Textmarker, der jedes Wort in einem Satz einfärbt, um zu zeigen, ob es ein Substantiv, ein Verb, ein Adjektiv oder etwas anderes ist. Für uns Menschen scheint das einfach zu sein, aber für Computer wird es knifflig, wenn Wörter mitten im Satz ihr Kostüm wechseln. Dies wird als funktionaler Wechsel bezeichnet. Stellen Sie sich das wie einen Schauspieler vor, der ein Stück als König beginnt und dann plötzlich einen Kochhut aufsetzt und anfängt zu kochen, ohne dabei seinen Namen zu ändern. Der Computer muss die neue Rolle basierend auf den anderen Wörtern um sich herum erraten.
Noch kniffliger sind Garden-Path-Sätze (Irrgarten-Sätze). Dies sind Sätze, die einen auf einen „Gartenweg“ des Denkens führen, nur um einen am Ende über das Ziel hinauszubringen. Ein Beispiel ist: „The old man the boat.“ Ihr Gehirn möchte „old man“ als eine Person lesen, aber der Satz bedeutet eigentlich: „Die Alten bedienen das Boot.“ Hier ist „man“ ein Verb und kein Substantiv! Wenn ein Computer durch diese Wendungen verwirrt wird, könnte er die ganze Geschichte missverstehen, was ein großes Problem für Dinge wie Übersetzungs-Apps oder Suchmaschinen darstellt. Deshalb testen Wissenschaftler ständig verschiedene Computerprogramme, um zu sehen, welches am besten darin ist, diese hinterlistigen Wortwechsel zu erkennen.
In dieser Studie beschloss ein Forscher namens Kayode Victor Amusan, drei beliebte Computerprogramme – NLTK, TextBlob und SpaCy – auf die Probe zu stellen. Stellen Sie sich diese drei wie Schüler in einer Sprachklasse vor. Der Lehrer (der Forscher) reichte ihnen einen Stapel von 56 kniffligen Sätzen, die darauf ausgelegt waren, sie zu verwirren. Diese Sätze enthielten Garden-Path-Rätsel, Wörter, die in Substantive verwandelt worden waren (wie „singing“, das zu einer Sache wurde, die man tut), und Wörter, die ihre Position änderten, um ihre Bedeutung zu verändern. Das Ziel war simpel: zu sehen, welcher Schüler korrekt identifizieren konnte, welche Rolle jedes Wort in dem Satz spielte.
Die Ergebnisse waren ein wenig wie ein Rennen, bei dem ein Läufer deutlich vorausgezogen ist. Von den 56 kniffligen Sätzen hatte SpaCy 32 richtig. NLTK und TextBlob belegten mit jeweils 21 korrekten Sätzen den zweiten Platz. Das bedeutet, dass SpaCy signifikant besser darin war, die „Kostümwechsel“ von Wörtern in komplexen Sätzen zu erkennen.
Die Studie untersuchte genau spezifische Beispiele, um zu sehen, wo die Programme stolperten. Nehmen wir zum Beispiel das Wort „round“. Es kann ein Kreis (Substantiv), eine Form (Adjektiv), ein Verb mit der Bedeutung „drehen“ oder ein Adverb mit der Bedeutung „sich im Kreis bewegen“ sein. In Sätzen wie „The earth turns round once“ identifizierte SpaCy „round“ korrekt als Adverb. NLTK und TextBlob hingegen wurden verwirrt und bezeichneten es als Substantiv. Ähnlich verhielt es sich mit dem Wort „that“, das ein Pronomen, eine Konjunktion oder ein Adjektiv sein kann: SpaCy zeigte, dass es den Unterschied in fast jedem Kontext erkennen konnte, während die anderen beiden Bibliotheken oft danebenlagen.
Der Forscher fand heraus, dass alle drei Programme mit den verwirrendsten Garden-Path-Sätzen (wie „The complex houses married and single students“) zu kämpfen hatten, SpaCy aber dennoch mehr davon richtig löste als die anderen. Zum Beispiel war SpaCy in einem Satz, in dem „houses“ tatsächlich ein Verb ist (im Sinne von „unterbringen“ oder „beherbergen“), eher in der Lage zu erkennen, dass es kein Gebäude ist. Die Studie legt nahe, dass NLTK und TextBlob zwar gut für allgemeine Aufgaben sind, SpaCy jedoch das stärkere Werkzeug ist, wenn die Sprache kompliziert wird und Wörter ihre Rollen wechseln.
Das Paper behauptet nicht, dass SpaCy perfekt ist oder dass das Problem gelöst ist. Tatsächlich weist es darauf hin, dass selbst SpaCy 24 von 56 Sätzen falsch verstand. Es deutet lediglich darauf hin, dass, wenn Sie benötigen, dass ein Computer knifflige, verschlungene Sätze verarbeitet, SpaCy derzeit die zuverlässigste Wahl unter den dreien ist. Der Forscher hofft, dass diese Informationen Lehrern, Studenten und anderen Wissenschaftlern helfen, bessere Werkzeuge für das Verständnis der menschlichen Sprache zu bauen, und vielleicht sogar hilft, zukünftige Programme dazu zu bringen, afrikanische Sprachen mit der gleichen Leichtigkeit zu sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.