Detection of Emotions in Hindi-English Code Mixed Text Data
Dieses Paper führt ein neues annotiertes Korpus von Hindi-Englisch-Code-Mixed-Text ein und schlägt eine konsonantenbeschränkte Normalisierungsmethode vor, um die Emotionserkennung zu verbessern, wobei es demonstriert, dass ein Subword-LSTM-Modell mit einer Genauigkeit von 76,6 % unter fünf verglichenen Baselines die höchste Genauigkeit bei der Klassifizierung von Wut, Angst, Freude und Traurigkeit erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als einen riesigen, geschäftigen globalen Marktplatz vor, auf dem Menschen aus verschiedenen Ländern ihre Gedanken, Witze und Gefühle in die digitale Luft rufen. In Indien findet ein großer Teil dieses Geplauders in einer einzigartigen, hybriden Sprache statt, die „Hinglish“ genannt wird. Es ist wie ein linguistischer Smoothie, in dem Hindi und Englisch in einem einzigen Satz miteinander vermischt werden. Das Problem ist, dass jeder dies auf seinem Telefon mit dem lateinischen Alphabet tippt (denselben Buchstaben, die wir auch für Englisch verwenden), es also keine strengen Regeln dafür gibt, wie die Hindi-Wörter zu buchstabieren sind. Eine Person schreibt „Liebe“ vielleicht als pyaar, eine andere als pyar und eine dritte als pyr. Für einen Computer sehen dies wie drei völlig verschiedene Wörter aus, was es Software sehr schwer macht, zu verstehen, was die Menschen eigentlich sagen.
Hier kommt die Wissenschaft des „Natural Language Processing“ (NLP) ins Spiel. Stellen Sie sich NLP als das Lehren von Computern vor, menschliche Sprache zu lesen und zu verstehen. Während Computer schon recht gut darin geworden sind, herauszufinden, ob ein Satz allgemein „glücklich“ oder „traurig“ ist (Sentiment-Analyse), haben sie Schwierigkeiten, spezifische, komplexe Gefühle wie Wut, Angst oder Aufregung zu erkennen, besonders wenn der Text chaotisch und gemischt ist. Das Verständnis dieser spezifischen Emotionen ist entscheidend, weil es Computern hilft zu wissen, ob jemand nur einen schlechten Tag hat oder sich in echter Gefahr befindet, was für Dinge wie Online-Sicherheit und die Überwachung der psychischen Gesundheit lebenswichtig ist.
Hier tritt ein Forscher vom LNMIIT in Jaipur, Indien, auf den Plan, der beschloss, dieses chaotische, gemischte Sprachrätsel anzugehen. Er wollte Computer lehren, vier spezifische Emotionen – Wut, Angst, Traurigkeit und Freude – in Hinglish-Texten zu erkennen. Um dies zu erreichen, musste er zuerst sein eigenes „Wörterbuch“ der Gefühle erstellen. Er sammelte 1.589 Sätze aus Twitter und Kommentarbereichen von Videos, in denen Menschen frei chatten. Zwei Muttersprachler von Hindi (die auch fließend Englisch sprechen) lasen jeden Satz und beschrifteten die Emotion. Sie stimmten bei den Bezeichnungen fast perfekt überein und schufen so einen hochwertigen Trainingsdatensatz für seine Computermodelle.
Der Forscher sah sich einem schwierigen Hindernis gegenüber: dem Buchstabier-Chaos. Da Menschen Hindi-Wörter auf so viele verschiedene Arten buchstabieren, geriet der Computer ständig in Verwirrung. Um dies zu beheben, erfand der Forscher einen cleveren „Normalisierungs“-Trick. Stellen Sie sich vor, Sie haben einen Haufen Socken, von denen einige mit „Rot“, andere mit „Redd“ und andere mit „Rd“ beschriftet sind. Anstatt zu versuchen zu erraten, welches richtig ist, betrachtet der Computer das „Skelett“ des Wortes (die Konsonanten) und wie oft das Wort in ähnlichen Kontexten vorkommt. Er gruppiert dann alle seltsamen Schreibweisen zusammen und ersetzt sie durch die am häufigsten vorkommende Version. Dies bereinigt die Daten, damit der Computer nicht durch Schreibfehler abgelenkt wird.
Als Nächstes testete er fünf verschiedene Computer-„Gehirne“ (Algorithmen), um zu sehen, welcher die Emotion am besten erraten konnte. Er verglich einfache statistische Methoden mit komplexeren neuronalen Netzen. Die große Überraschung? Das komplexeste Modell, das sich auf die winzigen Bausteine von Wörtern (Sub-Wörter) anstatt auf ganze Wörter konzentrierte, gewann das Rennen. Es erreichte eine Genauigkeit von 76,6 %, was ein riesiger Sprung von den 30,8 % ist, die man erhielte, wenn man einfach immer nur die häufigste Emotion raten würde. Dies deutet darauf hin, dass das Zerlegen von Wörtern in kleinere Teile dem Computer hilft, die chaotischen Schreibweisen viel besser zu handhaben.
Der Forscher war jedoch vorsichtig, keinen totalen Sieg zu verkünden. Er fand heraus, dass eine einfachere, ältere Methode namens „Naïve Bayes“ (die im Grunde zählt, wie oft bestimmte Wörter vorkommen) fast so gut abschnitt wie das ausgeklügelte neuronale Netz. Dies deutet darauf hin, dass Emotionen in kurzen Social-Media-Posts oft durch nur ein oder zwei Schlüsselwörter getragen werden, sodass ein einfacher Wortzähler eine überraschend gute Arbeit leisten kann. Die Arbeit kommt zu dem Schluss, dass obwohl das Sub-Wort-Modell der aktuelle Champion ist, die geringe Größe ihres Datensatzes (1.589 Sätze) es schwierig macht, mit Sicherheit zu sagen, ob eine Methode der anderen wirklich überlegen ist. Sie legen nahe, dass das größte Hindernis nicht der Algorithmus ist, sondern der Mangel an Daten; mit einer viel größeren Bibliothek an Beispielen könnten diese Computer wahrscheinlich noch schärfer darin werden, unsere digitalen Herzen zu lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.