Classification of Public Opinion on the Free Nutritional Meal Program on YouTube Media Using the LSTM Method
Diese Studie nutzt die Long Short-Term Memory (LSTM)-Methode, um die Sentiments in 7.733 YouTube-Kommentaren zum Indonesischen Programm für kostenlose nahrhafte Mahlzeiten zu klassifizieren, wobei eine Gesamtgenauigkeit von 89 % erreicht wird, gleichzeitig jedoch aufgedeckt wird, dass die Leistung des Modells aufgrund einer schweren Klassenungleichgewichtung im Datensatz signifikant zu negativen Sentiments verzerrt ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet, speziell YouTube, als einen riesigen, lauten Marktplatz vor. Auf diesem Platz hat die Regierung einen neuen Plan angekündigt: das „Programm für freie nahrhafte Mahlzeiten" (MBG), das wie eine riesige Schulmittagessen-Initiative gedacht ist, um Kinder besser zu ernähren.
Anstatt Papierumfragen zu versenden, um herauszufinden, was die Menschen denken, entschieden sich die Forscher in dieser Studie, das Geschwätz auf dem Marktplatz zu hören. Sie griffen 7.733 Kommentare auf, die von Menschen hinterlassen wurden, die Videos über dieses Mahlzeitenprogramm ansahen.
Hier ist die einfache Zusammenfassung dessen, was sie taten und was sie fanden:
Das Problem: Zu viel Lärm, zu viele Stimmen
Die Forscher stellten fest, dass der „Marktplatz" sehr unausgewogen war. Von jeder 100 Kommentare waren etwa 88 beschwerlich oder wütend (negativ), während nur 12 glücklich oder unterstützend (positiv) waren. Es war wie bei einem Konzert, bei dem 88 Menschen buhen und nur 12 klatschen.
Das Werkzeug: Ein „Super-intelligentes Gedächtnis"-Roboter (LSTM)
Um diesen Berg an Text zu verstehen, verwendeten sie ein Computerprogramm namens LSTM (Long Short-Term Memory).
Stellen Sie sich LSTM als einen super-intelligenten Roboter mit einem sehr guten Gedächtnis vor.
- Normale Computer lesen vielleicht Satz für Satz Wort für Wort und vergessen den Anfang, bis sie am Ende angelangt sind.
- Der LSTM-Roboter erinnert sich an den ganzen Satz. Er versteht, dass wenn jemand „nicht gut" sagt, das Wort „gut" nicht bedeutet, dass sie glücklich sind; das „nicht" ändert die gesamte Bedeutung. Dies ist entscheidend für das Verständnis menschlicher Sprache.
Sie trainierten diesen Roboter zunächst mit einem kleineren Datensatz und testeten ihn dann an einem neuen Satz von Kommentaren, den er noch nie gesehen hatte.
Die Ergebnisse: Der Roboter ist großartig darin, das Buhen zu hören, aber schlecht darin, das Klatschen zu hören
Als sie den Roboter testeten, geschah Folgendes:
- Gesamtpunktzahl: Der Roboter erreichte eine Genauigkeit von 89 %. Das klingt großartig, wie eine Eins in einem Test.
- Das „Buhen" (negative Stimmung): Der Roboter war hier ein Superstar. Er identifizierte wütende Kommentare 94 % der Zeit korrekt. Er wusste genau, wann die Menschen mit dem Mahlzeitenprogramm unzufrieden waren.
- Das „Klatschen" (positive Stimmung): Hier strauchelte der Roboter. Er erkannte die glücklichen Kommentare nur 55 % der Zeit richtig.
Warum scheiterte der Roboter bei den glücklichen Kommentaren?
Stellen Sie sich vor, Sie bringen einem Hund das Apportieren bei. Wenn Sie 88 Mal einen roten Ball und nur 12 Mal einen blauen Ball werfen, wird der Hund schließlich jedes Mal „rot" raten, weil dies die sicherste Wette ist. Genau das passierte dem Roboter. Da es in den Trainingsdaten so viel mehr negative Kommentare gab, lernte der Roboter, fast jedes Mal „Negativ" zu raten. Er wurde zugunsten der Mehrheit voreingenommen.
Die Erkenntnis
Die Studie kommt zu dem Schluss, dass dieser „Super-intelligente Gedächtnis"-Roboter (LSTM) zwar ein mächtiges Werkzeug zum Verständnis indonesischer Texte auf YouTube ist, aber eine Blindstelle hat, wenn die Daten unausgewogen sind.
- Was funktionierte: Er ist hervorragend darin, Kritik und negative Meinungen aufzuspüren.
- Was nicht funktionierte: Er hat Schwierigkeiten, positive Meinungen zu finden, weil es einfach nicht genug Beispiele davon gab, um den Roboter richtig zu unterrichten.
Die Forscher schlagen vor, dass sie in Zukunft, wenn sie wollen, dass der Roboter fair ist, entweder mehr glückliche Kommentare finden müssen, um ihn zu unterrichten, oder einen Trick anwenden müssen, damit der Roboter den seltenen glücklichen Kommentaren besondere Aufmerksamkeit schenkt. Bis dahin ist der Roboter ein großartiger „Beschwerde-Detektor", aber ein wackeliger „Kompliment-Finder".
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.