So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis
Diese Studie vergleicht große Sprachmodelle (LLMs) mit traditionellem maschinellem Lernen bei der Analyse offener Umfrageantworten und stellt fest, dass LLMs zwar eine überlegene Klassifizierungsgenauigkeit beim Verständnis komplexer Themen und Stimmungen erreichen, jedoch erhebliche Kompromisse hinsichtlich der Konsistenz und Erklärbarkeit ihrer Argumentation aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine riesige Kiste mit tausenden von Briefen von Studierenden, die alle in ihrer eigenen unordentlichen, emotionalen Handschrift geschrieben sind. Einige sind glücklich, einige sind wütend, manche sind sarkastisch und manche sind einfach nur völlig verwirrt. Ihre Aufgabe? Jeden einzelnen zu lesen und sie in sechs Emotions-Fächer zu sortieren: Freude, Überraschung, Liebe, Wut, Traurigkeit und Angst.
Lange Zeit versuchten Forscher, dies mit „Old School“-Computerprogrammen zu machen. Denken Sie bei diesen Programmen an einen sehr strengen Bibliothekar, der nur bestimmte Wörter zählen kann. Wenn der Bibliothekar das Wort „toll“ sieht, klebt er einen „Freude“-Aufkleber auf den Brief. Wenn er „schlecht“ sieht, klebt er einen „Traurigkeit“-Aufkleber auf. Das geht schnell, und man kann genau sehen, warum der Bibliothekar diese Entscheidung getroffen hat. Aber hier ist das Problem: Diese Bibliothekare lassen sich leicht täuschen. Sie übersehen den Sarkasmus, die Erschöpfung, die hinter einem „Dankeschön“ verborgen liegt, oder die subtilen Hinweise, dass ein Student eigentlich wütend ist, obwohl er höfliche Worte verwendet hat.
In dieser Studie beschlossen die Forscher, ein neues Team von Helfern zu testen: Large Language Models (LLMs). Sie können sich diese als superintelligente, vielgelesene Roboter vorstellen, die fast alles im Internet gelesen haben. Im Gegensatz zu den strengen Bibliothekaren versuchen diese Roboter, den Vibe und den Kontext eines Satzes zu verstehen, nicht nur die einzelnen Wörter.
Das große Duell
Die Forscher ließen diese zwei Teams gegeneinander antreten und nutzten dafür echte Umfragedaten von Studierenden aus den Jahren 2019 und 2021 (293 Briefe aus 2021 und 142 aus 2019). Sie haben den Robotern nichts Neues beigebracht; sie haben sie lediglich mit einer einfachen Anweisung sortieren lassen, einer Methode namens „Zero-Shot“-Prompting.
Was die alten Bibliothekare taten
Die traditionellen Computermodelle (wie Support Vector Classifiers und Random Forests) waren ganz ordentlich darin, die Briefe zu sortieren, wenn sie auf einem spezifischen Satz von Beispielen trainiert wurden. Sie erreichten etwa 90 % Genauigkeit bei ihren Übungstests. Aber als sie mit den echten, chaotischen Briefen der Studierenden konfrontiert wurden, fingen sie an, etwas verrückt zu spielen.
- In der 2019er-Charge entschied ein Modell, dass 99,3 % der Briefe „Freude“ seien. Es ignorierte im Grunde alle anderen Emotionen!
- In der 2021er-Charge waren die Modelle wild untereinander uneinig. Eines hielt einen Brief für „Liebe“, während ein anderes ihn für „Traurigkeit“ hielt.
- Die Forscher fanden heraus, dass diese alten Modelle zu empfindlich auf bestimmte Wörter (wie „toll“ oder „gut“) reagierten und nicht mit der kniffligen, menschlichen Seite der Sprache umgehen konnten. Sie waren spröde, was bedeutet: Wenn sich die Daten auch nur ein wenig änderten, brach ihre Sortierung zusammen.
Was die neuen Roboter taten
Das Team der LLMs (darunter GPT-4-Turbo, Claude 3.5, Metas LLaMA 3 und Perplexity Sonar Pro) machte etwas anderes. Sie haben nicht nur Wörter gezählt; sie haben versucht, das Gefühl zu verstehen.
- Sie stimmten sich untereinander ab: Als die vier verschiedenen Roboter denselben Stapel Briefe betrachteten, sortierten sie die Briefe meistens auf die gleiche Weise. So waren sich zum Beispiel alle vier Roboter absolut einig darüber, wie viele Briefe „Wut“ enthielten (46 Briefe).
- Sie bewältigten die Nuancen: Sie waren viel besser darin, komplexe Emotionen zu erkennen, wie zum Beispiel, wenn ein Student sarkastisch ist oder wenn ihr „Dankeschön“ eigentlich von Erschöpfung durchzogen ist.
- Die Zahlen: Obwohl die Arbeit keine einzelne „Genauigkeitsrate“ für die Roboter angibt (da es keinen menschlichen Lösungsschlüssel zum Vergleich gibt), deutet ihre Konsistenz darauf hin, dass sie für diese Art von chaotischen, realen Daten viel zuverlässiger sind als die alten Modelle.
Der Haken
Die Roboter sind keine perfekten Magier. Die Forscher weisen auf einige Punkte hin, die man beachten sollte:
- Der „Liebe“-Fehler: Alle vier Roboter sortierten mehr Briefe als „Liebe“ ein als als „Freude“. Die Forscher vermuten, dass dies daran liegt, dass die Roboter von sozialen Medien gelernt haben, wo Menschen sagen „Ich liebe diesen Kurs!“, um auszudrücken, dass sie ihn „wirklich mögen“, und nicht, dass sie tiefe romantische Gefühle hegen.
- Die Black Box: Im Gegensatz zu den alten Bibliothekaren kann man nicht immer sehen, warum der Roboter eine Entscheidung getroffen hat. Es ist schwieriger, ihre Arbeit zu prüfen.
- Kosten und Updates: Diese Roboter sind teuer in der Ausführung, und die Unternehmen, die sie herstellen, aktualisieren sie oft. Wenn man nächstes Jahr denselben Prompt verwendet, könnte der Roboter eine etwas andere Antwort geben, weil er eine „neue Version“ ist.
Das Urteil
Die Studie legt nahe, dass die neuen KI-Roboter das bessere Werkzeug sind, wenn man Tausende von offenen Antworten von Studierenden analysieren möchte. Sie sind viel besser darin, die komplexe, menschliche Seite der Sprache zu verstehen, und sie sind konsistenter über verschiedene Gruppen von Studierenden hinweg.
Dennoch sagen die Forscher nicht, dass dies ein „gelöstes“ Problem sei. Sie schlagen vor, dass für Entscheidungen mit hoher Tragweite (wie etwa die Änderung von Schulrichtlinien) der beste Ansatz ein Teamwork ist: Man lässt die Roboter die schwere Arbeit des Sortierens erledigen, aber man lässt Menschen die Arbeit überprüfen, um sicherzustellen, dass die Roboter nicht durch Sarkasmus oder Voreingenommenheit getäuscht werden. Es ist eine kraftvolle neue Art, den Studierenden zuzuhören, aber sie benötigt immer noch eine menschliche Hand am Steuer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.