A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Diese Arbeit präsentiert einen Multi-Domänen-Benchmark, der fünf große Sprachmodelle, ein regelbasiertes Lexikon und einen überwachten Transformer gegenüber menschlichen Annotationen evaluiert und aufzeigt, dass während Spitzenmodelle wie Claude Opus 4.7 und GPT-5.5 eine starke Übereinstimmung mit Menschen erreichen, signifikante Diskrepanzen zwischen den Modellen sowie mit menschlichen Labels bestehenbleiben – insbesondere bei informellen Texten –, was demonstriert, dass die Modellauswahl die Ergebnisse der Sentiment-Klassifizierung materiell beeinflusst.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Computer, die Sprache lesen und verstehen können, gibt es eine Aufgabe, die so alt ist wie das Internet selbst: herauszufinden, ob ein Text glücklich, traurig oder einfach nur eine sachliche Feststellung ist. Dies wird als Sentiment-Analyse bezeichnet. Jahrelang haben Menschen diese Werkzeuge genutzt, um zu erraten, wie der Aktienmarkt auf einen Nachrichtenbericht reagieren wird, um zu sehen, ob Kunden verärgert über ein Produkt sind, oder um die öffentliche Stimmung während einer Gesundheitskrise zu verfolfen. Vor kurzem ist eine neue Generation dieser Computerprogramme, bekannt als Large Language Models (große Sprachmodelle), angekommen. Dies sind dieselben Arten von Systemen, die Geschichten schreiben, Fragen beantworten und Gespräche führen können. Da sie so gut darin sind, die menschliche Sprache zu verstehen, haben viele Menschen damit begonnen, sie für die Aufgabe des Sortierens von Texten nach Emotionen einzusetzen, in der Hoffnung, die langsame, teure Arbeit menschlicher Prüfer durch einen einzigen Computerbefehl zu ersetzen.
Aber es gibt ein Problem mit diesem neuen Ansatz. Genau wie verschiedene Menschen darüber uneinig sein könnten, ob eine Filmkritik sarkastisch oder aufrichtig ist, könnten auch diese verschiedenen Computerprogramme untereinander uneinig sein. Ein Programm bezeichnet einen Satz vielleicht als „positiv“, während ein anderes genau denselben Satz als „negativ“ bezeichnet. Wenn eine Bank oder ein Krankenhaus diese Werkzeuge für wichtige Entscheidungen nutzt, spielt es eine tiefe Rolle, welches man wählt. Bis jetzt hatte niemand systematisch überprüft, wie gut diese verschiedenen Programme übereinstimmen oder wie oft sie mit tatsächlichen menschlichen Richtern übereinstimmen, wenn sie alle denselben Text betrachten.
Ein Forscher namens Aneesh K Sajan beschloss, diese Frage zu klären, indem er ein massives, kontrolliertes Experiment durchführte. Er versammelte fünf der derzeit fortschrittlichsten verfügbaren Sprachmodelle von vier verschiedenen Technologieunternehmen zusammen mit zwei älteren, einfacheren Werkzeugen, die als Referenz dienten. Er fütterte sie mit insgesamt 8.872 Sätzen aus fünf verschiedenen Datensätzen. Diese Sätze stammten aus einer Mischung von Quellen: formellen Finanzberichten, lockeren Social-Media-Posts, Filmkritiken und Telefonkonferenzen zu Geschäftsergebnissen (Earnings Calls). Das Ziel war zu sehen, ob die Computer in der Lage waren, die Emotion im Text korrekt zu identifizieren, verglichen mit der Art und Weise, wie Menschen ihn etikettiert hatten, und vor allem, wie oft sie untereinander übereinstimmten.
Die Ergebnisse zeigten eine klare Spaltung in der Leistung. Zwei Modelle, eines von einer Firma namens Anthropic und ein weiteres von OpenAI, stachen als die genauesten hervor. Wenn diese beiden formellen Finanztext betrachteten, stimmten sie fast perfekt mit menschlichen Urteilen überein. Sie stimmten auch bei fast 90 Prozent der von ihnen analysierten Sätze miteinander überein. Ein drittes Modell von OpenAI lag dicht dahinter und bildete eine Gruppe leistungsstarker Werkzeuge, die die Welt im Allgemeinen auf die gleiche Weise sahen. Ein Modell von Google, das darauf ausgelegt war, Probleme vor der Antwort zu „durchdenken“, schnitt jedoch schockierend schlecht ab. Es interpretierte das Sentiment so oft falsch, dass seine Ergebnisse kaum besser als reines Raten waren. Der Forscher testete eine spezifische Theorie, um zu sehen, ob dieses Scheitern darauf zurückzuführen war, dass das Google-Modell zu viel Zeit mit einfachen Fragen verbrachte – ein Phänomen, das als „Überdenken“ (Overthinking) bekannt ist. Er zwang das Modell dazu, mit einer viel kürzeren Denkzeit zu antworten, doch die schlechte Leistung blieb bestehen. Dies schloss die Idee aus, dass das Modell die Aufgabe lediglich überanalysierte; das Scheitern war inhärent in der Art und Weise, wie dieses spezifische Modell in diesem Setup agierte.
Ein weiteres Open-Source-Modell, das auf dem eigenen Computer eines Forschers statt auf einem Cloud-Server ausgeführt werden kann, schnitt moderat gut ab. Es war nicht so genau wie die führenden kommerziellen Modelle, aber es war signifikant besser als die älteren, regelbasierten Werkzeuge, die jahrelang verwendet worden waren. Die Studie fand auch heraus, dass die Art des Textes eine große Rolle spielt. Alle Modelle waren wesentlich besser darin, formelle, professionelle Texte zu verstehen, als informelle, lockere Sprache wie Tweets oder Textnachrichten. Bei informellen Texten sank die Übereinstimmung selbst der besten Modelle auf ein Niveau, das nur als „moderat“ bezeichnet werden kann, was bedeutet, dass sie immer noch erheblich von Menschen und untereinander abweichen.
Die vielleicht auffälligste Erkenntnis war, wie wenig die Modelle tatsächlich miteinander übereinstimmten. Als der Forscher die gesamte Gruppe von sechs Werkzeugen betrachtete, gaben sie nur bei etwa 14 bis 24 Prozent der Sätze exakt dieselbe Antwort. Bei den verbleibenden Sätzen gab es keine klare Mehrheit. Das bedeutet, dass das Endergebnis für einen riesigen Teil der Texte, die Menschen täglich analysieren, vollständig davon abhängt, welches Computerprogramm man gerade verwendet. Wenn ein Finanzanalyst ein Modell verwendet, um einen Bericht zu lesen, und ein anderer Analyst ein anderes Modell nutzt, könnten sie zu gegensätzlichen Schlussfolgerungen über dieselbe Nachricht kommen.
Die Studie kommt zu dem Schluss, dass diese neuen Werkzeuge zwar leistungsstark, aber nicht austauschbar sind. Die Wahl des Modells ist kein nebensächliches technisches Detail; es ist eine Entscheidung, die die Daten selbst verändert. Für Aufgaben, die formelle Finanzdokumente betreffen, sind die Top-Modelle zuverlässig und konsistent. Aber für informelle Texte oder für Aufgaben, bei denen der Unterschied zwischen positiv und negativ subtil ist, ist die Uneinigkeit zwischen den Modellen ein Zeichen echter Unsicherheit. In diesen Fällen schlägt der Forscher vor, dass es riskant ist, sich auf einen einzelnen Computer zu verlassen. Stattdessen ist der beste Ansatz, mehrere Modelle zusammen zu verwenden oder einen Menschen die Sätze überprüfen zu lassen, bei denen die Computer uneins sind, um sicherzustellen, dass die endgültige Entscheidung nicht bloß ein Produkt der gewählten Software ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.