Political Stance Detection on X During the 2024U.S. Election: A Comparative Study of Classical, Neural, and Transformer Models

Stellen Sie sich das Internet als einen riesigen, chaotischen Marktplatz vor, auf dem Millionen von Menschen gleichzeitig ihre Meinung herausbrüllen. In diesem digitalen Platz versucht ein spezielles wissenschaftliches Feld namens Computational Social Science zuzuhören. Diese Forscher nutzen Computer, um das menschliche Verhalten online zu verstehen, indem sie die chaotischen Wortgefechte in Daten verwandeln, die sie untersuchen können. Um dies zu erreichen, verlassen sie sich oft auf zwei Hauptwerkzeuge: die Sentiment-Analyse, die wie ein einfaches Mood-Ring funktioniert und lediglich angibt, ob jemand glücklich oder wütend ist, und die Stance Detection (Haltungserkennung), die eine viel schärfere Detektivleistung erbringt. Die Haltungserkennung fragt nicht nur: „Bist du wütend?“, sondern: „Auf wen bist du wütend und auf welcher Seite stehst du?“ Dies ist wichtig, denn während großer Ereignisse wie Wahlen hilft das Wissen darüber, wen die Menschen unterstützen, uns zu verstehen, wie die Stimmung der Nation ist – aber das ist unglaublich schwierig, wenn Menschen Slang, Emojis, Sarkasmus und kurze, prägnante Nachrichten verwenden.

Dieses Paper ist wie ein großer Geschmackstest, bei dem ein Team von Forschern der University of Delaware ein Labor eingerichtet hat, um zu sehen, welcher „Detektiv“ am besten darin ist, herauszufinden, wen die Menschen bei der Präsidentschaftswahl 2024 in den USA unterstützen. Sie betrachteten fast 100.000 Beiträge der Social-Media-Plattform X (ehemals Twitter), um zu sehen, ob sie feststellen konnten, ob ein Nutzer Donald Trump, Joe Biden und Kamala Harris oder weder von beidem unterstützte. Sie haben sich nicht einfach für ein einziges schickes Werkzeug entschieden, sondern stellten drei verschiedene Arten von „Detektiven“ gegeneinander: die klassischen Detektive (altmodische mathematische Werkzeuge), die neuronalen Detektive (gehirnähnliche Computernetzwerke) und die **Transformer-**Detektive (super-intelligente, moderne KI-Modelle, die den Kontext lesen). Ihr Ziel war es herauszufinden, ob man ein superkomplexes, teures KI-Modell braucht, um das Rätsel zu lösen, oder ob ein einfacheres, gut abgestimmtes Werkzeug fast genauso gut die Arbeit erledigen kann.

Das große Detektiv-Duell

Die Forscher begannen damit, die unordentlichen Daten zu bereinigen. Social-Media-Beiträge sind voller Rauschen – wie Tippfehler, seltsame Symbole und Links, die nicht wichtig sind. Sie agierten wie Bibliothekare, die die Bücher ordneten, Duplikate entfernten und den Slang in einfaches Englisch übersetzten, damit die Computer ihn verstehen konnten. Sie erstellten auch ein spezielles Label für die „Kandidaten-Zugehörigkeit“ (Candidate Affiliation). Anstatt nur zu sagen: „Dieser Post ist glücklich“ oder „dieser Post ist traurig“, trainierten sie ihr System darauf, zu fragen: „Spricht diese Person über Trump, Biden-Kamala oder niemanden von beiden?“ Sie nutzten eine Mischung aus Keyword-Suche und Themenanalyse, um dies herauszufinden, und ließen sogar menschliche Experten die Arbeit überprüfen, um sicherzustellen, dass die Labels korrekt waren.

Sobald die Daten bereit waren, ließen sie die drei Arten von Modellen durch eine Reihe von Tests laufen.

Zuerst probierten sie die klassischen Modelle aus. Betrachten Sie diese als die zuverlässigen, altmodischen Detektive, die ein Vergrößerungsglas und ein Notizbuch benutzen. Sie sind schnell, leicht verständlich und benötigen keinen Supercomputer zum Ausführen. Die Forscher verwendeten Werkzeuge wie Support Vector Machines (SVM) und Logistische Regression. Diese Modelle betrachteten die Wörter in den Beiträgen und zählten, wie oft bestimmte politische Schlüsselwörter vorkamen.

Als Nächstes probierten sie die neuronalen Modelle aus. Dies sind Detektive mit einem „Gehirn“, das aus Schichten besteht. Sie verwendeten etwas namens Sentence-BERT, das einen ganzen Satz in eine einzige, dichte Zahl (ein Embedding) umwandelt, die die Bedeutung der Wörter erfasst, nicht nur die Wörter selbst. Es ist, als würde man einen Satz in einen Geheimcode übersetzen, der dessen „Vibe“ repräsentiert.

Schließlich probierten sie das Transformer-Modell, speziell BERTweet. Dies ist der „Super-Detektiv“. Es ist eine massive KI, die bereits Millionen von Tweets gelesen hat und genau weiß, wie Menschen Slang, Hashtags und Emojis auf X verwenden. Es ist das komplexeste und leistungsfähigste Werkzeug im Raum, das speziell entwickelt wurde, um die chaotische Sprache der sozialen Medien zu verstehen.

Die Ergebnisse: Wer gewann das Rennen?

Hier wird die Geschichte interessant. Die Forscher erwarteten, dass der „Super-Detektiv“ (BERTweet) problemlos gewinnen würde, da er am leistungsfähigsten ist. Und in gewisser Weise hat er das auch getan. Als sie BERTweet den vollständigen Datensatz gaben und es alles lernen ließen, erreichte es einen Wert von 0,995 auf dem Testdatensatz. Das ist ein unglaublich hoher Wert, was darauf hindeutet, dass es fast perfekt darin war, die politische Haltung zu erraten.

Das Paper deutet jedoch auf eine sehr wichtige Wendung hin: Komplexität ist nicht alles.

Als die Forscher genauer hinsahen, fanden sie heraus, dass das „altmodische“ Lineare SVM (das klassische Modell) ein erbitterter Konkurrent war. Nachdem sie die Daten bereinigt und die Einstellungen genau abgestimmt hatten, erreichte das SVM einen Wert von 0,963. Das ist ein klein wenig niedriger als die Super-KI, aber es ist immer noch ein erstaunlicher Wert. Der Unterschied zwischen ihnen war so gering, dass die Forscher vermuten, dass die zusätzliche Leistung der Super-KI für viele reale Aufgaben den Aufwand vielleicht nicht wert ist.

Die Studie fand auch heraus, dass die „gehirnähnlichen“ neuronalen Modelle (Sentence-BERT + MLP) genau in der Mitte lagen und einen Wert von etwa 0,85 erreichten. Dies deutet darauf hin, dass es nicht viel bringt, das „Gehirn“ tiefer oder komplexer zu machen, sobald man bereits eine gute Methode hat, um die Bedeutung eines Satzes zu verstehen.

Das Experiment mit den „zusätzlichen Hinweisen“

Die Forscher fragten sich auch: „Was passiert, wenn wir den Detektiven zusätzliche Hinweise geben?“ Sie versuchten, nicht-textuelle Informationen hinzuzufügen, wie zum Beispiel:

• Wann der Beitrag erstellt wurde (Tageszeit, Wochentag).
• Wo sich der Nutzer befand (geografische Daten).
• Wie populär der Beitrag war (Likes, Reposts, Engagement).
• Sicherheitsflags (handelt es sich um Hassrede?).

Sie testeten diese Hinweise einzeln und in Gruppen. Das Ergebnis? Die zusätzlichen Hinweise halfen ein wenig, aber nicht viel. Die „Text-only“-Detektive waren bereits so gut darin, die Wörter zu lesen, dass das Hinzufügen von Standort- oder Zeitdaten das Ergebnis nicht signifikant veränderte. Tatsächlich machten die zusätzlichen Hinweise die Modelle manchmal sogar etwas schlechter, weil die zusätzlichen Daten lediglich Rauschen darstellten. Das Paper legt nahe, dass für diese spezifische Aufgabe die Wörter selbst der wichtigste Hinweis sind und dass ausgeklügelte Metadaten keine bessere Antwort garantieren.

Das große Fazit

Was bedeutet das also alles für die Zukunft der Wahlbeobachtung?

Das Paper legt nahe, dass der „Super-Detektiv“ (Transformer-Modelle) zwar in einer kontrollierten, perfekten Umgebung der Stärkste ist, er aber für viele Situationen vielleicht übertrieben ist. Das Lineare SVM, ein viel einfacheres und schnelleres Werkzeug, schnitt fast genauso gut ab. Das ist eine große Sache, denn das einfache Werkzeug ist:

• Schneller: Es läuft auf normalen Computern, nicht auf teuren Supercomputern.
• Klarer: Es ist leichter zu verstehen, warum es eine Entscheidung getroffen hat (Interpretierbarkeit).
• Günstiger: Es kostet weniger im Betrieb.

Die Autoren warnen davor, dass der nahezu perfekte Wert der Super-KI spezifisch für diesen speziellen Datensatz und die Art und Weise, wie die Daten gelabelt wurden, sein könnte. Sie behaupten nicht, dass die Erkennung politischer Haltungen „gelöst“ oder die KI in der realen Welt, in der Menschen sarkastischer sein könnten oder sich die Sprache ändern könnte, perfekt ist. Stattdessen schlagen sie vor, dass für den Aufbau zuverlässiger, skalierbarer Systeme eine gute Datenaufbereitung und eine kluge Merkmalsauswahl wichtiger sind als nur die Wahl des komplexesten Modells.

Kurz gesagt: Man braucht nicht immer einen Ferrari, um ein Rennen zu gewinnen; manchmal ist ein gut abgestimmtes Fahrrad genauso schnell, einfacher zu reparieren und viel günstiger zu fahren. Für die Verfolgung politischer Meinungen in sozialen Medien könnte ein sorgfältig gestaltetes, einfaches Modell die praktischere Wahl sein.