Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

Diese Studie untersucht die Anwendbarkeit von überwachten Sprachmodellen und ChatGPT für die automatische Stimmungsanalyse des polarisierenden Themas Immigration in der morphologisch komplexen estnischen Sprache und demonstriert deren Eignung für die Medienüberwachung durch die Analyse von siebenjährigen Trends in Mainstream- und populistischen Nachrichtenquellen.

Das Wesentliche

Die große Aufgabe: Meinungen in Nachrichten finden

Stellen Sie sich vor, Sie haben einen riesigen Ozean aus Zeitungsartikeln. Darin schwimmen Millionen von Sätzen über ein sehr kontroverses Thema: Migration.

Die Forscher aus Tallinn (Estland) wollten herausfinden: Was sagen diese Zeitungen eigentlich? Unterstützen sie die Migration, lehnen sie sie ab oder bleiben sie neutral?

Das Problem ist: Eine Maschine (ein Computerprogramm) kann nicht einfach lesen wie ein Mensch. Sie versteht keine Ironie, keine Andeutungen und keine kulturellen Nuancen. Besonders schwierig wird es bei einer Sprache wie Estnisch, die grammatikalisch sehr komplex ist und für die es nicht so viele fertige "Lernbücher" (Daten) für Computer gibt wie für Englisch.

Der Versuch: Zwei verschiedene Trainer

Die Forscher haben zwei verschiedene Methoden ausprobiert, um die Computer beizubringen, diese Meinungen zu erkennen:

1. Der "Schüler-Trainer" (Überwachtes Lernen):
   Hier haben sie menschliche Helfer gebeten, tausende Sätze manuell zu lesen und zu markieren: "Das ist pro-Migration", "Das ist anti-Migration" oder "Das ist neutral". Diese markierten Sätze wurden dem Computer wie ein Schulbuch gegeben. Der Computer hat gelernt, Muster zu erkennen, und wurde dann getestet.

   • Vergleich: Es ist wie ein Schüler, der tausende Beispiel-Aufgaben mit Lösungen durchgearbeitet hat, bevor er zur Prüfung geht.

2. Der "Genie-Chatbot" (Zero-Shot Learning mit ChatGPT):
   Hier haben sie keinen menschlichen Trainer gebraucht. Stattdessen haben sie einen sehr fortschrittlichen KI-Chatbot (ChatGPT) gebeten: "Hey, lies diesen Satz und sag mir, ob er Migration unterstützt oder ablehnt." Der Chatbot musste das ohne vorheriges Lernen für dieses spezielle Thema tun.

   • Vergleich: Es ist wie ein Genie, das man in einen Raum schickt und sagt: "Erkenne die Stimmung in diesen Texten." Das Genie nutzt sein allgemeines Wissen, um die Aufgabe sofort zu lösen, ohne dass man ihm erst 10.000 Beispiele zeigen muss.

Das Ergebnis: Der Überraschungssieg

Das Ergebnis war erstaunlich:

• Der "Schüler-Trainer" (der mit den menschlichen Markierungen) hat gut gearbeitet.
• Der "Genie-Chatbot" (ChatGPT) hat fast genauso gut abgeschnitten!

Das ist eine riesige Nachricht, weil ChatGPT viel schneller und günstiger einzusetzen ist. Man muss keine teuren menschlichen Helfer bezahlen, um Tausende von Sätzen zu markieren. Für Sprachen wie Estnisch, wo es wenig Daten gibt, ist das ein Game-Changer.

Was haben sie mit den Ergebnissen gemacht? (Die Reise durch die Zeit)

Nachdem sie den besten "Trainer" hatten, haben sie ihn auf riesige Mengen an Nachrichten aus Estland angewandt, um eine Zeitreise von 2015 bis 2022 zu machen. Sie haben zwei Quellen verglichen:

1. Eine große, traditionelle Nachrichtenagentur (wie eine seriöse Tageszeitung).
2. Eine rechtspopulistische Online-Plattform (die eher radikale Meinungen vertritt).

Was sie sahen, war wie ein Seismograph für die Gesellschaft:

• Die Wellenbewegung: Als große Ereignisse passierten – wie die Flüchtlingskrise 2015, die UN-Migrationspakt-Debatte 2018 oder der Krieg in der Ukraine 2022 – änderten sich die Meinungen in den Zeitungen sofort.
• Der Kontrast: Die rechtspopulistische Seite war fast immer sehr ablehnend gegenüber Migration (ein starker "Anti-Migration"-Wellenberg). Die traditionelle Seite war meist neutral, aber sie reagierte stark auf Ereignisse.
• Der Ukraine-Krieg: Als der Krieg in der Ukraine begann, wurde die Stimmung in der traditionellen Zeitung plötzlich sehr hilfsbereit (pro-Migration), weil es um ukrainische Flüchtlinge ging. Die rechtspopulistische Seite blieb skeptisch, zeigte aber auch kleine Verschiebungen.

Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen wissen, ob ein Restaurant fair ist. Sie könnten jeden Gast einzeln fragen (das wäre teuer und langsam). Oder Sie nutzen eine KI, die die Gespräche der Gäste analysiert.

Diese Studie zeigt: Wir können KI nutzen, um zu verstehen, wie sich die öffentliche Meinung in Nachrichten verändert. Das hilft uns zu erkennen, wann Medien polarisieren (sich spalten) und wann sie neutral bleiben. Und das Beste: Wir können das jetzt auch mit KI machen, ohne dass wir dafür erst riesige Datenmengen von Hand sammeln müssen.

Kurz gesagt: Die Forscher haben bewiesen, dass moderne KI (wie ChatGPT) auch in schwierigen Sprachen und bei schwierigen Themen wie Migration die "Meinungs-Lage" in Zeitungen sehr gut messen kann – schneller, billiger und fast genauso genau wie menschliche Experten.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der automatisierten Stance Detection (Erkennung der Meinungsposition) in zwei spezifisch schwierigen Kontexten:

• Sprachliche Komplexität: Die Anwendung auf eine „Low-Resource"-Sprache (Estnisch), die morphologisch komplex ist und über weniger annotierte Trainingsdaten und NLP-Ressourcen verfügt als große Sprachen wie Englisch.
• Thematische Komplexität: Die Analyse eines hochpolarisierenden und soziokulturell komplexen Themas – Immigration. Im Gegensatz zur reinen Sentiment-Analyse (positiv/negativ) erfordert die Stance Detection die Zuordnung zu einem spezifischen Ziel (hier: Immigration) und muss Nuancen wie Ironie, implizite Meinungen, Zitate und kontextabhängige Aussagen („Dog Whistles") erkennen.

Herausforderungen bestehen darin, dass herkömmliche Methoden oft auf großen, annotierten Datensätzen basieren, die für kleinere Sprachen fehlen, und dass die Unterscheidung zwischen neutralen Fakten und impliziten Meinungen für menschliche Annotatoren und Maschinen gleichermaßen schwierig ist.

2. Methodik

Datensatz und Vorverarbeitung:

• Korpus: Das Forschungsprojekt analysierte Nachrichtenartikel von 2015 bis April 2022 aus zwei Quellen: einer Mainstream-Mediengruppe (Ekspress Grupp, inkl. Portal Delfi) und einem rechtsradikalen populistischen Online-Portal (Uued Uudised).
• Einheit der Analyse: Statt ganzer Artikel wurden Sätze als Analyse-Einheit gewählt, um eine feinere Granularität zu erreichen und die Eingabelänge für Transformer-Modelle (BERT-Architektur) zu optimieren.
• Extraktion: Es wurden 8.000 Sätze extrahiert, die durch ein Regex-basiertes Schlüsselwort-Dictionary (Themen: Migration, Flüchtlinge, Fremdarbeiter, Rassismus, Multikulturalismus etc.) gefiltert wurden. Unklare oder nicht relevante Sätze (z. B. Vogelzug) wurden entfernt.
• Annotation: Zwei muttersprachliche Annotatoren markierten 7.345 Sätze auf einer Skala von 1 bis 5 (von „gegen" bis „für" Immigration). Die Labels wurden in vier Klassen aggregiert: Against (1-2), Neutral (3), Supportive (4-5) und Ambiguous (ausgeschlossen). Die Inter-Rater-Übereinstimmung (Cohen's Kappa) war für die Extremklassen sehr hoch (0,97), bei der Neutral-Klasse moderat (ca. 0,66).

Modellansätze:

1. Supervised Learning (Feinabstimmung): Mehrere vortrainierte Large Language Models (LLMs) wurden auf dem annotierten Datensatz feinabgestimmt (Fine-Tuning):
   • Multilingual: mBERT, XLM-RoBERTa.
   • Monolingual (Estnisch): EstBERT, Est-RoBERTa.
   • Die Modelle wurden mit 5-Fold-Cross-Validation evaluiert.
2. Zero-Shot Learning (Prompt-Based): Es wurde ChatGPT (GPT-3.5) als instructable Zero-Shot-Klassifikator getestet. Der Prompt enthielt detaillierte Definitionen der Klassen und forderte eine Ausgabe ohne Erklärung.
3. Vergleichsmodell: Ein auf einem existierenden estnischen Sentiment-Datensatz feinabgestimmtes Modell wurde als Baseline herangezogen, um den Unterschied zwischen Sentiment- und Stance-Analyse zu verdeutlichen.

3. Wichtige Beiträge

• Proof of Concept für Low-Resource-Sprachen: Das Paper demonstriert, dass automatisierte Stance Detection auch in morphologisch komplexen, kleineren Sprachen (Estnisch) mit begrenzten Ressourcen erfolgreich durchgeführt werden kann.
• Open-Source-Datensatz: Die Autoren stellen den annotierten Datensatz von 7.345 Sätzen der Community zur Verfügung, was für die estnische NLP-Forschung und Transfer-Learning-Studien wertvoll ist.
• Vergleich Supervised vs. Zero-Shot: Ein zentraler Beitrag ist der direkte Vergleich zwischen traditionellem Fine-Tuning und dem Einsatz von ChatGPT als Zero-Shot-Klassifikator.
• Qualitative Fehleranalyse: Das Paper bietet eine tiefgehende Analyse der Fehlerquellen, insbesondere bei Sarkasmus, Kontextabhängigkeit (z. B. Zitate Dritter) und der Unterscheidung zwischen Neutralität und Ambiguität.
• Diachrone Analyse: Anwendung des besten Modells auf das gesamte Korpus, um Trends über 7 Jahre hinweg in Bezug auf reale Ereignisse (Wahlen, UN-Migrationspakt, Ukraine-Krieg) zu untersuchen.

4. Ergebnisse

Modellleistung:

• Das am besten performende Modell war Est-RoBERTa mit einem Macro-F1-Score von 0,66.
• ChatGPT (Zero-Shot) erzielte mit einem Score von 0,65 fast identische Ergebnisse wie das feinabgestimmte Modell. Dies zeigt, dass Zero-Shot-Learning eine kostengünstige und effiziente Alternative für Low-Resource-Szenarien darstellt.
• Alle Modelle klassifizierten die Klasse Against (Gegen) besser als Supportive (Für). Die Verwechslungen traten hauptsächlich zwischen Neutral und den Extremklassen auf, nicht jedoch zwischen den beiden Extremen (Against vs. Supportive), was als positives Ergebnis gewertet wird.
• Das auf Sentiment-Daten trainierte Modell schnitt deutlich schlechter ab (F1 0,49), was die Notwendigkeit einer spezifischen Stance-Annotation unterstreicht.

Analyse der Medienlandschaft:

• Polarisierung: Uued Uudised zeigte eine durchgängig starke Against-Haltung gegenüber Immigration, während Ekspress Grupp überwiegend neutral blieb.
• Ereignisbezug: Es wurden signifikante Verschiebungen in den Stances identifiziert, die mit realen Ereignissen korrelieren:
  • Zunahme der Against-Rhetorik während der Diskussionen zum UN-Migrationspakt (2018/2019) und den estnischen Wahlen (2019).
  • Ein Anstieg der Supportive-Haltung in beiden Medien bei Beginn des russischen Krieges gegen die Ukraine (2022), wobei der Anstieg bei Ekspress Grupp deutlich stärker war als bei Uued Uudised.
• Ähnlichkeitsanalyse: Die Berechnung der Cosine-Similarities der Sätze zeigte Spitzen in der Ähnlichkeit der Rhetorik zwischen den Medienquellen zu den Zeitpunkten der oben genannten Ereignisse.

5. Bedeutung und Ausblick

Das Paper belegt, dass automatisierte Stance Detection ein praktikables Werkzeug für das Media Monitoring und die Analyse von Medienpolarisierung ist, auch in kleineren Sprachen.

• Praktische Relevanz: Für Medienorganisationen bietet die Methode die Möglichkeit, die Balance ihrer Berichterstattung objektiv zu messen und Bias zu erkennen.
• Zukunft der NLP: Die vergleichbare Leistung von ChatGPT im Zero-Shot-Modus deutet darauf hin, dass die Notwendigkeit für teure, manuelle Annotationen für spezifische Themen in Zukunft sinken könnte. Dies macht fortgeschrittene NLP-Analysen auch für Forscher mit begrenzten Ressourcen zugänglicher.
• Limitationen: Die Genauigkeit hängt stark von der Qualität der Annotationen ab. Herausforderungen wie Sarkasmus, implizite Meinungen und die Wahl der Analyse-Einheit (Satz vs. Absatz) bleiben bestehen. Zudem ist die Reproduzierbarkeit von Zero-Shot-Modellen (wie ChatGPT) aufgrund von Modell-Updates und stochastischen Prozessen erschwert.

Zusammenfassend liefert das Paper einen robusten Rahmen für die Analyse politischer Diskurse in polarisierten Medienumgebungen und zeigt, dass moderne LLMs (sowohl feinabgestimmt als auch Zero-Shot) komplexe soziopolitische Themen in ressourcenarmen Sprachen effektiv verarbeiten können.