💬 NLP

A New Semisupervised Technique for Polarity Analysis using Masked Language Models

Dieser Beitrag stellt eine verbesserte semisupervisierte Technik zur Polarisationsanalyse vor, die word2vec als Masked Language Model nutzt, um genauere und interpretierbarere probabilistische Polaritätswerte zuzuweisen, und demonstriert ihre Überlegenheit gegenüber traditionellen räumlichen Modellen durch eine Analyse der COVID-19-Berichterstattung von China Daily.

Ursprüngliche Autoren: Kohei Watanabe

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kohei Watanabe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die „Stimmung" oder den „Fokus" Tausender Nachrichtenartikel zu verstehen. Klingen sie stolz? Klingen sie besorgt? Sprechen sie über Erfolg oder Misserfolg?

Lange Zeit hatten Forscher zwei Hauptmethoden, um dies zu tun:

Die Wörterbuch-Methode: Sie erstellen eine riesige Liste von „guten" und „schlechten" Wörtern. Wenn ein Artikel viele Wörter aus Ihrer Liste verwendet, erhält er eine hohe Punktzahl. Problem: Sie benötigen eine massive, perfekte Liste, um gute Ergebnisse zu erzielen, und das Erstellen dieser Liste dauert ewig.
Die alte Computer-Methode (Räumliche Modelle): Sie lehren einen Computer, Wörter basierend darauf zu gruppieren, wie oft sie gemeinsam auftreten. Wenn „gewinnen" und „Sieg" nahe beieinander erscheinen, denkt der Computer, sie seien enge Freunde. Er rät dann die Stimmung eines Artikels basierend darauf, wie „nah" die Wörter in diesem Artikel zu Ihren startenden „Seed"-Wörtern sind. Problem: Diese Methode ist oft unübersichtlich, schwer zu interpretieren und sehr empfindlich gegenüber den gewählten Startwörtern.

Die neue Idee: Ein „Lückentext"-Spiel

Der Autor, Kohei Watanabe, schlägt einen neuen, intelligenteren Weg vor, dies mit einer Technik namens Latent Semantic Scaling (LSS) zu tun, jedoch verbessert durch ein Werkzeug namens word2vec.

Stellen Sie sich die alte Methode wie eine Karte vor. Sie setzen einen Pin auf „Erfolg" und einen anderen auf „Misserfolg". Der Computer misst, wie weit jedes andere Wort von diesen Pins entfernt ist. Wenn ein Wort genau in der Mitte liegt, ist es neutral. Aber Karten können tückisch sein; wenn Sie die Pins leicht verschieben, ändert sich die gesamte Karte, und die Entfernungen ergeben nicht immer Sinn.

Die neue Methode ist eher wie ein Spiel „Mad Libs" oder „Lückentext".

Anstatt Entfernungen auf einer Karte zu messen, spielt der Computer ein Ratespiel. Er betrachtet einen Satz und fragt: „Wenn ich das Wort ‚Erfolg' hier verstecke, wie wahrscheinlich ist es, dass dieses Wort hier passt?"

Die Seed-Wörter: Sie geben dem Computer einige Startwörter (Seeds), wie „gewinnen", „Ziel" oder „Meister".
Das Spiel: Der Computer liest die Nachrichtenartikel und versucht vorherzusagen, ob diese Seed-Wörter natürlich im Kontext anderer Wörter erscheinen würden.
Die Punktzahl: Wenn der Computer sehr zuversichtlich ist, dass „Sieg" passt, wo „Erfolg" versteckt war, gibt er „Sieg" eine hohe „Polaritätspunktzahl" (eine Punktzahl dafür, wie stark es sich auf das Konzept bezieht).

Warum ist das besser?

Es ist eine Wahrscheinlichkeit, keine Entfernung: Anstatt zu sagen „dieses Wort ist 5 Meilen von Erfolg entfernt", sagt der Computer: „Es besteht eine 90%ige Wahrscheinlichkeit, dass dieses Wort in einen Satz über Erfolg gehört." Das ist viel einfacher zu verstehen und zu vergleichen.
Es ist weniger wählerisch: Bei der alten „Karten"-Methode mussten Ihre Startwörter die extremsten Beispiele sein (wie „Triumph" statt nur „gewinnen"). Bei diesem neuen „Ratespiel" können Sie gemäßigtere Wörter verwenden, und der Computer findet die extremen Begriffe trotzdem selbstständig heraus.
Es korrigiert sich selbst: Der Computer hat eine eingebaute „Wertungstabelle" namens Perplexität. Denken Sie daran wie an eine Testnote. Wenn der Computer gut darin ist, Wörter vorherzusagen, ist seine „Perplexitäts"-Punktzahl niedrig (er ist nicht verwirrt). Wenn er schlecht ist, ist die Punktzahl hoch. Dies ermöglicht es Forschern, die Einstellungen des Computers automatisch zu optimieren, um die besten Ergebnisse zu erzielen, ohne dass ein Mensch jede Antwort überprüfen muss.

Der Test: China Daily und die Pandemie

Um zu beweisen, dass dies funktioniert, testete der Autor dies an China Daily, einer von der chinesischen Regierung kontrollierten Zeitung, während der COVID-19-Pandemie.

Das Ziel: Sehen, wie die Zeitung über „Erfolge" und „Gesundheit" in Bezug auf China im Vergleich zu anderen Ländern sprach.
Der Vergleich: Der Autor verglich die neue „Ratespiel"-Methode mit der alten „Karten"-Methode und einem riesigen, manuell erstellten Wörterbuch.
Das Ergebnis: Die neue Methode war die Gewinnerin. Sie passte besser zum riesigen Wörterbuch als die alte Computer-Methode. Sie war auch konsistenter; unabhängig davon, welche Startwörter gewählt wurden, blieben die Ergebnisse zuverlässig.

Was die Analyse fand

Mit diesem neuen Werkzeug fand der Autor einige interessante Muster in den Nachrichten:

Gesundheitsfokus: Zu Beginn der Pandemie (Anfang 2020) konzentrierte sich die Zeitung stark auf Gesundheitsfragen innerhalb Chinas. Mit der Zeit verlagerte sich der Fokus darauf, über Gesundheitsprobleme in anderen Ländern zu sprechen.
Erfolgsschwerpunkt: Der Stolz der Zeitung auf Chinas „Erfolge" schwankte zu Beginn der Krise, wurde aber bis Ende 2023 wieder stärker.
Der „Sweet Spot": Als der Autor diese beiden Ideen kombinierte (Erfolg + Gesundheit), klang die Zeitung nur zu zwei spezifischen Zeitpunkten wirklich stolz auf Chinas Gesundheitsleistungen: direkt zu Beginn der Krise und direkt nach dem Ende der strengen Lockdowns Ende 2022. Dies deutet darauf hin, dass die Regierung versuchte, das Ende der Lockdowns als Erfolgsgeschichte zu rahmen.

Das Fazit

Diese Arbeit stellt eine neue Methode vor, mit der Computer Texte lesen, die mehr einem menschlichen Ratespiel und weniger einer starren Karte ähneln. Sie ist genauer, leichter zu verstehen und erfordert weniger manuelle Arbeit zur Einrichtung. Sie zeigt, dass wir durch die Verwendung dieser „maskierten Sprachmodelle" (die Lückentext-Spiele) klarere, objektivere Einblicke darin gewinnen können, wie Medien verschiedene Themen darstellen.

1. Problemstellung

Die Polaritätsanalyse (Messung der Betonung oder Sentiment eines Textes gegenüber einem spezifischen Konzept) ist in der Sozial- und Kommunikationsforschung von entscheidender Bedeutung. Bestehende Methoden weisen erhebliche Einschränkungen auf:

Schlüsselwortabgleich: Erfordert umfangreiche, manuell kuratierte Wörterbücher, die für Nischendomänen oder spezifische Sprachen oft nicht verfügbar sind.
Überwachtes maschinelles Lernen: Benötigt große, annotierte Korpora, deren Erstellung kostspielig und zeitaufwendig ist.
Unüberwachtes maschinelles Lernen: Scheitert häufig daran, vordefinierte theoretische Konzepte ohne Anleitung zu erfassen.
Bestehende semisupervisierte Methoden (Latent Semantic Scaling – LSS): Das ursprüngliche LSS basiert auf raumgeometrischer Modellierung (Verwendung der Singulärwertzerlegung oder SVD zur Erzeugung von Wortvektoren). Dieser Ansatz weist vier kritische Mängel auf:
1. Hoher Messfehler: Dokumentenwerte weisen häufig große Fehler auf, es sei denn, sie werden durch andere Variablen aggregiert.
2. Mangelnde Interpretierbarkeit: Werte sind innerhalb eines semantischen Raums relativ und haben keine substantielle Bedeutung (z. B. können sie in unipolaren Modellen negativ sein).
3. Empfindlichkeit gegenüber Startwörtern: Startwörter müssen „extrem" (hoch polarisiert) sein, um einen nützlichen Wertebereich zu erzeugen; moderate Startwörter liefern keine aussagekräftigen Ergebnisse.
4. Optimierungsschwierigkeiten: Hyperparameter (wie die Vektorgöße) können nicht leicht optimiert werden, da der zugrundeliegende Algorithmus (SVD) keine Standard-Metrik für die Anpassungsgüte wie die Perplexität besitzt.

2. Methodik

Der Autor schlägt eine neue Version des Latent Semantic Scaling (LSS) vor, die die raumgeometrische Modellierung durch eine probabilistische Modellierung unter Verwendung von word2vec als maskiertes Sprachmodell ersetzt.

Kernalgorithmischer Wandel

Von Raumgeometrie zu Wahrscheinlichkeit:
- Original (Raumgeometrisch): Berechnet die Polarität basierend auf der Kosinusähnlichkeit zwischen dem Vektor eines Wortes und den Vektoren der Startwörter.
- Vorgeschlagen (Probabilistisch): Berechnet die Polarität als die vorhergesagte Wahrscheinlichkeit, dass ein Startwort im Kontext eines Zielwortes auftritt.
Modellarchitektur:
- Nutzt word2vec (insbesondere die Algorithmen Skip-gram und Continuous Bag-of-Words), das auf dem Zielkorpus trainiert wurde.
- Im Gegensatz zur Standardnutzung von word2vec (die nur die Gewichte der Eingabeschicht $V$ für Vektoren verwendet), nutzt diese Methode sowohl die Gewichte der Eingabeschicht ( $V$ ) als auch die Gewichte der Ausgabeschicht ( $W$ ), um die Wahrscheinlichkeit $q_{ij}$ eines Zielwortes $j$ gegeben ein Kontextwort $i$ zu berechnen.
- Die Wahrscheinlichkeit wird über eine Sigmoid-Funktion berechnet: $q_{ij} = \text{sigmoid}(\sum H_k W_{jk})$ .
Polaritätsschätzung:
- Der Polaritätswert eines Wortes ( $\hat{g}_i$ ) ist der gewichtete Durchschnitt der Wahrscheinlichkeiten, dass die Startwörter im Kontext dieses Wortes auftreten.
- Vorteil: Dies ermöglicht dem Modell, extreme Polaritätswerte für relevante Wörter zuzuweisen, selbst wenn die Startwörter selbst nicht „extrem" sind, wodurch die Empfindlichkeit gegenüber der Auswahl der Startwörter durch den Benutzer verringert wird.
Optimierung:
- Da das Modell probabilistisch ist, kann die Perplexität (Kreuzentropie zwischen vorhergesagten Wahrscheinlichkeiten und beobachteten Häufigkeiten) zur Optimierung von Hyperparametern (z. B. Vektordimension, Trainingsalgorithmus) verwendet werden, ohne dass ein „Goldstandard"-annotierter Datensatz erforderlich ist.

Evaluationsdesign

Korpus: 91.709 englische Artikel von China Daily (2019–2023) zur COVID-19-Pandemie.
Zielkonzepte: „Erfolg" (Achievement) und „Gesundheit" (Health).
Referenz: Vollständige LIWC-Wörterbücher (manuell kuratiert, enthalten ca. 200–300 Wörter pro Konzept).
Experimenteller Aufbau:
1. Zufällige Stichprobe von 10 Sätzen mit jeweils 10 unipolaren Startwörtern aus den LIWC-Wörterbüchern (Simulation unvollkommener Benutzereingaben).
2. Training von vier Modelltypen: Räumliches LSS (SVD), Räumliches LSS (word2vec), Probabilistisches LSS (word2vec) und Mini-Wörterbücher (nur Startwörter).
3. Korrelation der Modellausgaben mit den Werten der vollständigen LIWC-Wörterbücher.
4. Analyse der Beziehung zwischen Perplexität und Korrelationskoeffizienten.

3. Hauptbeiträge

Probabilistisches LSS-Framework: Einführung einer Methode, um LSS von einem raumgeometrischen Ähnlichkeitsmaß in ein probabilistisches Sprachmodell umzuwandeln, wodurch Werte als Wahrscheinlichkeiten (begrenzt auf 0–1) und nicht als willkürliche Vektorabstände interpretierbar werden.
Robustheit gegenüber der Auswahl von Startwörtern: Demonstration, dass probabilistische Modelle weniger empfindlich auf die „Extremheit" von Startwörtern reagieren. Sie können Ergebnisse erzielen, die mit großen Wörterbüchern vergleichbar sind, selbst bei moderat relevanten Startwörtern.
Optimierung von Hyperparametern: Bereitstellung eines Mechanismus zur Optimierung von Modellhyperparametern (wie der Vektorgöße) mittels Perplexitätswerten, wodurch eine wesentliche Einschränkung von SVD-basiertem LSS gelöst wird.
Open-Source-Implementierung: Die Methode ist in den R-Paketen LSX und wordvector implementiert, was Reproduzierbarkeit und Transparenz ohne Abhängigkeit von proprietären Black-Box-Modellen gewährleistet.

4. Ergebnisse

Leistungskorrelation:
- Word2vec-basierte probabilistische Modelle erzielten die stärkste Korrelation mit den vollständigen LIWC-Wörterbüchern ( $r=0,51$ für Erfolg, $r=0,66$ für Gesundheit).
- Das Training mit Skip-gram (SG) schnitt im Allgemeinen besser ab als Continuous Bag-of-Words (CBOW), obwohl die Lücke bei probabilistischen Modellen geringer war als bei raumgeometrischen.
- SVD-basierte Modelle schnitten am schlechtesten ab ( $r \approx 0,34–0,48$ ) und erzielten oft schlechtere Ergebnisse als einfache „Mini-Wörterbücher" (nur Startwörter).
Varianz und Zuverlässigkeit:
- Probabilistische Modelle zeigten die geringste Varianz der Korrelationskoeffizienten über verschiedene Stichproben von Startwörtern hinweg, was auf eine hohe Zuverlässigkeit hindeutet.
- Räumliche Modelle und SVD-Modelle wiesen eine hohe Varianz auf, was bedeutet, dass ihre Ergebnisse erheblich von den spezifisch gewählten Startwörtern schwankten.
Perplexität als Metrik:
- Es wurde ein starker negativer Zusammenhang zwischen Perplexität und Korrelation festgestellt. Niedrigere Perplexitätswerte sagten zuverlässig eine höhere Genauigkeit im Vergleich zur Referenz voraus und validierten die Perplexität als Werkzeug zur Modellauswahl in Abwesenheit von Ground Truth.
Fallstudie (China Daily):
- Das Modell identifizierte erfolgreich Verschiebungen in der Framing von China Daily. Es erkannte einen Wechsel von der Fokussierung auf Chinas Gesundheitsleistungen zu Beginn der Pandemie hin zu einer Fokussierung auf andere Länder später.
- Durch die Kombination der Werte für „Erfolg" und „Gesundheit" hob das Modell spezifische Zeiträume (Beginn und Ende der „Zero-COVID"-Politik) hervor, in denen die staatlichen Medien die strengen Lockdowns als Erfolg darstellten – eine Nuance, die bei der isolierten Analyse der Konzepte übersehen worden wäre.

5. Bedeutung

Methodologischer Fortschritt: Diese Studie schließt die Lücke zwischen traditioneller Wörterbuchanalyse und modernem Deep Learning. Sie bietet einen „Best-of-Both-Worlds"-Ansatz: die Interpretierbarkeit von Wörterbüchern (probabilistische Werte) mit der Automatisierung des maschinellen Lernens.
Zugänglichkeit für Forscher: Sie senkt die Hürden für semisupervisierte Textanalyse. Forscher benötigen keine massiven annotierten Datensätze oder perfekten Startwörter mehr; sie können kleine Startsätze verwenden und das Modell mittels Perplexität optimieren.
Transparenz: Durch die Verwendung einer transparenten, lokalen word2vec-Implementierung anstelle proprietärer Large Language Models (LLMs) stellt die Studie sicher, dass politikwissenschaftliche und kommunikationswissenschaftliche Forschung reproduzierbar bleibt und frei von den versteckten Verzerrungen kommerzieller KI-Modelle ist.
Zukunftspotenzial: Das Paper argumentiert, dass dieses probabilistische Framework auf komplexere maskierte Sprachmodelle (z. B. BERT, RoBERTa) erweitert werden kann, um die Erfassung nuancierter Konzepte in der Textanalyse weiter zu verbessern.