💬 NLP

Zero-Shot Stance Detection in the Wild: Dynamic Target Generation and Multi-Target Adaptation

Dieses Paper schlägt eine neuartige Zero-Shot-Stance-Detection-Aufgabe namens DGTA vor, die mehrere dynamische Ziele und deren Haltungen ohne Vorwissen identifiziert und zeigt, dass feinabgestimmte große Sprachmodelle, insbesondere durch Zwei-Stufen- und integrierte Strategien, eine überlegene Leistung auf einem neu konstruierten chinesischen Social-Media-Datensatz erzielen.

Ursprüngliche Autoren: Aohua Li, Yuanshuo Zhang, Ge Gao, Bo Chen, Xiaobing Zhao

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aohua Li, Yuanshuo Zhang, Ge Gao, Bo Chen, Xiaobing Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch einen belebten, chaotischen Marktplatz (wie einen Social-Media-Feed). In diesem Markt schreien Menschen ihre Meinungen zu allem heraus: Politiker, neue Telefone, Sportteams und abstrakte Ideen wie „Freiheit“ oder „unternehmerische Gier“.

Das Problem: Der „blinde“ Detektiv
Traditionelle Computerprogramme, die darauf ausgelegt sind, diese Meinungen zu verstehen (genannt Stance Detection), sind wie Detektive, die nur arbeiten, wenn ihnen ein spezielles „Steckbrief“-Poster vorgelegt wird. Wenn man ihnen sagt: „Finde heraus, was die Leute über Tesla denken“, können sie das sehr gut machen. Aber wenn jemand herankommt und sagt: „Tesla ist großartig, aber BYD ist besser und NIO ist etwas seltsam“, erstarren die traditionellen Detektive. Sie wissen nicht, dass sie nach BYD oder NIO suchen müssen, weil diese nicht auf der ursprünglichen Liste standen. Sie sind darauf angewiesen, auf ein vordefiniertes Ziel zu warten.

Die Lösung: Der „wilde“ Detektiv
Die Autoren dieser Arbeit schlagen eine neue Art von Detektiv vor: das DGTA-Modell (Dynamic Target Generation and Multi-Target Adaptation). Anstatt ein „Steckbrief“-Poster zu benötigen, wird dieser Detektiv darauf trainiert, in den wilden Marktplatz zu gehen, dem Geplapper zuzuhören und zu sagen:

„Hey, ich höre jemanden über Tesla sprechen.“
„Oh, und sie erwähnen auch BYD.“
„Und NIO auch.“
„Nun, lass mich herausfinden, ob sie ihn/sie jeweils mögen oder nicht.“

Dies wird Zero-Shot Stance Detection in the Wild genannt. Der Computer muss die Liste der Ziele spontan selbst erstellen und die Meinung für jedes einzelne Ziel gleichzeitig herausfinden.

Wie sie den Trainingsplatz aufgebaut haben
Um diesen neuen Detektiv zu trainieren, konnten die Forscher nicht einfach alte Lehrbücher verwenden. Sie mussten einen massiven, neuen Trainingsplatz unter Verwendung echter chinesischer Social-Media-Posts (Weibo) aufbauen.

Die Menge: Sie sammelten über 125.000 Posts von 240 verschiedenen Nutzern.
Die Reinigung: Sie entfernten Emojis, Links und Benutzernamen, um nur den reinen Text übrig zu lassen.
Die Lehrer: Sie haben nicht einfach nur einen Menschen engagiert, um die Daten zu kennzeichnen. Sie nutzten ein „Komitee“ aus drei verschiedenen KI-Modellen, um die Posts zu labeln. Wenn zwei von drei Modellen sich einig waren, worum es als Ziel ging und wie die Meinung war, behielten sie den Post. Wenn sie sich uneinig waren, warfen sie ihn raus. Dann überprüften menschliche Experten die Arbeit doppelt.
Das Ergebnis: Ein hochwertiger Datensatz von etwa 71.000 Posts, der alles abdeckt – von Beschwerden über ein einzelnes Ziel bis hin zu komplexen Argumenten, die drei oder vier verschiedene Themen in einem einzigen Satz beinhalten.

Die Trainingsmethoden: Ein-Schritt- vs. Zwei-Schritt-Strategie
Die Forscher probierten zwei verschiedene Wege aus, um ihre „Large Language Models“ (superintelligente KI-Gehirne) für diese Aufgabe zu trainieren:

Der „Alles-in-einem“-Koch (Integrierte Strategie): Diesem Modell wird gesagt: „Lies diesen Text, finde alle Ziele und sage mir die Meinung für jedes einzelne, alles in einem Arbeitsgang.“ Es ist wie ein Koch, der Zutaten hackt, kocht und anrichtet, und das alles gleichzeitig.
Das Fließband (Zwei-Stufen-Strategie): Dies teilt die Aufgabe auf.
- Station 1: Ein Modell liest den Text und listet nur die Ziele auf (wie ein Scanner, der Barcodes liest).
- Station 2: Ein anderes Modell nimmt diese Liste und den Originaltext und entscheidet, ob die Meinung positiv, negativ oder neutral ist. Es ist, als hätte man eine Person, die die Zutaten findet, und eine zweite Person, die sie kocht.

Die Ergebnisse: Wer hat gewonnen?
Sie testeten diese Modelle gegen ältere, einfachere Programme und Modelle, die lediglich ohne spezielles Training (nur durch Prompting) arbeiteten.

Die Gewinner: Die speziell trainierten (feingetunten) KI-Modelle deklassierten die Konkurrenz.
Der „Alles-in-einem“-Gewinner: Ein Modell namens DeepSeek-R1 (das darauf trainiert wurde, vor der Antwort zu „denken“) war am besten darin, die Meinungen zu erfassen. Es erreichte eine Genauigkeit von 79,26 %.
Der „Zwei-Schritte“-Gewinner: Ein Modell namens Qwen2.5 war am besten darin, nur die Ziele zu finden, und erreichte 66,99 %.
Die Lehre: Das gezielte Training der KI für diese unordentliche, reale Aufgabe machte sie viel besser als bloße allgemeine Anweisungen. Zudem zeigten Modelle, die darauf trainiert wurden zu „reasonen“ (schrittweise zu denken), bessere Leistungen als jene, die nur geraten haben.

Die Herausforderungen (Wo der Detektiv stolpert)
Selbst die besten Modelle hatten in bestimmten Situationen Schwierigkeiten:

Zu viele Ziele: Wenn ein Satz drei oder vier verschiedene Themen enthielt, wurden die Modelle verwirrt und begannen, diese zu vermischen.
Verborgene Bedeutungen: Wenn jemand Sarkasmus oder eine Metapher verwendete (wie zum Beispiel „Apple heiratet eine Kuhhüterin“, um eine schlechte Partnerschaft auszudrücken), übersahen die Modelle manchmal den negativen Unterton und stuften ihn als neutral ein.
Vage Ziele: Wenn das Ziel kein klarer Name (wie „Trump“) war, sondern eine abstrakte Idee (wie „die Ungerechtigkeit des Systems“), hatten die Modelle Schwierigkeiten, dies exakt festzulegen, obwohl sie gut darin waren, zu erkennen, dass über etwas diskutiert wurde.

Zusammenfassend
Diese Arbeit führt eine neue Art und Weise ein, wie Computer lernen können, Social-Media-Argumente zu verstehen, ohne dass eine vorgefertigte Liste von Themen nötig ist. Durch den Aufbau eines massiven, sorgfältig geprüften Datensatzes und das Training von KI-Modellen, die entweder „alles durchdenken“ oder „auf einem Fließband arbeiten“, haben sie ein System geschaffen, das automatisch erkennen kann, über wen die Menschen sprechen und was sie über sie denken – selbst in der chaotischen, unvorhersehbaren „Wildnis“ des Internets.

Technisches Resümee: Zero-Shot Stance Detection in the Wild mit Dynamischer Zielgenerierung und Multi-Target-Adaption (DGTA)

1. Problemdefinition

Die aktuelle Forschung zur Haltungserkennung (Stance Detection) operiert überwiegend unter einer beschränkten Umgebung, in der Ziele vordefiniert, statisch und vor der Inferenz bekannt sind. Die Realität in sozialen Medien ist jedoch komplexer: Ziele sind weder vordefiniert noch statisch. Sie sind dynamisch, oft mehrfach pro Text vorhanden und können implizit oder abstrakt sein (z. B. spezifische Ereignisse, Handlungen oder konzeptionelle Zustände). Bestehende Ansätze, wie die unüberwachte Zieladaption oder Aufgaben zur Extraktion einzelner Ziele, verlassen sich auf Kandidatenlisten für Ziele oder scheitern an der gleichzeitigen Identifizierung mehrerer unbekannter Ziele innerhalb eines einzelnen Beitrags.

Um diese Lücke zu schließen, schlagen die Autoren eine neue Aufgabe vor: Zero-Shot Stance Detection in the Wild mit Dynamischer Zielgenerierung und Multi-Target-Adaption (DGTA). Diese Aufgabe erfordert von einem Modell, dass es:

Automatisch alle Haltungsziele in einem Text identifiziert, ohne Vorabwissen über den Ziel-Labelraum zu besitzen.
Die Haltung (Unterstützung, Gegen oder Neutral) für jedes identifizierte Ziel bestimmt.
Ein Set aus dynamischen Ziel-Haltungs-Paaren ausgibt und dabei eine variable Anzahl von Zielen pro Instanz handhabt.

2. Methodik

2.1 Datensatzkonstruktion

Die Autoren erstellten einen hochwertigen, multidomänen-basierten chinesischen Datensatz zur Haltungserkennung in sozialen Medien, der 70.931 annotierte Stichproben umfasst.

Datenerhebung: Die Beiträge wurden von 240 verschiedenen Weibo-Nutzern gesammelt, was zu einem ursprünglichen Pool von 125.176 Einträgen führte.
Annotierungspipeline: Ein strenger Workflow wurde unter Einsatz folgender Methoden angewandt:
- Kollaborative LLM-Annotation: Drei gängige LLMs (GLM4-9B, Qwen2.5-7B, Llama3-8B) führten eine kaskadierte Zielidentifizierung und Haltungsbestimmung durch.
- Kreuzvalidierung: Proben wurden nur akzeptiert, wenn mindestens zwei Modelle sowohl beim Ziel-Entität als auch bei der Haltung übereinstimmten.
- Bewertung und Korrektur: Ein sekundäres Modell (DeepSeek-V3) bewertete die validen Stichproben, wobei niedrig bewertete Instanzen zur Überprüfung markiert wurden.
- Menschliche Verifizierung: Acht professionelle Annotatoren verifizierten alle automatisch annotierten Stichproben.
- Bereinigung: 36.379 qualitativ minderwertige Texte (die logische Widersprüche oder mehrdeutige Referenzen enthielten) wurden entfernt.
Statistik: Der Datensatz deckt Szenarien mit einem Ziel, zwei Zielen, drei Zielen und Multi-Ziel-Szenarien (>3) ab, mit einer diversen Verteilung der Haltungen.

2.2 Evaluierungsmetriken

In Anerkennung der Tatsache, dass traditionelle Metriken für die offene Zielgenerierung versagen, entwarfen die Autoren ein multidimensionales Evaluierungs-Framework:

Zielidentifikation: Ein umfassender Score (C-Score), der semantische Ähnlichkeit und Oberflächen-Matching kombiniert:
$C\text{-Score} = (\alpha \times \text{BERTScore} + \beta \times \text{BLEU} + \gamma \times \text{ROUGE-L}) \times \text{Recall}$
(Gewichtung: $\alpha=0,6, \beta=0,2, \gamma=0,2$ ).
Haltungsdetektion: Evaluierung nur auf Stichproben, bei denen die Metriken der Zielidentifikation bestimmte Schwellenwerte überschritten (z. B. C-Score $\ge 0,3$ ), unter Verwendung der Standardwerte für Precision, Recall und F1-Score.

2.3 Fine-Tuning Strategien

Die Autoren untersuchten zwei unterschiedliche Strategien für das Fine-Tuning von Large Language Models (LLMs) mittels LoRA:

Integriertes Fine-Tuning: Ein End-to-End-Ansatz, bei dem das Modell die Anweisung erhält, Ziele und Haltungen gleichzeitig zu identifizieren und eine Sequenz von Ziel-Haltungs-Paaren auszugeben.
Zweistufiges Fine-Tuning: Ein entkoppelter Ansatz, bei dem:
- Stufe 1: Ein Modell ausschließlich für die Zielidentifikation feinjustiert wird.
- Stufe 2: Ein separates Modell darauf feinjustiert wird, die Haltungen basierend auf dem Text und den in Stufe 1 identifizierten Zielen zu klassifizieren.

3. Kernbeiträge

Aufgabenvorschlag: Definition der DGTA-Aufgabe, die die kritische Lücke der Zero-Shot Stance Detection in Open-World-Szenarien mit dynamischer Multi-Target-Generierung adressiert.
Datensatz: Veröffentlichung des ersten hochwertigen chinesischen Multi-Domain-Datensatzes zur Haltungserkennung in sozialen Medien, speziell für diese Aufgabe, mit strenger Multi-LLM- und menschlicher Verifizierung.
Evaluierungs-Framework: Einführung vereinheitlichter, umfassender Metriken (C-Score), die sowohl die semantische Genauigkeit der generierten Ziele als auch die Korrektheit der Haltungs-Klassifizierung berücksichtigen.
Methodologische Baselines: Etablierung starker Baselines durch den Vergleich von integrierten und zweistufigen Fine-Tuning-Strategien gegenüber vortrainierten Modellen und instruktionsgesteuerten LLMs.

4. Experimentelle Ergebnisse

Die Experimente wurden auf einem geschichteten Testset unter Verwendung verschiedener Modelle durchgeführt, darunter feinjustierte vortrainierte Modelle (mT5, BERT, RoBERTa), instruktionsgesteuerte LLMs (GPT-4o, DeepSeek-V3, GLM4-9B, Llama3-8B) und feinjustierte LLMs (Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B).

Wichtigste Erkenntnisse:

Überlegenheit von feinjustierten LLMs: Feinjustierte LLMs übertrafen sowohl vortrainierte Modelle als auch Zero-Shot-Prompted LLMs signifikant.
- Zielidentifikation: Das zweistufig feinjustierte Qwen2.5-7B erreichte den höchsten umfassenden Wert für die Zielerkennung (66,99 %).
- Haltungsdetektion: Das integrierte feinjustierte DeepSeek-R1-Distill-Qwen-7B erreichte den höchsten F1-Score für die Haltungsdetektion (79,26 %).
Strategievergleich:
- Der zweistufige Ansatz zeigte Vorteile bei der Zielidentifikation, was wahrscheinlich auf das fokussierte Lernen der Entitätsextraktion zurückzuführen ist.
- Der integrierte Ansatz war überlegen bei der Haltungsdetektion, was darauf hindeutet, dass die gemeinsame Modellierung von Ziel-Haltungs-Beziehungen das Reasoning in komplexen semantischen Kontexten verbessert.
Reasoning-Fähigkeiten: Modelle mit Reasoning-Fähigkeiten (z. B. DeepSeek-R1) schnitten generell besser ab als solche ohne und erreichten eine höhere Präzision bei der Identifizierung impliziter Ziele und nuancierter Haltungen.
Chain-of-Thought (CoT): Die Einführung von CoT im Prompting verbesserte die Leistung über alle getesteten LLMs hinweg, insbesondere bei GLM4-9B (C-Score +7 %) und Qswen2.5-7B (F1 +4 %).
Zielkomplexität: Die Leistung sank mit zunehmender Anzahl der Ziele. Texte mit zwei Zielen lieferten die beste semantische Ausrichtung, während Texte mit vielen Zielen (>3) aufgrund semantischer Komplexität und überlappender Referenzen deutliche Einbußen beim C-Score zeigten.
Explizit vs. Implizit: Modelle schnitten bei expliziten Zielen signifikant besser ab. Implizite Ziele (abstrakte Konzepte) zeigten einen höheren Recall, aber eine geringere Präzision, was die Herausforderung bei der Definition semantischer Grenzen verdeutlicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass das vorgeschlagene DGTA-Framework und der Datensatz eine notwendige Grundlage bilden, um die Haltungserkennung von kontrollierten, vordefinierten Settings hin zur "Wildnis" realer sozialer Medien voranzutreiben. Durch den Nachweis, dass feinjustierte LLMs dynamische Zielgenerierung und Multi-Target-Adaption effektiv handhaben können, etabliert die Arbeit eine robuste Baseline für die zukünftige Forschung. Die Autoren betonen, dass ihr Ansatz die Einschränkungen bisheriger Methoden adressiert, die auf vordefinierten Ziellisten basieren, und somit ermöglicht, dass Modelle in Szenarien operieren, in denen Ziele unbekannt, implizit und zahlreich sind. Die Verfügbarkeit des Datensatzes und der Modelle soll die weitere Erforschung der Open-World-Haltungserkennung erleichtern.