Contextualized Prompting For Stance Detection On Social Media
Diese Arbeit untersucht die Auswirkungen der Integration verschiedener kontextueller Merkmale in das Zero-Shot-Prompting für die Stance-Detection in sozialen Medien und zeigt auf, dass während von LLMs generierte Zielbeschreibungen die Leistung konsistent verbessern, andere reale Benutzer-Metadaten aufgrund von Input-Rauschen und der Schwierigkeit der Modelle, relevante Informationen zu filtern, oft gemischte oder sogar nachteilige Ergebnisse liefern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu erraten, was ein Fremder über ein bestimmtes Thema denkt, wie zum Beispiel „Sollten wir Masken tragen?“ oder „Macht dieser Politiker einen guten Job?“. Sie haben nur eine einzige, kurze Textnachricht von ihm. Das ist die Herausforderung der Stance Detection (Haltungserkennung) in sozialen Medien. Es ist so, als würde man versuchen, die Stimmung eines Menschen zu erraten, indem man nur einen einzigen Satz einer SMS liest, die er Ihnen geschickt hat. Es ist oft verwirrend, da die Nachricht sarkastisch, vage oder ohne entscheidenden Kontext sein kann.
Vor kurzem hatten wir Zugang zu superintelligenten KI-Assistenten (genannt Large Language Models oder LLMs), die sehr gut darin sind, so etwas zu erraten, ohne vorher spezifische Beispiele gelernt haben zu müssen. Normalerweise bitten wir diese KIs jedoch, die Nachricht in einem Vakuum zu betrachten, als würden sie sie in einem schallisolierten Raum lesen, ohne andere Informationen zur Verfügung zu haben.
Die Autoren dieser Arbeit stellten eine einfache Frage: „Was wäre, wenn wir der KI zusätzliche Hintergrundinformationen geben würden, wie einen ‚Spickzettel‘, um ihr zu helfen, die Nachricht besser zu verstehen?“
Sie testeten diese Idee, indem sie der KI verschiedene Arten von „Spickzetteln“ (Kontext) fütterten, bevor sie die KI baten, die Haltung zu erraten. Hier ist, was sie herausfanden, erklärt durch einfache Analogien:
Die „Spickzettel“, die sie getestet haben
- Die Bio des Nutzers (Die „Über mich“-Seite): Sie gaben der KI die Twitter-Biografie des Nutzers (z. B. „Ich liebe mein Land und Gott“).
- Andere Tweets des Nutzers (Die „Vergangenheit“): Sie zeigten der KI zehn andere aktuelle Tweets derselben Person.
- Die Zielbeschreibung (Der „Enzyklopädie-Eintrag“): Sie baten die KI, eine kurze, neutrale Zusammenfassung der Person oder Sache zu schreiben, über die diskutiert wird (z. B. „Dr. Fauci ist ein Arzt, der die Pandemiebekämpfung geleitet hat“).
- Der spezifische Kontext (Der „Szenenbildner“): Sie baten die KI, die spezifische Situation zu erklären, die in dem Tweet erwähnt wird (z. B. „Dieser Tweet handelt von der Debatte zwischen Maskenpflicht und Waffengesetzen“).
Die Ergebnisse: Was funktionierte und was nicht
Stellen Sie sich die KI wie einen Detektiv vor, der versucht, ein Rätsel zu lösen. Manchmal helfen zusätzliche Hinweise; manchmal erzeugen sie nur Rauschen.
1. Der „Enzyklopädie-Eintrag“ (Zielbeschreibung) war der Superheld 🌟
Der KI eine klare, neutrale Beschreibung dessen zu geben, wer oder was im Tweet angesprochen wird, machte die KI konsistent intelligenter.
- Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, ob jemand sich über ein „neues Auto“ freut. Wenn Sie nicht wissen, ob mit „neues Auto“ ein Luxussportwagen oder ein alter, kaputter Lkw gemeint ist, könnten Sie falsch liegen. Aber wenn Sie der KI sagen: „Das neue Auto ist ein brandneuer Ferrari“, wird die Antwort offensichtlich. Diese „Beschreibung“ half der KI, das Thema zu verstehen, was bei fast allen Tests zu besseren Vermutungen führte.
2. Die „Vergangenheit“ (Andere Tweets) war ein zweischneidiges Schwert ⚔️
In der traditionellen Informatik hilft es normalerweise, dem Nutzer seine vergangenen Beiträge zu zeigen. Aber hier verwirrte es die KI oft.
- Analogie: Stellen Sie sich vor, Sie bewerten einen einzelnen Satz, den eine Person gesagt hat: „Ich hasse das.“ Wenn Sie ihr dann auch noch zehn andere wütende Sätze zeigen, die sie gestern geschrieben hat, könnte die KI überfordert werden oder davon ausgehen, dass die Person immer wütend ist, selbst wenn dieser spezifische Satz neutral oder sarkastisch war. Der zusätzliche Text wirkte wie „Rauschen“, das die KI ablenkte und sie manchmal sogar schlechter darin machte, die spezifische Haltung des einzelnen Tweets zu erraten.
3. Die „Bio“ (Über mich) und der „Szenenbildner“ (Spezifischer Kontext) waren ein Glücksfall oder ein Fehlschlag 🎯
Manchmal halfen diese Informationen, aber oft taten sie es nicht.
- Analogie: Wenn die Bio eines Nutzers sagt „Ich liebe Sport“ und der Tweet von einem Spiel handelt, hilft das. Aber wenn der Tweet über Politik ist, ist diese Bio nutzlos. Die KI hatte Schwierigkeiten zu wissen, welche Hinweise wichtig waren und welche nur Hintergrundrauschen. Sie wurde oft durch Informationen verwirrt, die für die spezifische Frage gar nicht von Bedeutung waren.
Das große Fazit
Die Arbeit kommt zu dem Schluss, dass es zwar nach einer guten Idee klingt, einer KI mehr Informationen zu geben, dies aber nicht immer so einfach ist.
- Gute Nachrichten: Wenn Sie der KI eine klare, neutrale Definition des Themas (die „Zielbeschreibung“) geben, wird sie fast immer besser darin, die Haltung zu erraten.
- Schlechte Nachrichten: Wenn Sie der KI eine ganze Menge anderer Tweets oder die persönliche Biografie des Nutzers vorwerfen, wird die KI oft abgelenkt. Sie hat Schwierigkeiten, zwischen „hilfreichen Hinweisen“ und „irrelevantem Rauschen“ zu unterscheiden.
Die Autoren haben auch einen neuen, hochwertigen Datensatz mit deutschen Tweets über COVID-19 erstellt, um diese Ideen zu testen, um sicherzustellen, dass ihre Ergebnisse nicht nur auf Englisch beschränkt sind.
Kurz gesagt: Um einer KI zu helfen, einen Social-Media-Post zu verstehen, geben Sie ihr eine klare Definition des Subjekts. Aber seien Sie vorsichtig damit, ihr die gesamte Historie eines Nutzers zu geben, da sie sich sonst einfach durch das Chaos ablenken lassen könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.