Contextualized Prompting For Stance Detection On Social Media
本論文は、ソーシャルメディアにおけるスタンス検出のためのゼロショット・プロンプティングに様々な文脈的特徴を統合することの影響を調査しており、LLMによって生成されたターゲット記述は一貫して性能を向上させる一方で、その他の現実世界のユーザーメタデータは、入力ノイズやモデルによる関連情報のフィルタリングの困難さにより、混合した結果または有害な結果をもたらすことが多いことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ある特定のトピック（例えば「マスクを着用すべきか？」や「あの政治家は良い仕事をしているか？」など）に対して、見知らぬ人が何を考えているのかを推測しようとしていると想像してみてください。手元にあるのは、その人が送ったわずか一通の短いテキストメッセージだけです。これが、ソーシャルメディアにおける**スタンス検出（Stance Detection）**という課題です。これは、たった一文のメッセージを読んで、相手の気分を察しようとするようなものです。メッセージが皮肉であったり、曖昧であったり、あるいは重要な文脈が欠けていたりするため、非常に難しい作業となります。
最近では、これらを教え込まなくても推測できる、非常に賢いAIアシスタント（大規模言語モデル、通称LLM）が利用できるようになりました。しかし、通常、これらのAIは、まるで防音室の中でメッセージを読んでいるかのように、他の情報が一切ない状態で、そのメッセージを単独で読み取るよう求められます。
この論文の著者たちは、次のようなシンプルな問いを投げかけました。「もしAIに、メッセージをより良く理解するための『カンニングペーパー』のような、追加の背景情報を与えたらどうなるだろうか？」
彼らは、AIにスタンスを推測させる前に、異なる種類の「カンニングペーパー（コンテキスト）」を入力してテストを行いました。以下に、その結果を簡単な比喩を用いて説明します。
テストされた「カンニングペーパー」
- ユーザーのプロフィール（「自己紹介」ページ）： AIにユーザーのTwitterのバイオグラフィー（例：「私は国と神を愛しています」）を与えました。
- ユーザーの他のツイート（「過去の履歴」）： 同じ人物による最近の他のツイートを10件、AIに見せました。
- 対象の説明（「百科事典のエントリ」）： AIに対し、議論されている人物や物事についての短く中立的な要約を作成させました（例：「ドクター・ファウチは、パンデミック対応を率いた医師である」）。
- 具体的な文脈（「場面設定」）： AIに対し、ツイートで言及されている特定の状況を説明させました（例：「このツイートは、マスクの義務化と銃の権利に関する論争についてのものです」）。
結果：何が機能し、何が機能しなかったのか
AIを、謎解きに挑む探偵だと考えてみてください。追加の手がかりが役立つこともあれば、単なる「ノイズ」になってしまうこともあります。
1. 「百科事典のエントリ」（対象の説明）はスーパースターでした 🌟
ツイートが「誰」または「何」について話しているのか、明確で中立的な記述をAIに与えることは、一貫してAIを賢くしました。
- 比喩： 例えば、「新しい車」について誰かが喜んでいるかどうかを推測しようとしているとします。「新しい車」が高級スポーツカーを指しているのか、それともボロボロのトラックを指しているのかが分からなければ、判断を誤るかもしれません。しかし、AIに「その新しい車は、最新のフェラーリです」と伝えれば、答えは明白になります。この「記述」によって、AIは主題を理解できるようになり、ほぼすべてのテストにおいて推測の精度が向上しました。
2. 「過去の履歴」（他のツイート）は諸刃の剣でした ⚔️
従来のコンピュータサイエンスでは、ユーザーの過去の投稿を見せることは通常、助けになります。しかしここでは、それがAIを混乱させることがよくありました。
- 比喩： ある人が言った一文、「これが嫌いだ」を判定していると想像してください。もし、その人が昨日書いた他の怒りに満ちた文章を10個も見せられたら、AIは圧倒されてしまうか、あるいはその人が「常に」怒っているのだと思い込んでしまうかもしれません。追加のテキストは「ノイズ」として機能し、AIの注意をそらし、特定のツイートのスタンスを推測する能力を時には低下させてしまいました。
3. 「自己紹介」（プロフィール）と「場面設定」（具体的な文脈）は、当たり外れがありました 🎯
これらが役に立つこともありましたが、そうでないことも多くありました。
- 比喩： もしユーザーのプロフィールに「スポーツが好き」と書いてあり、ツイートが試合に関するものであれば、それは役立ちます。しかし、ツイートが政治に関するものであれば、そのプロフィールは役に立ちません。AIは、どの手がかりが重要で、どれが単なる背景ノイズなのかを判断するのに苦労しました。AIは、実際には重要ではない情報によって混乱することがよくありました。
大きな教訓
この論文は、AIにより多くの情報を与えることは、必ずしもそれほど単純なことではないと結論付けています。
- 良いニュース： トピックに対して明確で中立的な定義（対象の説明）を与えれば、AIはほぼ確実に賢くなります。
- 悪いニュース： ユーザーの他のツイートや個人のプロフィールを大量にプロンプトに詰め込むと、AIは注意を削がれてしまいます。AIは、「役立つ手がかり」と「無関係なノイズ」の違いを判別することに苦戦するのです。
著者たちはまた、これらのアイデアをテストするために、ドイツのCOVID-19に関する高品質なツイートの新しいデータセットを作成し、これらの知見が英語だけに限定されないことを確認しました。
要約すると： AIにソーシャルメディアの投稿を理解させるには、主題の明確な定義を与えてください。しかし、ユーザーの全履歴を与えると、情報の乱れによってAIが混乱してしまう可能性があるため、注意が必要です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。