Political Stance Detection on X During the 2024U.S. Election: A Comparative Study of Classical, Neural, and Transformer Models

インターネットを、何百万人もの人々が同時に意見を叫び合っている、巨大で混沌とした広場だと想像してみてください。このデジタルの広場では、「計算社会科学（Computational Social Science）」という特定の科学分野が、その声に耳を傾けようとしています。研究者たちはコンピュータを使用して、人間がオンラインでどのように振る舞うかを理解し、乱雑な怒号の応酬を、研究可能なデータへと変えています。これを行うために、彼らはしばしば2つの主要なツールに頼ります。一つは、単に誰かが「幸せ」か「怒っている」かを教えるだけの、シンプルな指輪のような「感情分析（Sentiment Analysis）」。もう一つは、より鋭い探偵のスキルである「スタンス検出（Stance Detection）」です。スタンス検出は、「あなたは怒っていますか？」と問うのではありません。「あなたは誰に対して怒っているのか、そしてどちらの側に立っているのか？」と問うのです。これは、大統領選挙のような大きなイベントの間、誰が誰を支持しているかを知ることが国家のムードを理解する助けになりますが、スラングや絵文字、皮肉、そして短くパンチの効いたメッセージが飛び交う中では、それを実行するのは非常に困難です。

この論文は、デラウェア大学の研究チームが、2024年米大統領選挙において、誰が誰を支持しているかを突き止めるのにどの「探偵」が最も適しているかを確かめるために設定した、大規模な味見テストのようなものです。彼らは、ソーシャルメディアプラットフォームのX（旧Twitter）から約10万件の投稿を調査し、ユーザーがドナルド・トランプを応援しているのか、ジョー・バイデンおよびカマラ・ハリスを応援しているのか、あるいは中立であるのかを判別できるかどうかを確認しました。彼らは単に一つの派手なツールを選んだわけではありません。3種類の異なる「探偵」を戦わせました。それは、**古典的（Classical）**な探偵（古風な数学的ツール）、**ニューラル（Neural）な探偵（脳のようなコンピュータネットワーク）、そしてトランスフォーマー（Transformer）**な探偵（文脈を読み取る超スマートで現代的なAIモデル）です。彼らの目標は、パズルを解くために超複雑で高価なAIが必要なのか、それとも適切に調整されたシンプルなツールで十分なのかを見極めることでした。

偉大なる探偵の対決

研究者たちは、まず乱雑なデータを整理することから始めました。ソーシャルメディアの投稿には、タイポ（打ち間違い）、奇妙な記号、重要ではないリンクといった「ノイズ」が満載です。彼らは司書のように振る舞い、本を整理し、重複を削除し、コンピュータが理解できるようにスラングを平易な英語に翻訳しました。また、特別な「候補者所属（Candidate Affiliation）」ラベルを作成しました。単に「この投稿は嬉しい」とか「この投稿は悲しい」と言うのではなく、システムに「この人物はトランプについて話しているのか、バイデン・カマラについてなのか、あるいはどちらでもないのか？」と問いかけるよう訓練したのです。彼らはキーワード探索とトピック分析を組み合わせてこれを特定し、ラベルが正確であることを確認するために、人間の専門家によるダブルチェックも行いました。

データが準備できたら、彼らは3種類のモデルを一連のテストにかけました。

まず、彼らは古典的モデルを試しました。これらは、虫眼鏡とノートを使った、信頼できる古風な探偵だと考えてください。これらは高速で理解しやすく、動かすためにスーパーコンピュータを必要としません。研究者は、サポートベクターマシン（SVM）やロジスティック回帰といったツールを使用しました。これらのモデルは、投稿内の単語を調べ、特定の政治的キーワードがどれくらいの頻度で出現するかをカウントしました。

次に、彼らはニューラルモデルを試しました。これらは、層状の「脳」を持つ探偵のようなものです。彼らはSentence-BERTと呼ばれるものを使用しました。これは、文章全体を一つの密度の高い数値（エンベディング）に変換し、単語そのものだけでなく、言葉の「意味」を捉えるものです。それは、文章をその「雰囲気」を表す秘密のコードに翻訳するようなものです。

最後に、彼らはトランスフォーマー・モデル、具体的にはBERTweetを試しました。これが「超探偵」です。これは、事前に何百万ものツイートを読み込み、Xにおけるスラング、ハッシュタグ、絵文字がどのように使われるかを正確に知っている巨大なAIです。これは、ソーシャルメディアの混沌とした言語を理解するために特別に設計された、最も複雑で強力なツールです。

結果：レースの勝者は誰か？

ここからが面白いところです。研究者たちは、最も強力である「超探偵（BERTweet）」が簡単に勝つと予想していました。そして、ある意味ではその通りでした。BERTweetにフルデータセットを与えて学習させたところ、テストセットに対して0.995というスコアを達成しました。これは驚異的に高いスコアであり、政治的スタンスをほぼ完璧に言い当てていることを示唆しています。

しかし、この論文は非常に重要なひねりを提示しています。**「複雑さがすべてではない」**ということです。

研究者が詳しく調査したところ、古風な線形SVM（Linear SVM）が、ることもなく強力な競争相手であったことが分かりました。データを整理し、設定を適切に調整した後、SVMは0.963というスコアを記録しました。これは超AIよりもわずかに低いものの、依然として素晴らしいスコアです。両者の差は非常に小さかったため、研究者たちは、多くの実世界の業務において、超AIの余分なパワーはコストに見合わない可能性があると示唆しています。

また、研究では「脳のような」ニューラルモデル（Sentence-BERT + MLP）は、0.85前後のスコアを出し、ちょうど中間地点に位置していることが分かりました。これは、文章の意味を理解する良い方法さえあれば、その「脳」をより深く、より複雑にしても、それほど大きな助けにはならないことを示唆しています。

「追加の手がかり」実験

研究者たちはさらに、「もし探偵に『追加の手がかり』を与えたらどうなるだろうか？」と考えました。彼らは、以下のような非テキスト情報を追加することを試みました。

• 投稿がいつ行われたか（時刻、曜日）。
• ユーザーがどこにいたか（地理データ）。
• 投稿がどれほど人気か（いいね、リポスト、エンゲージメント）。
• 安全性フラグ（これはヘイトスピーチか？）。

彼らはこれらの手がかりを一つずつ、あるいはグループごとにテストしました。結果はどうだったでしょうか？追加の手がかりは少しは役に立ちましたが、それほどではありませんでした。「テキストのみ」の探偵たちは、すでに言葉を読む能力が非常に高かったため、位置や時間のデータを追加しても結果は大きく変わりませんでした。実際、余計な手がかりを増やしすぎると、そのデータが単なるノイズとなり、モデルの性能をわずかに低下させることさえありました。この論文は、この特定のタスクにおいては、「言葉そのもの」が最も重要な手がかりであり、派手なメタデータが必ずしもより良い答えを保証するわけではないことを示唆しています。

大きな教訓

では、これらすべては、選挙監視の未来にとって何を意味するのでしょうか？

この論文は、コントロールされた完璧な環境においては「超探偵（トランスフォーマー・モデル）」が最強であるが、多くの状況においては過剰（オーバーキル）である可能性があることを示唆しています。線形SVMという、よりシンプルで高速なツールが、ほぼ同等のパフォーマンスを発揮しました。これは大きなことです。なぜなら、シンプルなツールは以下の特徴を持っているからです。

• 高速： 高価なスーパーコンピュータではなく、普通のコンピュータで動作する。
• 明快： なぜその決定を下したのかという理由が理解しやすい（解釈性）。
• 安価： 運用コストが低い。

著者らは、超AIのほぼ完璧なスコアは、この特定のデータセットやデータのラベル付けの方法に特有のものである可能性があると警告しています。彼らは、政治的スタンスの検出が「解決された」とか、AIが現実世界において完璧であると主張しているわけではありません。現実の世界では、人々はもっと皮肉っぽかったり、言語が変化したりする可能性があります。代わりに、彼らは、信頼性と拡張性のあるシステムを構築するためには、最も複雑なモデルを選ぶことよりも、優れたデータの準備とスマートな特徴量の選択が重要であると示唆しています。

要するに、レースに勝つために必ずしもフェラーリは必要ありません。時には、適切に調整された自転車の方が、同じくらい速く、修理もしやすく、運転するコストも安いのです。ソーシャルメディア上の政治的意見を追跡するには、注意深く設計されたシンプルなモデルが、最も実用的な選択肢となるかもしれません。