💬 NLP

Quantifying the Sources of Instability in LLM-Based Stance Analysis of Public Discourse

本研究は、公共の言説におけるLLMを用いたスタンス分析において、集計されたセンチメントの割合は異なる前処理パイプライン間で安定しているものの、感情価と認識的モダリティの間の結合に関する具体的な結論は、低サンプル数の話者に対するパイプラインの変動に対して、そしてより重要なことに、LLMとキーワード・レキシコンによる測定手法間の系統的な不一致に対して、非常に敏感であることを示している。

原著者： Bo Chen

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bo Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある有名な人物が本当は何を感じているのか、そして自分の言葉にどれほど自信を持っているのかを突き止めようとしている探偵だと想像してください。あなたの手元には、膨大な数のビデオインタビューの山があります。しかし、調査を開始する前に、その生のビデオを、音声を聞き取り、誰が話しているか（ゲストかインタビュアーか）を判別し、発言を文章ごとに切り分けるという3つの工程を行う「マシン」に通さなければなりません。

この論文は、シンプルながらもトリッキーな問いを投げかけています。「マシンの設定を変えると、最終的な判決が変わってしまうのか？」

研究チーム（Bo Chen氏らが主導）は、金融、政治、メディアの分野から集めた41人の著名人のYouTubeインタビュー256本を用いた大規模な実験を行いました。彼らはこれらのビデオを2種類の異なる「マシン（前処理パイプライン）」に通し、その後、テキストを分析するために2種類の異なる「探偵（測定方法）」を使用しました。

2つのマシン：「切り貼り」vs「音の耳」

最初のマシンを**「テキスト専用の探偵」**と考えてください。これはYouTubeの自動生成字幕を拾い上げ、整理し、言葉に基づいて誰が話しているかを推測しようとします。高速ですが、YouTubeのキャプションの乱れた書き方に惑わされることがあります。

2番目のマシンは**「音声専用の探偵」**です。これは実際の音波を聞き取り、声を識別し、何を話したかを書き起こします。これはよりコストのかかる、ハイテクなアプローチです。

研究者たちは、「テキスト専用の探偵」から「音声専用の探偵」に切り替えることで、スピーカーについて語られる物語が変わるかどうかを知りたかったのです。

2つの探偵：「AIの脳」vs「単語リスト」

テキストの準備ができたら、2つのことを測定する必要がありました。

バレンス（感情価）： スピーカーは幸せ（ポジティブ）か、それとも悲しみや怒り（ネガティブ）を感じているか？
モダリティ（様態）： スピーカーは非常に自信に満ちている（強調的）か、それとも確信が持てない（ヘッジ／ぼかし表現）か？

これを測定するために、彼らは2つの異なるツールを使用しました。

AIの脳 (LLM): テキストを読み、スピーカーの感情や自信についてレポートを作成する強力な人工知能。
単語リスト (キーワード・レキシコン): 特定の「怒り」や「自信」を表す言葉が何回現れるかを単にカウントする、厳格なルールブック。

大きな驚き：マシンはあなたが思うほど重要ではない（ある条件下では）

ここに最初のひねりがあります。研究者たちは、**「ビデオの切り分け方（前処理）は重要だが、それはそもそもビデオの量が十分にない場合に限られる」**ということを発見しました。

もし、ある有名人のビデオが極端に少ない場合（5本以下）、結果はめちゃくちゃになります。「テキスト専用の探理」から「音声専用の探偵」に切り替えるだけで、結果が完全に逆転し、「自信に満ちた」話し手が「ためらいがちな」話し手に変わってしまうこともあります。それは、たった一つの雲を見て天気を予想しようとするようなもので、ノイズが多すぎるのです。

しかし、スピーカーのビデオがたくさんある場合（16本以上）は、マシンの選択はほとんど影響しません。この研究で最もよくサンプリングされた4人のスターについては、マシンを変更しても結果の変化はごくわずか（平均して0.13の差）でした。どのマシンを使っても、物語は変わりませんでした。

真の悪役：探偵の選択

ここで物語はさらに複雑になります。マシン（前処理）は、よくサンプリングされたスターについては物語を大きく変えませんでしたが、**「探偵（測定方法）」**は決定的な影響を与えました。

研究者たちは、**「AIの脳」と「単語リスト」**が、全く同じテキストを読んでいるにもかかわらず、同じ人物に対してしばしば正反対の物語を語っていることを発見しました。

ケースの**約49%**において、二人の探偵は、スピーカーが自信を持っているか、それともためらっているかについて意見が食い違いました。
非常に有名で、サンプル数も多いスピーカー（例：ビデオ17本を持つ経済学者のケン・ロゴフ）の場合、AIが言ったことと、単語リストが示したことは正反対でした。

これは、不安定さの最大の原因はデータのクリーニング方法ではなく、**「どのツールを使って分析するか」**にあることを示唆しています。あるツールはスピーカーを「怒っていて確信に満ちている」と見る一方で、別のツールは「冷静で不確かである」と見るのです。

安全という名の錯覚

あなたはこう思うかもしれません。「まあ、みんなの平均を見れば、すべてはバランスが取れるのではないか？」研究者たちはこれを確認しましたが、答えは明確に「ノー」でした。

もし、すべてのビデオにおける**「ネガティブな単語の総割合」を見るならば、数値は非常に安定して見えます。どのマシンやどの探偵を使っても、ネガティブな単語の総数はほとんど動きません（変化は7パーセントポイント未満**）。

しかし、この安定性は罠です。それは、個々のスピーカーについては結論が全く異なっているという事実を隠してしまいます。それは、数学の天才とテストに落ちた生徒が互いに打ち消し合っているからといって、クラス全体の成績が「平均的」だと言っているようなものです。一人の生徒が苦戦しており、もう一人が躍進しているという事実を見落としてしまうのです。

教訓

この論文は、公的な議論を研究するすべての人に対し、次のような警告で締めくくっています。「一つの設定だけを信じてはいけない」。

サンプルサイズを確認せよ： ビデオの数が少ない場合、何をしたとしても、あなたの結果はおそらく信頼できません。
一つの探偵だけに頼るな： もしあなたのAIツールと単語カウントツールが意見を違えたなら、あなたはまだ真実に到達していません。結果を発表する前に、それらが一致するかどうかを確認する必要があります。
ノイズを切り分けよ： あなたの結果が変わった理由が、マシン（前処理）を変えたせいなのか、それともツール（測定方法）を変えたせいなのかを判断しなければなりません。

要するに、データの準備方法は重要ですが、それを測定するツールの方がさらに重要です。そして、もし大きな平均値だけを見ているのであれば、あなたは物語の全体像を見逃している可能性があるのです。

テクニカル・サマリー：公的な言説におけるLLMを用いたスタンス分析の不安定性の要因定量化

問題提起

計算社会科学（CSS）は、生のメディアを分析可能なテキストに変換するために、自動前処理パイプライン（具体的には、話者ダイアリゼーション、自動音声認識（ASR）、トランスクリプトのクリーニング、および文のセグメンテーション）への依存を強めている。アノテーションの妥当性（例：LLMのラベルが人間の判断と一致するかどうか）に関する文献は豊富に存在するが、これらの上流にある2つの不安定性の源泉を理解することには決定的な空白がある。

前処理の妥当性： 前処理パイプラインの選択（例：ダイアリゼーションの手法やセグメンテーションの規則）が、下流の統計的結論を変化させるかどうか。
測定の妥当性： 同一の前処理済みテキストに対して適用された場合でも、アノテーション・インストルメント（LLMかキーワード・レキシコンか）の選択によって異なる結論が導かれるかどうか。

これら2つの不安定性の源泉はしばしば混同されており、観察された研究結果の不安定性が、データ処理パイプラインに起因するのか、あるいは測定インストルメント自体に起因するのかを診断することを困難にしている。

メソドロジー

著者らは、これらの変動の源泉を体系的に分離するためのパイプライン感度分析フレームワークを提案している。本研究では、5つのドメイン（金融/投資、アカデミア/経済、中央銀行/政策、地政学/戦略、メディア/コメンタリー）にわたる41人の公人が登場する256本のYouTubeインタビューのコーパスを利用している。

実験デザイン

本研究では、2つの異なる変数を比較している。

2つの前処理パイプライン：
- VTTベース： YouTubeの字幕ファイルを解析し、アーティファクトを除去し、LLM（DeepSeek-V4-Flash）を用いてバイナリの話者分類（「ゲスト」対「インタビュアー」）を行う。
- オーディオベース（AssemblyAI）： 商用APIを使用してASRと話者ダイアリゼーションを行い、単語数によって支配的な話者をゲストとして特定する。
2つの測定手法：
- LLMアノテーション： DeepSeek-V4-Flashを用い、価数（ポジティブ/ネガティブ/ニュートラル）およびエピステミック・モダリティ（強調/ヘッジ/ニュートラル）のゼロショット・アノテーションを行う。
- キーワード・レキシコン・スコアリング： ネガティブ/ポジティブな価性とモダリティのパターンを定義したルールベースのアプローチを用い、ビデオの文字長によって正規化する。

診断フレームワーク

著者らは、不安定性を定量化するための2つの指標を定義している。

パイプライン分岐（ $\Delta_{pipeline}$ ）： 同一の測定手法を用いつつ、前処理パイプラインを切り替えた際の、派生指標（具体的には、ネガティブな価性と強調的なモダリティの間のピアソン相関係数 $r$ ）の変化。
メソッド分岐（ $\Delta_{method}$ ）： 同一の前処理済みテキストに対して、LLMとキーワード・レキシコンの間で手法を切り替えた際の、指標の絶対差。

分析は、小規模なサンプルサイズによる偽相関を避けるため、ビデオの数が4本未満のスピーカーを除外した上での、スピーカーごとの相関（$r(neg, emph) $および$ r(neg, hedged)$）に焦点を当てている。

主な結果

1. パイプラインの感度は限定的であり、サンプルサイズに依存する

低N数のスピーカーへの集中： 前処理の感度は、ビデオサンプルが限られているスピーカー（ $N \le 5$ ）に強く集中している。これらのスピーカーでは、相関係数の平均絶対変化量（ $|\Delta r|$ ）は高く、符号の反転も頻繁に見られる。
十分にサンプル化されたスピーカーにおける安定性： 最も多くサンプル化された4人のスピーカー（ $N \ge 16$ ）では、LLMアノテーションの下でのパイプライン選択による平均 $|\Delta r|$ はわずか 0.13 であった。個別の十分にサンプル化されたスピーカーにおいて、 $\Delta r$ が 0.19 を超えることはなかった。
ドメインによる差異： 感度はドメインによって異なる。メディアの言説は最もパイプラインの堅牢性が高かった（LLM下での $|\Delta r| = 0.32$ ）一方で、金融とアカデミアは最も敏感であった（$0.46$）。

2. メソッド間の不一致が主要な脅威である

不一致の大きさ： 測定メソッドの分岐は、パイプラインの分岐よりも有意に大きく、かつ体系的である。全41人のスピーカーを通じて、平均 $\Delta_{method}$ (0.76) は、平均 $\Delta_{pipeline}$ (0.41) のほぼ2倍である。
体系的な符号反転： LLMとキーワード・レキシコンの手法は、49% のケースで逆の結合方向（符号の反転）を割り当てている。これは、両方の手法が内部的に安定している十分にサンプル化されたスピーカー（例：17本のビデオを持つRogoff）においても発生している。例えば、Rogoffの場合、パイプラインの分岐は 0.19 であったが、同一のVTTパイプラインにおけるメソッドの分岐は 0.90 であった。
集計による隠蔽： 集計された価性の割合は、パイプラインやメソッドに関わらず非常に安定している（ $|\Delta p(neg)| < 6$ パーセントポイント）。この安定性は、次元間の相関に見られる実質的な不安定性を隠蔽している。

3. ドメインが感度を調整する

専門的なコミュニケーションスタイルは、前処理の選択が測定にどのように伝播するかを調整する。例えば、アカデミックなヘッジ（ぼかし）マーカーやメディアの強調表現は、地政学的言説と比較して、文の断片化（VTTセグメンテーションの副産物）に対する堅牢性が異なる。

主な貢献

診断フレームワーク： 本論文は、前処理パイプラインの効果と測定メソッドの効果を分離する、2つの源泉による診断フレームワークを導入しており、研究者がこれら両方の不安定性の源を報告・分析するための実践的な手法を提供している。
パイプライン感度の経験的境界： パイプラインの感度は予測可能であることを示している。適切にサンプル化されたスピーカー（ $N \ge 16$ ）の場合、前処理の選択が相関的な結論に与える影響は限定的である（ $|\Delta r| \approx 0.13$ ）。
測定の妥当性が主要な脅威であることの特定： 本研究は、測定メソッドの分岐が、前処理の分岐よりも深刻な妥当性の脅威であることを実証している。感情的な価性とエピステック・モダリティの結合に関する結論は、前処理パイプラインを一定に保ったとしても、アノテーション・インストルメントの選択によって体系的に変更され得る。

意義と主張

本論文は、インタビュー・データにおけるクロス次元の関係を研究する研究者は、両方の変動の源に対して結論が堅牢であることを検証しなければならないと主張している。著者らは以下のことを主張している：

前処理の選択は重要だが、範囲内である： パイプラインの選択は結果に影響を与えるが、その大きさは予測可能であり、管理可能である。
測定の選択が極めて重要である： LLMアノテーションとキーワード・レキシコンの選択は、科学的な結論（例：正の相関を負の相関に変えること）を根本的に覆す可能性がある。
報告基準： CSSの研究者は、これら2つの不安定性の源を報告において明確に区別すべきである。代替の前処理パイプラインと代替の測定メソッドの両方を生き残る相関は、単一のパイプライン・メソッドの組み合わせ内で検証されたものよりも、より信頼できるものと見なされる。

著者らは、単一のLLMプロバイダーの使用、英語のみのコーパス、および現在の設計においてダイアリゼーションの効果と文のセグメンテーションの効果を完全に分離できないことなどの限界を認めつつ、控えめな立場を維持している。彼らは、ある方法が普遍的に「正しい」と主張しているのではなく、その分岐自体が調査を要する診断信号であると考えている。