💬 NLP

When Certainty Is an Artifact: Keyword Lexicon Blindness and the (Mis)Measurement of Rhetorical Stance

本論文は、キーワードに基づくレキシコンが意味的文脈を捉え損なうことで、修辞的スタンスに関して統計的に有意ではあるが完全に人工的な知見を生み出し得る一方で、LLMベースの意味的分類は、否定的な言説が従来の単語カウント手法によって誤って検出されるような強調的な確信性ではなく、むしろヘッジング（ぼかし表現）と結びついていることを明らかにしている。

原著者： Bo Chen

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bo Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、4人の著名な人物（マクロ投資家、テック・オプティミスト、学者としての経済学者、そして地政学戦略家）のパーソナリティを理解しようとしていると想像してください。彼らのインタビューを聴きながら、あなたは次のことを知りたいと考えています。彼らが悪いニュース（危機や暴落など）について話すとき、彼らは自信に満ち、確信に満ちた様子で話しているのか、それとも、不確かで慎重な様子で話しているのか？

この論文は、その「自信」をどのように測定するかについての探偵物語です。これは、科学者が言語を分析するために使用している非常にポピュラーなツールが、実は特定のやり方で壊れており、事実とは異なることを信じ込ませていることを明らかにしています。

以下は、この話を分かりやすく説明したものです。

1. 壊れた懐中電灯（キーワード法）

長い間、研究者たちは「キーワード懐中電灯」を使って自信を測定してきました。このツールは、単純なカウンターのように機能します。

もし、**「常に（always）」「確かに（certainly）」「絶対に（absolutely）」「決して〜ない（never）」といった言葉を聞いたら、それを「自信」**としてカウントします。
もし、**「おそらく（maybe）」「〜かもしれない（could）」「リスク（risk）」といった言葉を聞いたら、それを「不確実性」**としてカウントします。

研究者がこのツールを85件のインタビューに使用したところ、衝撃的なパターンが見つかりました。すべての話し手が、悪いニュースについて話すとき、信じられないほど自信満々に聞こえたのです。

相関関係は極めて高く（約0.85から0.93）、それは驚異的なものでした。
まるで普遍的な法則があるかのようでした。「人々が破滅について語るとき、彼らは100%確信を持っている」という法則です。

研究者たちは当初、これを非常に興味深い心理学的発見だと考えました。「なるほど、人は恐怖を感じているとき、より一層自信を深め、超自信満々な態度を取るのだ！」と。

2. 高精細カメラ（LLM法）

しかし、その後、研究者たちは「高精細カメラ」を使用して、自分たちの作業を検証することにしました。現代の大規模言語モデル（LLM）です。キーワードカウンターとは異なり、LLMは単に言葉を数えるのではなく、人間と同じように文脈、文法、そして意味を理解します。

彼らは全く同じ32,000の文章をLLMに読み込ませました。結果はどうだったでしょうか？ 「普遍的な法則」は消え去りました。

ダリオの「自信」の低下： 彼の相関関係は、巨大な0.85から、弱く有意ではない0.20へと急落しました。
パターンの逆転： 話し手のうち2人については、悪いニュースについて話すとき、彼らは実際には**不確かで慎重（ヘッジング／言葉を濁すこと）**であったことがLLMによって判明しました。これは常識的な感覚と一致する結果です。
結論： 「超自信満々な悲観主義者」たちは、壊れた懐中電灯が生み出した幻想だったのです。

3. なぜ懐中電灯は嘘をついたのか？（3つの欠陥）

この論文は、キーワードツールが失敗した理由を説明しています。それは、ツールが3つの特定の事柄に対して「盲目」だからです。言葉を数えるだけのロボットが、人間の話し方を理解していない状態を想像してみてください。

否定への盲目さ（「Not」の罠）：
- 例文： 「私は**決して（never）****絶対に（absolutely）****完全に（totally）**自信があるわけではない。」
- キーワードツール： 「never」「absolutely」「totally」を見つけます。そして、これらを3つの「自信」ポイントとしてカウントします！ツールは、話し手が非常に確信を持っていると判断します。
- 現実： 話し手は正反対のことを言っています。「私は全く自信がない」と言っているのです。ツールは、強い言葉の「存在」を探していたため、「never」という言葉によって意味が打ち消されていることに気づきませんでした。
二重の意味への盲目さ（「Certain」の罠）：
- 例文： 「あなたは**ある（certain）**体を持っている……」
- キーワードツール： 「certain」を見つけ、「自信」としてカウントします。
- 現実： ここでの「certain」は、単に「特定の（a specific one）」という意味であり、「100%確信している」という意味ではありません。ツールは、その違いを判別できません。
緩和表現への盲目さ（「Sort Of」の罠）：
- 例文： 「それは**ある程度（sort of）**明確だ。」
- キーワードツール： 「clear（明確）」を見つけ、「自信」としてカウントします。
- 現実： 「sort of（ある程度）」という言葉は、その主張を弱めています。ツールは、「sort of」が「clear」の強さを打ち消してしまうことを知りません。

4. 真の発見

この論文は、キーワードツールが見つけた「強い相関関係」は、話し手の心理に関するものではなく、**「言語の仕組み」**に関するものであったと主張しています。

人々が恐ろしく深刻なトピック（債務危機や戦争など）について話すとき、自然と「常に（always）」「決して（never）」「誰もが（everyone）」といった、ドラマチックで大きな言葉を使います。キーワードツールは、これらのドラマチックな言葉を「自信」としてカウントしてしまいました。しかし実際には、それらの言葉はトピックに伴うドラマの一部であって、話し手が実際にその結果を確信している証拠ではなかったのです。

比喩：
気象予報士が、「もし雨が降れば、**絶対に（absolutely）****災難（disaster）**になるでしょう」と言ったと想像してください。

キーワードツールは「absolutely」を聞いて、「おや、この人はとても自信に満ちている！」と言います。
**LLM（人間）**は文章全体を聞いて、「彼らは実は、災難に対して非常に懸念しているのだ」と理解します。

結論

この論文は、科学者への警告です。**「コンピュータが言葉を数え、統計的に有意なパターンを見つけたとしても、そのパターンが真実であるとは限らない」**ということです。

研究者が発見したと思っていた「確信」は、アーティファクト（人工的な産物）、つまり測定ツールのバグでした。ツールを修正した（文脈を理解するAIを使用した）ところ、「確信」は消え去り、話し手たちはもっと普通の人間のように見えました。つまり、状況が悪いときは慎重になり、状況が良いときは自信を持つ、という姿です。

重要な教訓： 人々が何を「意味」しているのかを、単なる言葉のカウントマシンに頼って判断してはいけません。言葉の背後にあるストーリーを理解できるツールが必要なのです。

技術要約：確信がアーティファクト（人工物）となる時

問題提起

計算社会科学（CSS）は、感情的な価数（ポジティブ／ネガティブ）と修辞的モダリティ（確信／ヘッジ）の関係性を測定するために、キーワード・レキシコン（語彙目録）に頻繁に依存している。文献における支配的な仮説は、「ネガティブな言説はレピュテーション・リスクを管理するためにヘッジ（言葉を濁すこと）を伴って届けられ、ポジティブな言説は確信を持って届けられる」というものである。しかし、本論文は、この領域における統計的に有意な知見が、真の修辞的パターンなのか、それとも測定器そのものによるアーティファクト（人工物）なのかを調査する。

著者らは、決定的な方法論的欠陥を特定している。すなわち、標準的なキーワードベースの計数手法（バッグ・オブ・ワーズ）は、構文上の否定、多義性、および修飾語のスコープ（適用範囲）を解決できない。その結果、表面的な語彙の共起関係と、深い意味論的意味を混同してしまう可能性がある。中心的な研究課題は、ネガティブな内容と強調的な確信の間の結合が、話し手固有の修辞戦略なのか、それともキーワード計数の限界によって引き起こされた普遍的な測定アーティファクトなのかである。

方法論

本研究は、大規模言語モデル（LLM）から導出された「グラウンド・トゥルース（正解）」に対して測定値を検証するために、二重の計器設計を採用している。

1. コーパスの構築

著者らは、異なる言説プロファイルを持つ4人の公的人物を対象とした、85本のYouTubeインタビューからなる縦断的コーパスを精査した。

レイ・ダリオ（マクロ投資家）：35本の動画（2016年–2026年）。2025年以降に頻度の構造的変化が見られる。
キャシー・ウッド（テクノ・オプティミスト）：17本の動画。
ケネス・ロゴフ（アカデミックな経済学者）：17本の動画。
ピーター・ゼイハン（地政学戦略家）：16本の動画。

総コーパスサイズ：498,200語、32,625文。

前処理： 生の自動生成字幕は、LLM支援による話者ダイアリゼーション（DeepSeek-V4-Flash）を用いて処理され、ゲストの発言とインタビュアーの介入を分離した。これは、話し手固有のパターンを不明瞭にしていたノイズを除去するために不可欠なステップである。

2. 計器A：キーワード・レキシコン・スコアリング

感情的な価数（ポジティブ／ネガティブ）と修辞的モダリティ（強調的／確信またはヘッジ／疑念）を分離するために、カスタムの多次元感情レキシコンを構築した。

メカニズム： レキシコンは表面的なトークン（例：「常に」、「決して」、「危機」）をカウントし、基本的な否定反転ルールを適用する。
指標： 月次正規化頻度が算出され、ネガティブな価数の頻度と、強調的／確信的モダリティの頻度の間のピアソン相関係数（ $r$ ）が計算された。
ロバストネス・チェック： 著者らが精査した単語リストに限定されないことを確認するため、分析は2つの独立した広く引用されている参照レキシコン（LIWC-22およびHylandの2005年のリスト）を用いて再現された。

3. 計器B：LLMベースの意味分類

文脈を考慮した検証を行うため、コーパス全体（32,625文）をDoubao-Seed-2.0-Liteによるゼロショット意味分類を用いて処理した。

タスク： 各文章は、価数（ポジティブ／ネガティブ／中立）とモダリティ（強調的／ヘッジ／中立）の2つの軸について同時に分類された。
検証： 特定のモデルの学習データに起因するアーティファチクトではないことを検証するため、10個の独立したランダムサンプル（各100文）に対してGPT-5.4を用いたクロスモデル・ロバストネス・チェックを実施した。

4. エラー分析

キーワード・レキシコンによって「高確信」とフラグ立てされたが、LLMでは異なって分類された547文に対して、文レベルの監査を実施し、失敗を特定の言語的盲点へと分類した。

主な結果

1. キーワードによるアーティファクト

キーワードベースのスコアリングでは、4人の話し手すべてにおいて、ネガティブな情動と強調的な確信の間に、強い統計的に有意な正の相関が見られた。

ダリオ： $r = 0.851$ ( $p < 0.001$ )
ロゴフ： $r = 0.917$ ( $p < 0.001$ )
ゼイハン： $r = 0.932$ ( $p < 0.001$ )
ウッド： $r = 0.725$ ( $p = 0.003$ )

このパターンは、全く異なるペルソナ（楽観主義者対悲観主義者、学者対投資家）を持つ話し手間で普遍的であり、3つの異なるキーワード・レキシコン（Custom, LIWC-22, Hyland）にわたって持続した。これは、この相関が話し手の修辞戦略ではなく、キーワード計数の構造的特性であることを示唆している。

2. LLMによる逆転

同じコーパスをLLMベースの意味分類で分析したところ、強い正の相関は消失、あるいは逆転した。

ダリオ： $r(neg, emph) = 0.206 $($ p = 0.371$, 有意ではない)。
ウッド： $r(neg, emph) = -0.514 $($ p = 0.060$)。
ゼイハン： $r(neg, emph) = -0.223 $($ p = 0.487$)。
ロゴフ： $r(neg, emph) = 0.063 $($ p = 0.864$)。

代わりに、LLMは従来の言語理論（悲観論者はヘッジを用いる）と一致するネガティブ・ヘッジ結合を明らかにした。

ロゴフ： $r(neg, hedged) = 0.875 $($ p = 0.001$)。
ゼイハン： $r(neg, hedged) = 0.722 $($ p = 0.008$)。

3. クロスモデル・ロバストネス

LLMの知見は、特定のモデルプロバイダーに依存しないことが確認された。Doubao-Seed-2.0-LiteとGPT-5.4は、ヘッジおよび強調の両方の指標において、統計的に区別できない相関推定値を示した（すべての比較において $p > 0.24$ ）。これにより、実質的なパターンが検証された。

4. 構造的失敗モード

文レベルのエラー分析により、キーワード・レキシコンが意味を反転させてしまう3つの具体的なメカニズムが特定された。

構文的盲目性： 否定構造の解析失敗（例：「決して絶対的に自信がない」は、高い確信ではなく、低い自信としてスコア付けされる）。
多義性への盲目性： 文脈依存の意味の区別不能（例：「ある一定の身体（a certain body）」と「確かに（certainly）」の区別）。
範疇の欠如： 緩和修飾語（例：「まあまあ」「ほとんど」「〜と思う」など）には専用のカテゴリがなく、隣接する確信マーカーのスコアを減衰させることに失敗する。

主な貢献

測定アーティファクトの提示： 本論文は、CSSにおける強い統計的に有意な相関（特にネガティブ・確信結合）が、完全に測定器によるアーティファクトであり得るという実証的な証拠を提供している。キーワード計数は、実際の修辞的スタンスとは無関係な、普遍的な語彙の共起傾向（深刻な話題は深刻な言葉を引き寄せる）を測定しており、それが修辞的スタンスを系統的に反転させ得ることを示している。
レキシコン監査のためのエラー類型学： 著者らは、キーワードベースの計器を監査するための再利用可能なフレームワークを提案し、キーワードによる表現がなぜモダリティを捉えられないのかを説明する3つの構造的失敗モード（構文的盲目性、多義性への盲目性、範疇の欠如）を特定した。
CSSのための検証フレームワーク： 本研究は、将来の研究のための4段階の検証テンプレートを確立している。
- 話者やドメインを越えた一般化可能性のテスト。
- 文脈を考慮した意味分類器（LLM）による検証。
- プロバイダー・バイアスを排除するための、独立して訓練されたモデルによる検証の再現。
- 特定の言語的失敗を診断するための、文レベルのエラー分析。

意義と主張

本論文は、キーワードのカウントを認識論的な確信の直接的な測定値として扱うことは、カテゴリー錯誤であると主張している。データに見られる「ダリオは破滅に対してますます確信を強めている」といった強力な知見は、実はダリオについてではなく、単なる単語のカウントに関するものである可能性がある。

著者らは、キーワード手法を放棄すべきだと主張しているわけではない。その解釈性と効率性は認めている。しかし、強いキーワードベースの相関は、文脈を考慮した手法によって検証されない限り、修辞的スタンスではなく、語彙の共起シグナルとして解釈されるべきであると断言している。本研究は、計算的計器が驚くべき知見を生み出したとき、その計器自体が、それが測定しようとしている話し手と同じくらい精査されるべきであることを結論づけている。「ダリオ効果」として観察された現象は、ダリオに関するものではなく、計数メカニズムの限界に関するものであった。