AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）は急速に普及し、医療・健康分野においても診断支援、治療計画、患者との対話など多様な用途で導入されつつあります。しかし、LLM は従来の情報検索システムとは異なり、確率的に新しいコンテンツを生成する「生成 AI」であるため、ハルシネーション（嘘の生成）、バイアス、誤情報などの重大なリスクを伴います。

核心的な課題:

• 認識の乖離: 一般市民は LLM の生成メカニズム（確率的な予測）を十分に理解しておらず、既存の技術や人間関係に基づく誤ったメンタルモデル（例：AI を意図的・感情的な存在とみなす擬人化）を持っている可能性が高い。
• 議論の偏り: 公的議論（メディアや SNS）が LLM の可能性と限界の両方をバランスよく伝えているか不明確である。特に、リスクの伝達が不十分であったり、生成 AI 特有のメカニズムが説明されていない場合、現実世界での有害行為（自殺や犯罪への関与など）につながる恐れがある。
• 研究の不足: 従来の研究は特定のプラットフォームや文脈に限定されており、専門家が作成するコンテンツ（トップダウン）と一般市民が生成するコンテンツ（ボトムアップ）の両方を含む、多様なチャネル全体における LLM の表現を包括的に分析した研究は不足していた。

2. 研究方法 (Methodology)

本研究は、2022 年 12 月（ChatGPT 公開直後）から 2024 年 12 月までの 2 年間にわたる公的議論を分析した大規模な量的研究です。

データ収集と前処理:

• 対象チャネル: ニュース記事、研究プレスリリース、YouTube 動画、TikTok 動画、Reddit 投稿の 5 つの主要な議論の場。
• データセット: 健康関連用語と LLM 関連用語の組み合わせで検索し、62,783 件のアイテムを収集。その後、LLM（GPT-4o-mini）を用いたフィルタリングにより、健康分野での LLM 利用を具体的に議論している 21,773 件のアイテムに絞り込みました。
• フィルタリング精度: 人間によるアノテーションとの比較で、F1 スコア 0.9、Cohen's κ 0.79 を達成し、信頼性を確認しました。

分析の 3 つの次元:

1. 語彙的スタイル (Lexical Style):
   • 感情的トーン（LIWC を使用）、分析的思考（Analytic）、自信・権威（Clout）、真正性（Authentic）を測定。
2. 情報的内容 (Informational Content):
   • フレームタイプ: 個別事例（Episodic）か、体系的・社会的文脈（Thematic）か。
   • リスク開示: 個人、人間中心のケア、情報エコシステム、技術の責任に関する 4 つのリスク分類に基づく分析。
   • 生成性の説明: LLM の確率的な生成メカニズムや限界が説明されているか。
   • 健康サブドメイン: 臨床判断支援、ワークフロー最適化、消費者向け健康支援など 6 つのカテゴリーへの分類。
3. 象徴的表現 (Symbolic Representation):
   • 擬人化の度合い: マスク言語モデルを用いて、LLM 実体を人間か非人間かとして文脈的にどのように扱っているかを数値化（擬人化スコア）。

統計手法:

• チャネル間の差異を検証するために Kruskal-Wallis H 検定と Dunn の事後検定（Bonferroni 補正）を使用しました。

3. 主要な結果 (Key Results)

A. 全体的な傾向:

• ポジティブかつ断片的: 健康分野における LLM に関する議論は全体的にポジティブであり、時間経過とともにさらにポジティブ化しています。しかし、議論は特定の個別事例（Episodic）に焦点を当てたものが多く、社会的・体系的な文脈（Thematic）での議論は不足しています。
• リスク伝達の不備: リスクについての議論は不十分であり、特に「ハルシネーション」や「情報の質」に限定される傾向があります。LLM が従来の情報源とどう異なるか（生成メカニズム）についての説明は、ほぼ皆無でした。

B. チャネル間の差異:

• 専門系メディア（ニュース、研究プレス）:
  • 分析的思考が高く、客観的・中立的なトーン。
  • 臨床判断支援や研究・データ分析などの専門的な応用に焦点を当てている。
  • リスクや社会的・政策的な文脈（経済、規制など）について言及する割合が高い。
  • 擬人化は最も低い。
• 一般市民系プラットフォーム（TikTok, Reddit）:
  • 感情的トーンが最もポジティブで、かつ変動が大きい。
  • 自信（Clout）を示す表現が多く、親しみやすい語り口。
  • 消費者向け・メンタルヘルス: 治療的メンタルヘルス支援、情緒的伴侶（コンパニオン）、生活指導など、個人向け応用が中心。
  • リスクの欠如: リスクや生成メカニズムの説明が極めて少ない。
  • 高い擬人化: 「私のチャットボットは私を愛している」「AI が私の心を理解する」など、LLM を人間のような存在として扱う表現が頻繁に見られ、スコアの変動も大きい。
• YouTube:
  • 専門系と一般系の中間的な位置づけ。教育コンテンツやチュートリアルが多く、幅広いトピックをカバーするが、リスク説明は依然として限定的。

C. 健康サブドメインの偏り:

• TikTok と Reddit は「メンタルヘルス支援」や「情緒的伴侶」を強く強調しています。
• ニュースと研究プレスは「臨床判断支援」や「創薬・研究」を強調しています。
• 一般市民の関心（メンタルヘルス）と専門家の議論（臨床・研究）の間に大きなギャップが存在します。

4. 主要な貢献 (Key Contributions)

1. 大規模な包括的分析: LLM と健康分野に関する議論を、トップダウン（専門家）とボトムアップ（一般市民）の両方のコンテンツを含む 5 つのチャネルにわたって初めて包括的に分析しました。
2. 健康応用分野の分類体系の確立: LLM の健康分野への応用を 6 つの主要カテゴリー（臨床判断支援、ワークフロー最適化、専門教育、研究・データ分析、消費者健康支援、医療システム支援）および 20 のサブカテゴリに分類し、今後の研究や評価の枠組みを提供しました。
3. リテラシーとガバナンスのギャップの特定: 公的議論がリスクや技術的メカニズムを十分に伝達していない現状を実証し、これを「診断ツール」として活用することで、AI リテラシーの向上やガバナンスの強化が必要な領域を特定しました。

5. 意義と示唆 (Significance)

• 公的議論の診断ツールとしての活用: 公的議論を分析することで、どこに人々の関心が集まっているか、専門家のコミュニケーションが不足しているか、リテラシーやガバナンスのギャップが生じているかを特定できます。
• コミュニケーション戦略の必要性: 単に「AI と対話している」と伝えるだけでなく、LLM の「生成メカニズム（確率的であること）」や「限界」を説明するメカニズム的理解（Mechanistic Understanding）の教育が不可欠です。現在の「ハルシネーション」という比喩だけでは、なぜ誤りが発生するかの理解を深めるには不十分です。
• デザインとガバナンスへの示唆:
  • デザイン: ユーザーが出力を批判的に評価し、リスクとベネフィットをトレードオフできるような、その場でのリテラシー・スキャフォールディング（支援）が必要。
  • ガバナンス: 一般市民の需要が高い一方、リスクが深刻な領域（特にメンタルヘルス分野での AI 伴侶）に対して、規制やガイドラインの整備が急務です。
• プラットフォームの多様性への配慮: 異なるプラットフォームが異なるトーンや表現（擬人化など）を持つため、ユーザーは情報の出所とその文脈を批判的に評価する能力を身につける必要があります。

結論として、この研究は LLM が健康分野でどのように語られているかを可視化し、より安全でインフォームドな AI 活用に向けた、効果的なコミュニケーション戦略、デザイン、および規制の方向性を示唆しています。