AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse

这是一份关于论文《AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse》（即“我们如何描述 AI：大型语言模型及其在健康领域的应用如何在公共话语渠道中被呈现”）的详细技术总结。

1. 研究问题 (Problem)

随着大型语言模型（LLM）在医疗等高风险领域的快速应用，公众对 LLM 的认知、期望和态度正受到公共话语的深刻影响。然而，目前的公共叙事是否提供了关于 LLM 潜力与局限性的平衡观点尚不明确。

• 核心矛盾：LLM 具有生成性（probabilistic generation）和“幻觉”等特性，与传统的信息检索工具不同。但公众往往基于旧有的心理模型（如将 AI 拟人化或视为确定性工具）与之互动，这可能导致现实世界的危害（如错误医疗建议、心理依赖甚至自杀案例）。
• 研究缺口：缺乏对 LLM 在健康领域公共话语的大规模、跨渠道分析。现有研究多关注单一平台或特定技术，未能全面揭示专业渠道（自上而下）与公众渠道（自下而上）在叙事风格、信息内容和符号表征上的差异，特别是关于风险沟通和生成机制解释的缺失情况。

2. 方法论 (Methodology)

本研究采用大规模定量分析，基于议程设置理论（Agenda-Setting Theory），考察了 2022 年 12 月至 2024 年 12 月（ChatGPT 发布后两年）五个主要话语渠道的数据。

• 数据来源：
  1. 新闻 (News)：来自 NELA-GT 和 NELA-Local 数据集的美国主流媒体报道。
  2. 科研新闻稿 (Research Press)：来自 EurekAlert 的学术机构官方发布。
  3. 视频平台：YouTube 和 TikTok（通过 API 收集并转录音频）。
  4. 社区论坛：Reddit（来自 PushShift 数据集）。
• 数据筛选：
  • 初始收集 62,783 条包含"LLM 关键词”与“健康关键词”的内容。
  • 使用 GPT-4o-mini 进行少样本（few-shot）过滤，剔除与 LLM 健康应用无关的内容（如用 AI 写论文），最终保留 21,773 条有效数据。
  • 人工验证显示过滤模型 F1 分数为 0.9，Kappa 系数为 0.79。
• 分析维度：
  1. 词汇风格 (Lexical Style)：使用 LIWC 工具分析情感基调（Emotional Tone）、分析风格（Analytic）、影响力（Clout）和真实性（Authentic）。
  2. 信息内容 (Informational Content)：
     • 框架类型：事件式（Episodic，关注个案）vs. 主题式（Thematic，关注系统背景）。
     • 风险披露：基于特定分类法分析个体风险、以人为本的护理风险、信息生态系统风险及技术问责风险。
     • 生成机制解释：是否解释了 LLM 的概率生成本质（区别于传统搜索）。
     • 健康子领域：归纳出 6 大类 20 小类应用场景。
  3. 符号表征 (Symbolic Representation)：使用掩码语言模型（Masked Language Model）计算拟人化程度（Anthropomorphism），通过比较句子中实体被替换为“人类代词”与“非人类代词”的概率比来量化。
• 统计方法：使用 Kruskal-Wallis H 检验比较不同渠道间的分布差异，并辅以 Dunn's 事后检验。

3. 主要发现 (Key Results)

A. 整体趋势

• 基调积极且随时间增长：公众对 LLM 在健康领域的讨论总体呈积极态度，且随时间推移，积极性进一步增强。
• 叙事碎片化：讨论多为事件式框架（关注孤立案例、具体功能），缺乏主题式框架（关注系统性影响、政策背景）。
• 风险沟通不足：风险讨论不彻底，常被简化为“信息质量问题”（如幻觉、错误信息），极少解释 LLM 的生成性本质（即其概率预测机制和缺乏真实理解）。

B. 渠道差异

• 专业渠道 (新闻、科研新闻稿)：
  • 风格更理性、分析性更强，情感基调较中性。
  • 更关注临床决策支持、研究数据分析及系统层面的影响。
  • 更倾向于提及风险，但主要集中在信息质量层面。
• 大众渠道 (TikTok, Reddit)：
  • 情感基调更积极、波动更大，拟人化程度更高（常将 LLM 描述为有情感、有意图的伙伴，如“我的 ChatGPT 治疗师”）。
  • 高度关注消费者健康，特别是心理健康支持、情感陪伴和治疗辅助。
  • 风险沟通严重缺失：极少提及风险，几乎不解释生成机制。
• YouTube：处于中间地带，内容较长，涵盖教育、商业和专业应用，话题覆盖面较广。

C. 具体数据洞察

• 拟人化：TikTok 和 Reddit 中存在大量将 LLM 描述为具有人类能力（学习、关心、爱）的极端案例，而科研新闻稿的拟人化程度最低。
• 健康子领域：TikTok 和 Reddit 主要讨论心理健康和情感陪伴；新闻和科研稿则聚焦于诊断支持、药物发现等临床和研究领域。
• 机制解释缺失：除 YouTube 有适度提及（31%）外，其他渠道对 LLM 生成机制的解释率极低（Reddit 1.1%，TikTok 0.2%），导致公众难以区分 LLM 与传统搜索引擎。

4. 关键贡献 (Key Contributions)

1. 大规模跨渠道实证研究：首次对 LLM 在健康领域的公共话语进行了涵盖“自上而下”（专业机构）和“自下而上”（公众生成）内容的大规模综合分析。
2. 构建健康应用分类体系：归纳并分类了 LLM 在健康领域的 6 大类 20 小类应用场景，为未来评估 LLM 部署提供了细粒度框架。
3. 识别素养与治理缺口：通过话语分析作为诊断工具，揭示了公众认知中的关键盲区（如对生成机制的误解、对风险的忽视），特别是大众平台在心理健康领域的“高风险 - 低认知”现象。

5. 意义与启示 (Significance)

• 公共话语作为诊断工具：研究证明，分析公共话语可以有效识别公众关注点、专业沟通的缺失领域以及新兴的素养和治理缺口。
• 沟通策略的改进：
  • 目前的披露（如“这是 AI"）不足以帮助用户理解 LLM 的局限性。
  • 需要超越表面的风险警告，转向**机制性理解（Mechanistic Understanding）**的教育，解释 LLM 为何会出错（概率生成 vs. 事实检索）。
  • 针对 TikTok/Reddit 等大众平台，需要制定专门的沟通策略，以平衡积极叙事与风险意识，防止过度拟人化带来的心理依赖。
• 治理与监管建议：
  • 监管应关注公众需求高但风险紧迫的领域（如 AI 心理健康陪伴），目前相关法规（如禁止 AI 充当治疗师）正在起步，但需更多实证支持。
  • 政策制定者应利用话语分析数据，优先处理那些公众关注度高但专业引导不足的领域。
• 设计启示：LLM 系统设计者应通过“原位素养（in situ literacy）”支架（如交互式解释、不确定性提示），帮助用户建立正确的心理模型，避免将 LLM 视为全知全能的人类替代者。

总结：该论文揭示了当前关于 LLM 在健康领域的公共叙事存在严重的“乐观偏差”和“机制盲区”。虽然公众热情高涨，但缺乏对技术本质和潜在风险的深刻理解，特别是在大众社交媒体上，这种认知差距可能导致严重的现实危害。研究呼吁通过改进沟通策略、加强机制性教育和针对性治理来弥合这一差距。