What are AI researchers worried about?

这项针对 4000 多名 AI 研究人员的大规模调查显示，尽管公众讨论常聚焦于极端威胁，但研究人员实际上更关注现实的社会技术风险，且仅有 3% 的人将生存风险视为首要担忧，这表明 AI 领域的真实态度比公众认知更为理性与正常。

要点

这篇论文就像是一次对"AI 界内部人士”的大规模“人口普查”。

想象一下，现在的公众舆论场就像是一个嘈杂的广场。在这个广场上，只有几个拿着大喇叭的“超级明星”（科技巨头 CEO 和少数著名科学家）在喊话。他们要么在吹嘘 AI 能让人类永生，要么在警告 AI 会像《终结者》里的天网一样毁灭人类。

但是，广场角落里还有4000 多名真正在实验室里敲代码、写论文、造模型的 AI 研究人员。他们平时很少说话，但这次，研究者们（来自伦敦大学学院等机构）决定给他们发问卷，问问他们到底在想什么。

结果发现，这些“内部人士”的想法，和广场上那些大喇叭喊出来的内容，大相径庭。

以下是这篇论文的核心发现，用几个简单的比喻来解释：

1. 广场上的“末日恐慌”vs. 实验室里的“日常烦恼”

• 公众听到的： 媒体和某些大人物总说，AI 最大的威胁是“存在性风险”（Existential Risk），也就是 AI 觉醒后把人类灭绝了。这就像大家都在担心外星人明天会不会入侵地球。
• 研究人员担心的： 在 4000 多名研究人员中，只有**3%**的人最担心“外星人入侵”。
• 他们真正担心的是什么？ 他们更担心现实生活中的“小麻烦”，就像担心家里的水管漏水、邻居吵架或者有人偷快递。
  • 头号担忧： 坏人用 AI 干坏事（恶意使用）、假新闻满天飞（误导信息）、以及 AI 抢走大家的工作。
  • 结论： 研究人员觉得 AI 目前更像是一个强大的工具，而不是一个有自我意识的怪物。他们担心的是工具被用错了地方，而不是工具自己“活”了过来。

2. “乐观的科学家”vs. “怀疑的普通人”

• 关于好处： 研究人员对 AI 非常乐观。90% 以上的人认为 AI 带来的好处大于坏处，就像他们相信电力的发明最终会造福人类。
• 关于坏处： 有趣的是，当谈到具体的坏处时，研究人员和普通大众的看法惊人地一致。
  • 大家都担心：假新闻、隐私泄露、网络犯罪。
  • 唯一的分歧： 大众觉得 AI 可能没什么好处，甚至觉得它是个麻烦；但研究人员坚信它能改善教育和工作效率。
  • 比喻： 就像一群厨师（研究人员）和一群食客（大众）。厨师们觉得新发明的料理机（AI）能做出绝世美味（乐观），但也担心有人用料理机切到手（风险）；而食客们觉得这机器太吵了，可能还会把厨房弄乱（悲观）。但在“机器可能会切到手”这件事上，厨师和食客是同仇敌忾的。

3. “黑盒子”与“原材料”的争议

• 关于数据： 很多 AI 模型是用网上随便抓来的图片写的。研究人员对此很不满。
  • 比喻： 这就像一家餐厅，厨师们（研究人员）说：“我们不能随便去邻居家的花园摘花来做菜，得先问邻居同不同意，或者至少给点钱。”
  • 超过 65% 的研究人员认为，公司训练 AI 时，必须获得数据创作者的许可，不能“白嫖”。
• 关于责任： 以前，科技公司常说：“我们只负责造车，撞不撞人是司机的事。”
  • 新态度： 这次调查发现，三分之二的研究人员认为，造出 AI 的人必须为 AI 造成的现实后果负责。他们不想再当“甩手掌柜”了。

4. 谁在掌控方向盘？

• 现状： 目前，AI 的研究方向主要由大科技公司（如 Google, Meta 等）说了算，就像一辆车被几个富有的乘客强行按着方向盘往“赚钱”的方向开。
• 研究人员的愿望： 大多数研究人员希望 AI 是开源的（像公共图书馆的书，大家都能看），并且希望政府把资金更多地投向医疗和教育，而不是军事。
• 隐忧： 研究人员担心，随着 AI 越来越被大公司垄断，这种“公开讨论”的空间会变小，大家的意见会被淹没。

总结：这篇论文想告诉我们什么？

这篇论文就像是一面镜子，照出了公众讨论中的失真。

1. 打破神话： AI 并不是只有“毁灭人类”或“拯救世界”两个极端。在研究人员眼中，它更像是一个正在快速成长的、有点调皮的孩子，我们需要管教它（监管），而不是把它关进笼子（过度恐慌）或者把它供成神（过度吹捧）。
2. 回归常识： 研究人员担心的都是此时此刻的问题（假新闻、失业、隐私），而不是遥远的未来（人类灭绝）。
3. 呼吁对话： 现在的政策制定者太听信那几个“大喇叭”的声音了。这篇论文呼吁，应该多听听这 4000 多名普通研究人员的声音，因为他们更懂技术，也更关心技术如何真正影响普通人的生活。

一句话总结：
别被那些关于"AI 毁灭人类”的科幻故事吓坏了，真正的 AI 专家们更担心的是假新闻、隐私泄露和谁该为 AI 的错误买单。我们需要的是脚踏实地的监管，而不是天马行空的恐慌。

技术摘要

这是一份关于该论文《AI 研究人员在担心什么？》（What are AI researchers worried about?）的详细技术摘要。

1. 研究背景与问题 (Problem)

随着人工智能（AI）吸引巨额投资和关注，公众辩论往往被少数强有力的声音（如科技巨头领导人和知名科学家）主导，倾向于强调极端的承诺或威胁（如存在性风险）。然而，这种叙事可能无法代表广大 AI 研究人员的真实观点。

• 核心问题：现有的公众辩论和科技公司的优先事项是否真实反映了 AI 研究人员的意见？
• 现有局限：以往针对 AI 研究人员的调查多侧重于预测（如“何时通过技术阈值”或“人类灭绝的概率”），这种框架掩盖了科学研究中固有的不确定性和多样性。
• 研究假设：AI 研究人员的观点与公众观点存在显著差异，但在风险评估和优先级的设定上，可能存在令人惊讶的共识。

2. 方法论 (Methodology)

该研究由伦敦大学学院（UCL）科学和技术研究系的研究团队于 2024 年 6 月至 7 月进行，是迄今为止规模最大的 AI 研究人员调查之一。

• 样本构建：
  • 来源：从 ArXiv 预印本平台抓取了 2020 年 1 月至 2024 年 2 月间发表的 43,325 篇 AI 相关文章（涵盖 cs.AI, cs.LG, cs.CV, cs.CL 等子领域）。
  • 抽样：从 165,226 名唯一作者中随机抽取 99,516 人发送问卷。
  • 最终数据：回收有效问卷 4,260 份（响应率 7.6%）。
  • 人口统计：77% 在高校/研究机构，23% 在工业界/政府；71% 拥有博士学位；81% 为男性，18% 为女性；主要分布在美、英、中三国。
• 调查设计：
  • 包含李克特量表（Likert scale）问题，对比了英国公众（来自 ONS 和 Ada Lovelace 研究所的数据）对 AI 风险、收益和责任的看法。
  • 核心开放性问题：“关于 AI，你最担心的一件事是什么？”（What one thing most worries you about AI?）。
• 数据分析：
  • 对 3,718 条开放文本回复进行了人工编码（人工分类优于 BERTtopic 模型），生成了 51 个代码类别。
  • 使用双样本比例 Z 检验（Two-sample proportional z-test）分析不同群体（如性别、行业、AGI 信念）之间的担忧差异。

3. 主要发现与结果 (Key Results)

A. 风险与收益的感知差异

• 收益观：研究人员对 AI 持高度乐观态度（87% 认为收益大于或平衡风险），而英国公众中仅有 57% 持相同观点，且 36% 的公众认为 AI 对生活没有积极影响。
• 风险观（共识）：在负面影响的优先级上，研究人员与公众表现出惊人的一致性。双方最担心的前三项均为：
  1. 虚假信息（Disinformation）
  2. 未经同意使用数据（Use of data without consent）
  3. 网络犯罪（Cybercrime）
  • 这表明研究人员并非只关注长期技术风险，而是更关注当下的社会技术风险。

B. 开放文本中的担忧分布（核心发现）

针对“最担心什么”的开放性问题，结果显示：

• 存在性风险（Existential Risk）极低：仅 3% 的研究人员将其列为首要担忧。这与媒体和政策界过度强调的“超级智能失控”或“人类灭绝”形成鲜明对比。
• 主要担忧集中在近期社会影响：
  • 恶意使用 (Malicious Use)：10.6%（如武器化、犯罪）。
  • 滥用 (Misuse)：9.9%（错误或不适当的使用）。
  • 虚假信息 (Misinformation)：8.8%。
  • 就业影响 (Impact on jobs)：7.1%。
  • 公众理解 (Public understanding)：5.4%（非专家对 AI 能力的误解）。
• 其他显著担忧：包括权力集中（3.9%）、不平等（3.8%）、黑盒/缺乏透明度（3.8%）以及利润驱动的开发（3.2%）。
• 群体差异：
  • 性别：女性研究人员比男性更担心偏见（8% vs 4%）。
  • AGI 信念：认为 AGI 不可避免的研究人员更担心存在性风险和隐私；而不相信 AGI 不可避免的人更担心“炒作”（Hype）。
  • 行业：工业界研究人员比学术界更担心“炒作”和“就业”，且几乎不担心环境影响（0% vs 2%）。

C. 责任与治理

• 数据权利：超过 65% 的研究人员认为 AI 公司不应随意使用公开数据训练模型，需要明确许可或退出机制（Opt-out）。
• 问责制：约 2/3 的研究人员同意“创造 AI 系统的人应对其现实世界的影响负责”，反对将责任完全推给用户。
• 研发方向：多数研究人员认为科技行业在设定 AI 研究优先级上角色过大，并倾向于开源模型。在政府资助方面，他们强烈支持医疗和教育领域，反对军事 AI。

4. 关键贡献 (Key Contributions)

1. 纠正叙事偏差：提供了实证数据证明，AI 研究人员并不像公众想象的那样主要关注“存在性风险”或“超级智能”，而是更关注“正常技术”带来的社会技术风险（如数据隐私、偏见、恶意使用）。
2. 揭示共识：打破了“专家盲目乐观、公众盲目恐惧”的刻板印象，发现在具体的负面社会影响（如虚假信息、数据滥用）上，专家与公众高度一致。
3. 方法论创新：通过大规模开放文本分析，捕捉到了传统预测性调查（如概率预测）所忽略的多样性和细微差别。
4. 揭示内部多样性：展示了 AI 研究社区内部并非铁板一块，不同性别、行业和对 AGI 信念的研究人员之间存在显著的担忧差异。

5. 意义与启示 (Significance)

• 政策制定：政策制定者不应仅基于少数“存在性风险”倡导者的声音来制定法规，而应关注研究人员和公众共同关心的、已显现的社会技术风险（如版权、隐私、就业、虚假信息）。
• 公众参与：当前的 AI 话语可能导致公众疏离。研究人员的观点实际上比公众代表的更“正常”（Normal），这为建立新的公众对话形式提供了基础。
• 研究议程：呼吁将 AI 研究议程从单纯的“对齐（Alignment）”和“安全性”扩展到更广泛的社会责任、数据伦理和分配正义。
• 紧迫性：随着 AI 研究日益私有化（由大公司主导），获取独立研究人员声音的机会可能会迅速减少。因此，现在建立包容性的对话机制至关重要。

总结：该论文通过大规模实证调查，揭示了 AI 研究人员实际上更关注当下的、分布不均的社会技术风险，而非媒体大肆渲染的长期存在性威胁。这为构建更平衡、更具包容性的 AI 治理框架提供了重要的证据支持。