AI Researchers' Views on Automating AI R&D and Intelligence Explosions

该研究通过对 25 位前沿 AI 专家的访谈发现,尽管学界对自动化 AI 研发引发智能爆炸的时间表及治理机制存在分歧,但绝大多数受访者将其视为紧迫风险,并预测 AI 将从辅助工具演变为自主开发者,且相关高级能力将主要被限制在内部使用。

Severin Field, Raymond Douglas, David Krueger

发布于 Mon, 09 Ma
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一份**“未来 AI 工程师的内心独白”**。

想象一下,人类正在制造一种超级机器人,这种机器人不仅能帮人类干活,还能自己设计、制造出更聪明的下一代机器人。这就好比一个工匠不仅能打铁,还能自己发明出更先进的打铁机器,然后让新机器去造更厉害的机器,以此类推,形成一个“滚雪球”式的加速过程。

这篇论文的作者们(一群研究 AI 的学者)在 2025 年 8 月和 9 月,采访了 25 位站在 AI 技术最前沿的“大牛”(来自谷歌、OpenAI、高校等)。他们想搞清楚:大家真的相信这个“滚雪球”会发生吗?如果发生了,世界会变成什么样?我们该怎么办?

以下是用大白话和比喻总结的核心发现:

1. 大家眼中的“未来机器人”长什么样?

大多数被采访者认为,AI 不会一夜之间突然变成超人,而是会经历三个阶段,就像游戏里的**“升级打怪”**:

  • 第一阶段(加速器): AI 像个超级助手。比如你写代码,它帮你把速度提高 5 倍。就像给你配了一个不知疲倦的实习生,但还得你盯着。
  • 第二阶段(合伙人): AI 能独立负责一部分任务。比如你给它一个大方向,它能自己把整个模块写完,你只需要最后验收。就像它变成了你的“副手”。
  • 第三阶段(独立导演): AI 能自己从头到尾搞科研。它自己发现问题、自己写代码、自己测试,甚至自己改进自己。这时候,人类反而成了那个“拖后腿”的瓶颈,公司可能会想:“既然 AI 能自己干,那还要这么多人类研究员干嘛?”

2. 最大的分歧:是“公开透明”还是“关门搞事”?

这是采访中最有趣的一个矛盾点。大家对于 AI 公司会怎么使用这种强大的 AI 研发工具,看法截然不同:

  • 支持“关门搞事”派(主要是大厂内部人员):

    • 比喻: 就像一家拥有顶级配方的餐厅,绝不会把配方公开,因为那是他们的核心竞争力
    • 理由: 如果我把能帮我造出更厉害 AI 的工具公开了,我的竞争对手也会用,那我就不领先了。而且,这种工具太危险,怕被坏人拿去或者被破解。
    • 预测: 未来最厉害的 AI 研发工具,可能只会在公司内部或政府手里,普通大众根本看不到。
  • 支持“公开透明”派(主要是学术界和外部观察者):

    • 比喻: 就像开源软件运动,大家觉得**“阳光是最好的防腐剂”**。
    • 理由: 公司需要赚钱,需要向投资人展示成果,而且很难完全封锁消息(员工会跳槽、会有人泄密)。如果大家都藏着掖着,出了问题谁也发现不了,反而更危险。

3. 最大的担忧:不仅仅是 AI 变强,而是“失控”

大家最担心的不是 AI 变聪明本身,而是**“速度”“黑箱”**。

  • 元风险(Meta Risk): 想象一下,如果 AI 能自己加速研发,那它不仅能造出更强的 AI,还能加速所有其他领域的风险(比如制造生物武器、网络攻击等)。它就像一个**“风险放大器”**。
  • 追赶不上: 最可怕的情况是,AI 自我进化的速度太快,人类的大脑和法律法规根本追不上。就像你试图用马车去追超音速飞机,还没等你反应过来,飞机已经飞出大气层了。
  • 权力集中: 如果只有少数几家公司或国家掌握了这种“自我进化的 AI",那他们就拥有了**“赢家通吃”**的绝对权力,其他人只能任人宰割。

4. 两个世界的“认知鸿沟”

论文发现了一个非常明显的**“硅谷 vs. 学术界”**的分裂:

  • 硅谷(大厂): 他们每天都在讨论这个,甚至被鼓励去讨论。因为他们亲眼看着技术指数级增长,觉得“自我进化”是自然而然的下一步。他们的心态是:“既然能加速,那就加速吧,我们要赢。”
  • 学术界(高校): 很多教授对此持怀疑态度。他们觉得这太像科幻小说了,或者认为有物理极限(比如数据不够、算力不够)。在学术界,过分谈论“智能爆炸”可能会被认为是不严谨,甚至像“民科”。

比喻: 就像一群在赛车场开 F1 的车手(大厂),觉得“只要引擎够好,速度就能无限快”;而一群在实验室研究流体力学的教授(学术界)则说:“等等,空气阻力会限制速度的,你们太乐观了。”

5. 我们该怎么办?(红线 vs. 透明)

面对这种风险,大家提出了两种治理思路:

  • 设“红线”(Red Lines): 比如规定"AI 不能在没有人类批准的情况下自我改进”。
    • 问题: 这太难执行了。怎么定义“自我改进”?怎么防止有人偷偷改?就像规定“禁止超速”,但没人知道车到底开多快,也没人知道司机有没有偷偷改装引擎。
  • 要“透明”(Transparency): 大家更倾向于**“强制报告”**。
    • 比喻: 就像给 AI 公司装**“黑匣子”**。不管你们在内部怎么搞,必须定期向外界汇报进度,让大家都知道发生了什么。
    • 理由: 既然很难完全禁止,那就至少让我们看得见。如果看不见,等我们发现问题时,可能已经来不及了。

总结

这篇论文告诉我们:AI 界的精英们并不觉得“自我进化的 AI"是遥不可及的幻想,他们正在认真规划它。

最大的风险不在于 AI 突然“觉醒”并反抗人类,而在于少数几个掌握核心技术的巨头,在人类还没反应过来之前,就关起门来把技术迭代到了我们无法理解的程度

未来的关键,可能不在于能不能造出这种 AI,而在于我们能不能在“关门造车”和“公开透明”之间找到平衡,确保人类始终能看清方向盘在哪里。