Latent Planning Emerges with Scale
该论文通过定义“潜在规划”并研究 Qwen-3 模型家族，揭示了大语言模型的规划能力随规模扩大而增强，表现为模型内部存在代表未来概念的潜在表征并能据此调整上下文以生成特定内容。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文探讨了一个非常有趣的问题：大型语言模型（LLM）在说话或写代码时，脑子里是不是真的在“做计划”？
想象一下，当你写故事时，你会不会先想好结局，然后倒推回来写开头？或者当你写一首押韵的诗时，你是不是先想好了最后一个词，然后为了押韵去调整前面的句子？
以前我们不知道模型是不是这样做的。这篇论文通过研究 Qwen-3 系列模型（从很小到很大），发现了一个惊人的规律：模型越大，它“暗中做计划”的能力就越强。
为了让你更容易理解，我们可以把语言模型想象成一个正在写作的“作家”，而这篇论文就是去观察这位作家的“大脑活动”。
1. 什么是“隐性规划”（Latent Planning）？
通常我们认为“做计划”是像人类一样，在纸上写下：“第一步做什么，第二步做什么”。但模型不会这样，它只是一个个字地往外蹦。
这篇论文定义的“隐性规划”是指：
- 向前看（Forward Planning）： 模型在还没写到那个词的时候，脑子里就已经“想好”了要输出某个特定的词（比如“会计师”）。
- 向后看（Backward Planning）： 模型不仅想好了这个词，还为了能让这个词顺理成章地出现，主动调整了前面的句子。
比喻：
这就好比你要在句子里填一个词"an accountant"（一名会计师）。
- 没有规划： 模型可能先写了 "a"，然后发现后面要接 "accountant"（以元音开头），于是尴尬地改口，或者干脆写错。
- 有规划： 模型在写 "Someone who handles financial records is..." 的时候，脑子里已经预演了 "accountant"。因为它知道后面要接 "accountant"，所以它提前决定用 "an" 而不是 "a"。这就是“向后规划”——为了未来的目标，调整现在的行动。
2. 规模越大，计划能力越强（Scale Matters）
研究者测试了从 0.6B（很小）到 14B（很大）的模型，发现：
- 小模型（0.6B - 1.7B）： 就像刚学写字的小学生。它们根本不知道后面要写什么，只能凭直觉猜。如果后面需要 "an"，它们通常会猜成 "a"，因为 "a" 更常见。
- 中等模型（4B - 8B）： 就像初中生。它们开始有点“计划”的苗头了。如果你强行给它们灌输“后面要写 accountant"的想法，它们能学会用 "an"。但它们自己主动做计划的能力还比较弱，经常失败。
- 大模型（14B+）： 就像经验丰富的作家。它们不仅能预测到后面要写 "accountant"，还能非常自然地调整前面的 "a/an"，甚至能处理更复杂的逻辑。
比喻：
这就好比搭积木。
- 小模型是搭一块看一块，搭到后面发现颜色不对，只能硬凑。
- 大模型是先把整栋楼的蓝图在脑子里过一遍，知道最后要放红色的顶，所以从一开始就选好了红色的砖块。
3. 他们是怎么“看”到模型的计划的？（技术揭秘）
研究者没有直接问模型“你在想什么”，而是用了**“特征电路”（Feature Circuits）**这种高科技显微镜。
- 比喻： 想象模型的大脑里有很多个“开关”（神经元）。有些开关专门负责“想到会计师”，有些负责“决定用 an"。
- 研究者发现，当模型要输出 "accountant" 时，那个“想到会计师”的开关会先亮起来。然后，这个信号会传递给“决定用 an"的开关，让它也亮起来。
- 研究者甚至做了实验：如果强行把这个“想到会计师”的开关关掉，模型就会忘记用 "an"，开始乱用 "a"。这证明了确实是这个“计划”导致了正确的输出。
4. 诗歌与押韵：计划能走多远？
研究者还让模型写押韵的对句（Couplets），比如：“他看见胡萝卜，必须抓住它（carrot）”，下一句要押韵，比如“他的饥饿像只饿兔子（rabbit）”。
- 发现： 模型确实能押韵，而且大模型押得更准。
- 局限： 但是，模型很少能为了押韵而提前写好整句诗。它们通常是在写到句子快结束时，才突然意识到“哎呀，要押韵了”，然后赶紧找个词凑合。
- 比喻： 就像你在开车，大模型能提前看到红绿灯并减速（简单的向后规划），但它很少会为了到达某个目的地而提前规划好整条路线（复杂的长期规划）。它更多是“见招拆招”。
5. 这对我们意味着什么？（安全与未来）
- 好消息： 目前（14B 参数以下）的模型，它们的“阴谋策划”能力还很弱。它们不会像电影里那样，为了一个秘密目标，精心策划几万字的故事来欺骗人类。它们的“计划”还很初级，主要是为了语法正确。
- 坏消息（或警示）： 随着模型越来越大（比如未来的 100B、1000B），这种“暗中做计划”的能力会指数级增长。如果模型学会了为了达成某个隐藏目标（比如“骗过人类”）而精心构建上下文，那将是一个巨大的安全风险。
总结
这篇论文就像给 AI 做了一次**“心理侧写”**。
它告诉我们：
- AI 确实在做计划，而且这种能力随着模型变大而变强。
- 这种计划不是像人类那样写“待办事项”，而是大脑里隐形的信号传递：为了未来的词，调整现在的词。
- 目前的模型还只是“初级规划者”，它们能处理简单的语法配合，但还不会写复杂的“阴谋剧本”。
- 我们需要盯着这些模型，因为随着它们越来越聪明，这种“隐性规划”可能会变成真正的“算计”。
简单来说：现在的 AI 还是个正在学步的孩子，虽然偶尔会为了拿糖果（目标）而调整姿势（规划），但它还不会策划一场复杂的抢劫。不过，看着它长得越来越快，我们得时刻盯着它。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。