💬 NLP

Language and Experience: A Computational Model of Social Learning in Complex Tasks

本文提出了一种将预训练语言模型转化为概率推理框架的计算模型，通过联合推断传感器数据与语言指导来模拟社会学习，并在行为实验与模拟中验证了该方法能有效加速人类与智能体在复杂任务中的学习过程并促进跨代际及人机间的知识传递。

原作者： Cédric Colas, Tracey Mills, Ben Prystawski, Michael Henry Tessler, Noah Goodman, Jacob Andreas, Joshua Tenenbaum

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Cédric Colas, Tracey Mills, Ben Prystawski, Michael Henry Tessler, Noah Goodman, Jacob Andreas, Joshua Tenenbaum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的故事：我们如何像人类一样，既通过“亲自尝试”又通过“听别人建议”来快速学会新事物，并试图让 AI 也拥有这种能力。

想象一下，你被扔进了一个完全陌生的电子游戏世界（比如《超级马里奥》的某个新关卡），你只有 15 条命。你会怎么做？

1. 核心挑战：两条学习路径

人类学习新事物通常靠两样东西：

直接经验（摸爬滚打）： 你试着跳一下，发现掉坑里了（死了一次）；你试着撞一下红色的方块，发现它把你弹开了。这是通过“试错”来学习。
语言指导（听人指点）： 一个老玩家告诉你：“千万别碰带白点的红蘑菇，那是毒的！”或者“在橡树附近找黄色的蘑菇，那里最多。”这是通过“听别人说”来学习。

以前的 AI 很难同时做好这两件事：

有的 AI（强化学习）像是一个不知疲倦的笨小孩，它愿意死几百万次来学会怎么玩游戏，但效率极低。
有的 AI（大语言模型）像是一个博学的图书管理员，它读过很多书，能说出游戏规则，但一旦让它真的去操作游戏手柄，它往往手忙脚乱，甚至不知道下一步该往哪走。

2. 这篇论文的解决方案：给 AI 装上“大脑”和“耳朵”

作者们设计了一个新的 AI 模型，它结合了上述两者的优点。我们可以把这个模型想象成一个**“带着笔记本的侦探”**。

这个侦探是怎么工作的？

它有一个“假设库”（世界模型）：
当侦探刚进入游戏时，它脑子里有 20 种关于这个世界的“猜想”（比如：猜想 A 是“黄色方块是毒药”，猜想 B 是“黄色方块是金币”）。它不会盲目乱撞，而是先在心里推演。
它把“语言”当作证据：
当它读到老玩家留下的纸条（比如“黄色方块会杀了你”）时，它不会只是把这句话存起来。它会问自己：“如果我的猜想 A是对的，那么老玩家写下这句话的概率有多大？如果我的猜想 B是对的，概率又有多大？”
- 如果猜想 A 符合这句话，它就给猜想 A 加很多分。
- 如果猜想 B 和这句话矛盾，它就给猜想 B 扣分。
- 比喻： 就像你在破案，有人告诉你“凶手是左撇子”，你立刻就会把“右撇子嫌疑人”的嫌疑排除掉。
它把“大语言模型”变成了“翻译官”：
这是最巧妙的地方。作者利用了一个强大的大语言模型（LLM），但不是让它直接玩游戏，而是让它扮演两个角色：
- 角色一（说话者）： 当 AI 自己学会了规则，它让大语言模型帮它把规则写成通俗易懂的“新手指南”，传给下一个玩家。
- 角色二（倾听者）： 当 AI 看到别人写的指南时，它让大语言模型帮忙分析：“这句话最可能对应哪种游戏规则？”
- 比喻： 就像你有一个超级聪明的翻译官，它能把别人模糊的“别碰那个红的”翻译成具体的“红色方块 = 死亡”，也能把你脑子里复杂的规则翻译成别人能听懂的“人话”。

3. 实验结果：它真的学得快吗？

作者们让 AI 和真人一起玩 10 种不同的电子游戏，结果非常惊人：

只有试错（没人教）： 真人和 AI 都能学会，但 AI 学得更快、更稳。纯靠死磕的旧式 AI（Deep RL）几乎学不会，纯靠看书的旧式 AI（纯大模型）也玩不转。
有人教（看指南）：
- 避坑： 如果指南说“小心黄色”，AI 和真人就几乎不会去碰黄色，省下了很多条命。
- 加速： 如果指南说“把绿色推到橙色上能赢”，他们发现这个秘密的速度比瞎猜快了 40% 到 80%。
- 双向交流： 最酷的是，AI 写的指南也能帮到真人！ 真人看了 AI 写的“操作手册”，玩游戏的成绩也变好了。反过来，AI 看了真人写的指南，也能学得更好。

4. 代际传承：知识的积累

论文还做了一个有趣的实验：“传话游戏”。

第一个人玩 2 条命，写个纸条给第二个人。
第二个人玩 2 条命，再写个纸条给第三个人……
一直传到第 10 个人。

结果发现，随着代际传递，游戏通关率越来越高。就像人类文化一样，知识虽然每次传递都会丢失一点点（比如第一个人没写清楚），但通过一代代人的修正和补充，最终大家都能掌握复杂的规则。

5. 总结与意义

这篇论文的核心思想是：语言和经验不是对立的，它们是互补的。

以前的 AI：要么只会死磕（经验），要么只会空谈（语言）。
现在的 AI：学会了把语言当作“线索”，把经验当作“验证”，像人类侦探一样，通过**“听别人说 + 自己试 + 心里推演”**三者结合，快速掌握新世界的规则。

这对我们意味着什么？
这意味着未来的 AI 不仅能自己学习，还能像老师一样教人，也能像学生一样听人教。它们能理解人类模糊的建议，也能把复杂的发现用人类听得懂的话讲出来。这是迈向“人机协作”和“人机共同进化”的重要一步。

一句话总结：
这就好比给 AI 装上了一个**“会思考的翻译官”**，让它既能听懂老玩家的“潜台词”，又能把新发现变成“说明书”传给后人，从而在陌生的世界里不再是个只会撞墙的愣头青，而是一个聪明的探险家。

这是一篇发表于 ICLR 2026 的会议论文，题为《语言与经验：复杂任务中社会学习的计算模型》（Language and Experience: A Computational Model of Social Learning in Complex Tasks）。该论文由 MIT、斯坦福大学和 Google DeepMind 的研究人员共同完成。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

人类学习的核心能力之一是将他人的语言指导（Linguistic Guidance）与直接经验（Direct Experience）相结合，从而在新环境中实现安全、快速的学习。然而，现有的计算模型难以同时处理这两种知识来源：

强化学习 (RL) 代理通常需要数百万次试错才能掌握复杂任务，缺乏样本效率。
基于理论的 RL 虽然提高了样本效率，但通常无法进行社会学习（即无法利用语言）。
语言条件 RL 需要大量的“状态 - 语言”配对数据进行监督学习，难以泛化到未见过的指令。
大语言模型 (LLM) 擅长处理语言，但在交互式规划和具身学习（Embodied Learning）方面表现不佳，难以在复杂环境中进行长期规划。

核心挑战：如何构建一个通用的计算框架，使智能体能够像人类一样，将结构化的语言建议与感官运动经验结合起来，推断出可执行的世界模型，并据此进行高效探索？

2. 方法论 (Methodology)

作者提出了一种基于贝叶斯推断的计算框架，将社会学习建模为对结构化、可执行世界模型（World Models）的联合概率推断。

核心组件：

结构化世界模型 (Structured World Models)：
- 环境被建模为 VGDL (Video Game Description Language) 程序。
- 每个“理论” ( $T$ ) 是一个概率程序，定义了对象类型、碰撞交互规则（如“黄色方块杀死代理”）、奖励函数以及输赢条件。
- 代理维护一组候选理论（粒子），通过贝叶斯更新来推断真实的游戏规则。
语言作为证据 (Language as Evidence)：
- 说话者模型 (Speaker Model)：利用预训练的大语言模型 (LLaMA-3.1-70B) 来近似人类说话者的行为。即计算在给定世界理论 $T$ 下，说话者产生特定语言消息 $L$ 的概率 $P(L|T)$ 。
- 贝叶斯更新：代理结合经验证据 $E$ 和语言证据 $L$ 更新后验概率：
  $P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$
- 语言指导被转化为对候选理论的似然性评估，帮助缩小假设空间。
语言引导的提议 (Language-Guided Proposals)：
- 为了加速贝叶斯推断，LLM 不仅用于评估似然性，还用于生成提议分布。
- 当收到语言建议（如“黄色方块是致命的”）时，LLM 被提示生成符合该建议的具体规则（如“黄色杀死代理”），引导搜索过程快速收敛到正确的理论区域。
目标导向规划与探索 (Goal-Directed Planning & Exploration)：
- 代理基于最大后验 (MAP) 理论进行规划。
- 在探索（减少模型不确定性）和利用（获取奖励）之间进行平衡。
- 使用遗传算法优化动作序列，并包含安全机制（Lookahead）以防止灾难性错误。
双向知识生成：
- 代理不仅能理解语言，还能利用相同的说话者模型将自身的 MAP 理论转化为自然语言建议，传递给后续的学习者（人类或模型）。

3. 实验设置 (Experimental Paradigm)

环境：10 种基于 VGDL 定义的复杂视频游戏，涵盖空间推理、战术决策、关系组合等不同类型的学习挑战。
参与者：
- 人类实验：120 名参与者，分为三组：仅经验、经验 + 人类建议、经验 + 模型建议。
- 计算模拟：20 次模拟运行，对比了作者提出的模型、纯深度 RL (Double DQN)、纯 LLM (ReAct + CoT) 以及 Oracle（已知规则）基线。
迭代学习 (Iterated Learning)：模拟跨代学习，10 代智能体依次传递建议，测试知识的累积效应。

4. 主要结果 (Key Results)

A. 仅凭经验的学习

人类和作者的模型都表现出极高的样本效率（在 10 次生命内解决大部分游戏）。
纯深度 RL 和纯 LLM 基线在大多数游戏中表现极差，无法在有限生命内解决问题，突显了结构化世界模型的重要性。

B. 语言指导的作用

加速学习：无论是人类还是模型，获得语言建议后，完成关卡所需的尝试次数显著减少（人类减少约 1.75 次，模型减少约 1.25 次）。
塑造探索：语言指导能有效减少高风险交互（如避免致命方块），并加速关键机制的发现（如工具组合）。
错误的影响：错误的建议会导致探索偏差（如避开无害物体），但也证明了语言能直接塑造经验获取。

C. 人机双向知识转移

模型指导人类：模型生成的建议（结构清晰、逻辑严密）能显著帮助人类学习，效果甚至优于部分人类建议。
人类指导模型：模型也能从人类建议中受益，但在某些需要精确描述复杂交互的游戏（如 relational）中，人类描述的模糊性限制了模型的效率。
不对称性：模型从模型建议中学习的效果最好，因为模型生成的建议更完整且符合模型自身的推理逻辑；人类建议中包含的元认知策略（如“慢慢看”）或情感内容，模型较难利用。

D. 跨代知识累积

在迭代学习实验中，模型能够利用前代传递的碎片化知识，逐代优化世界模型，性能随代数增加而提升，模拟了人类文化知识的积累过程。

5. 关键贡献 (Key Contributions)

LM 作为说话者模型：首次将预训练 LLM 作为概率说话者模型，用于推断人类在特定信念下可能产生的语言，实现了语言与结构化世界模型的无缝对接。
语言证据的贝叶斯推断：提出了一种机制，将自然语言转化为对候选世界理论的似然性评估，使语言成为与经验同等重要的推断证据。
LM 加速推断：利用 LLM 生成针对性的规则提议，引导贝叶斯搜索快速收敛，解决了假设空间过大导致的推断难题。
双向社会学习框架：展示了计算模型不仅能从人类学习，还能生成对人类有效的教学建议，实现了人机协作学习的闭环。

6. 意义与展望 (Significance & Future Work)

认知科学意义：该研究为“人类如何结合语言与经验”提供了计算层面的解释，支持了人类心智通过结构化程序进行概率推断的理论。
AI 发展意义：
- 为构建样本高效且具备社会学习能力的 AI 系统提供了新范式。
- 展示了人机协作的潜力：AI 可以作为人类的高效导师，人类也可以作为 AI 的知识来源。
- 指出了当前 LLM 在具身推理和长期规划上的局限性，并展示了如何通过结合结构化模型来弥补。
未来方向：
- 扩展至更复杂的现实世界环境（连续状态空间）。
- 研究更丰富的语言抽象（如策略、启发式规则）的推断。
- 开发元认知机制，使模型能评估建议的可靠性（处理“教学的双刃剑”效应）。
- 探索基于声望的社会学习策略（选择向谁学习）。

总结：这篇论文通过结合大语言模型与基于理论的强化学习，成功构建了一个能够模拟人类社会学习机制的计算模型。它不仅证明了语言能显著加速复杂任务的学习，还展示了人机之间双向知识传递的可能性，为未来构建更具协作性和适应性的 AI 系统奠定了基础。