🧬 biology

Closing the Loop to Discover Psychological Theories with an Automated Cognitive Scientist

本文介绍了 AutoCog，这是一个全自动人工智能系统，通过实验设计、数据收集和模型合成的迭代循环，自动生成、测试并完善可执行的认知理论，从而通过闭环方式完成了认知科学领域的科学发现，最终产生关于决策机制的新颖且经过实证验证的见解。

原作者： Akshay K. Jagadish, Younes Strittmatter, Nori Jacoby, George Kachergis, Eric Schulz, Nathaniel Daw, Suyog H. Chandramouli, Thomas L. Griffiths

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Akshay K. Jagadish, Younes Strittmatter, Nori Jacoby, George Kachergis, Eric Schulz, Nathaniel Daw, Suyog H. Chandramouli, Thomas L. Griffiths

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下这样一支科学家团队，他们正试图弄清楚人类的大脑是如何做出决策的。通常情况下，这是一个缓慢且依赖人工的过程：人类研究员提出一个理论，设计一个测试，在人身上进行实验，观察自己是否正确，然后根据错误之处尝试写出一个更好的理论。

这篇论文介绍了一个名为 AUTOCOG 的系统，它是一个全自动的“机器人科学家”，能够独立完成这一切，无需人类帮助即可实现从头到尾的闭环。不要把它仅仅看作一个单一的机器人，而要把它看作一个针对人类思维的“自动驾驶实验室”。

以下是它的工作原理，我们使用简单的类比来解释：

1. 设置：两位竞争的厨师

想象一下，你想找到完美的蛋糕配方，但你不知道配料是什么。于是你找来了两位竞争的厨师（即“种子理论”）。

厨师 A 认为秘密在于糖。
厨师 B 认为秘密在于面粉。

在过去，人类必须亲自烘焙蛋糕、品尝味道，并告诉厨师们如何改进。有了 AUTOCOG，该系统充当了首席评论家和不知疲倦的编辑。它接过这两位厨师手中的任务，并说：“好吧，让我们看看谁是对的。”

2. 循环：机器人的日常工作

AUTOCOG 以一个由四个步骤组成的持续循环运行，就像重复的游戏关卡一样：

第 1 步：设计终极测试（陷阱）
该系统扮演游戏设计师的角色。它观察厨师 A 和厨师 B 的观点，并设计出一个特定的“味觉测试”，让两人必然产生分歧。如果厨师 A 说“多加糖”，而厨师 B 说“多加面粉”，机器人就会创造一个只有其中一人能正确的蛋糕情境。这就像设置一个迷宫，只有一条路径通向出口。
第 2 步：收集证据（味觉测试）
机器人运行这项测试。它可以通过两种方式进行：
- 模拟： 它要求一个计算机模型（“数字人类”）来玩这个游戏。
- 真实人类： 它在线招募真实的人来进行选择（例如在具有不同专家评分的两个产品之间进行挑选）。
  机器人收集数据：“谁赢了？他们选择了什么？”
第 3 步：裁决（评论家）
机器人分析结果。它会问：“厨师 A 的配方符合口味吗？厨师 B 的呢？”
如果数据落在两者之间，机器人并不会简单地选出一个赢家。它会像侦探一样追问：“为什么两位厨师都失败了？他们遗漏了什么？”它会撰写一份报告，详细解释这些理论在哪些地方失效了。
第 4 步：重写（进化）
根据裁决结果，机器人会重写失败者的配方。它不仅仅是进行微调；它可能会发明一种全新的烹饪方法。它会创造一个“继任者”理论，试图修复之前的错误。然后，循环再次开始，伴随着这位经过改进的新厨师。

3. 结果：机器人发现了什么？

研究人员在决策领域（即人们如何在选项之间做出选择）测试了这个机器人。

记忆测试： 首先，他们向机器人输入了由已知“完美策略”生成的虚假数据。机器人成功破解了隐藏的规则，即使数据中存在噪声（比如人们犯下的随机错误）。这证明了机器人能够从数据中“学习”真相，而不仅仅是根据已知信息进行猜测。
真正的发现： 当他们让机器人在真实人类身上进行测试时，神奇的事情发生了。机器人不仅找到了人类已知的理论（如“取最优策略”或“加权平均”），它还发现了一些全新的东西。

新理论：
机器人发现，当人们查看评分（如 1 到 5 星）时，他们并不认为每个等级的提升是等价的。

旧观点： 从 4 星到 5 星的提升，与从 1 星到 2 星的提升在“量级”上是相同的。
机器人的发现： 人们觉得从 1 星到 2 星的提升是巨大的，但从 4 星到 5 星的提升感觉却很微小。这被称为“边际敏感度递减”。

为了证明这并非偶然，研究人员采用了机器人的新理论，将其记录下来，并针对新的一组人群进行了一项预注册研究（一项严格的、有计划的实验）。结果显示，人们的行为完全符合机器人的预测。机器人发现了一条新的心理学定律。

4. 为什么这很重要

该论文声称，这是第一个实现了创造性部分完全自动化的系统。

通常，AI 只能辅助分析数据或运行实验，但必须由人类提出理论的“构想”。
AUTOCOG 则能自主提出想法、测试想法、意识到错误，并发明更好的想法。

它将理论构建从一种手工艺术转变为一种可执行的、累积性的科学。机器人保留着每一步的日志，因此人类可以回溯查看，了解机器人是如何“思考”并最终走向新发现的。

简而言之： AUTOCOG 是一个会自我争论、在真人身上测试自己的想法、从失败中学习，并最终发现关于人类思维运作规律（甚至超越人类现有认知）的机器人。

技术摘要：通过自动化认知科学家实现闭环理论发现

问题陈述

心理学领域的科学发现历来受到理论构建这一创造性、人工化过程的瓶颈限制。尽管数据收集、建模和实验设计已经实现了越来越多的自动化，但生成新理论的核心步骤——即将现有模型的失败积累转化为更好的模型——仍然是一门以人为中心的艺术。现有的其他领域（如化学、材料科学）的自动化发现系统通常只能自动化单个阶段或在静态数据集上搜索固定的模型空间。在认知科学中，挑战是概念性的：心灵的理论无法被直接编译或求解，而必须在开放的概念空间中导航，以使模糊的心理过程具有机械意义上的可解释性。本文解决的核心问题是缺乏一个能够实现人类行为闭环发现的完全自主系统，即能够提出竞争性理论、设计判别性实验、收集数据并合成改进理论，且无需人工干预。

方法论：AUTOCOG 系统

作者提出了 AUTOCOG（AUTOmated COGnitive scientist，自动化认知科学家），这是一个旨在实现闭环发现的完全自主智能体系统。该系统在一个由 $N$ 个周期组成的闭环管线中运行，包含四个由大语言模型（LLM）智能体驱动的关键阶段：

初始化： 研究人员指定任务领域、指令、实验设计空间、模型设计空间、种子理论以及可选的度量标准。
实验设计： 一个 LLM 智能体提议一项实验，其中两个现有的理论会做出截然不同的预测，遵循对抗性实验设计的原则。第二个智能体提议一个度量标准，用于量化一个理论相对于另一个理论的预期优势。系统在数据收集前通过前向模拟验证这些提议，以确保可判别性。
行为数据收集： 执行所确定的实验。在本研究中，数据从三个来源收集：
- 已知认知模型的模拟行为（真值恢复）。
- 基础模型（作为模拟替代品）。
- 通过 Prolific 在线招募的人类参与者。
分析与仲裁： 系统使用预注册的度量标准将现有理论的生成行为与观测数据进行比较。一个基于 LLM 的仲裁智能体解释发现结果，诊断理论为何失败，并建议修改方案。
理论修订： 根据仲裁结论，一个单独的 LLM 智能体修订较弱的理论。这包括重新合成相关的认知模型，或利用程序合成（生成可执行的 Python 代码）从头生成理论。修订后的理论重新进入循环。

关键设计原则：

开放式搜索： 系统搜索的是理论和实验的空间，而非从固定的候选集中进行选择。
生成式比较： 理论的比较基于其生成行为的能力（前向模拟），而非拟合观测数据的参数，从而降低了过拟合风险。
自我验证： 每个提议（实验、理论、度量）在观察实际数据之前，都会通过模拟针对其自身的预测进行验证。
泛化压力： 理论必须能够捕捉跨多个群体和任务的行为才能生存，这构成了对简洁性和统一性的隐性压力。

核心贡献

首个认知理论自主闭环系统： AUTOCOG 被认为是第一个能够直接从人类行为中自主发现人类认知理论的系统，实现了从实验设计到理论修订的闭环，无需研究人员干预。
可执行的理论表示： 系统将理论视为自然语言描述的机械性主张与可执行 Python 程序相结合，从而允许严谨的模拟与验证。
对抗性发现框架： 系统利用 LLM 智能体为竞争性理论进行辩护，并专门设计实验来区分这些理论，模拟了科学辩论中的对抗性质。

结果

1. 已知决策策略的恢复

在已知真值策略的模拟实验中，即使以截然不同的竞争理论作为种子，AUTOCOG 也能成功恢复生成理论。

规范策略： 系统以高保真度恢复了“取最优”（Take-the-Best, TTB）、“计数”（Tallying）和“加权加法”（Weighted-Additive, WADD）策略（在无噪声条件下，均方误差与真值不可区分）。
非规范策略： 系统在 5–20 个周期内成功恢复了非常规策略（如“取最差”、“交替”或“惯性行为”），证明它并不严格受限于底层 LLM 的先验知识。
噪声鲁棒性： 性能随动作噪声 ( $\epsilon$ ) 的增加而优雅下降；当面对纯噪声时，系统收敛于随机选择模型，表明它不会在不存在结构的地方强加结构。

2. 多属性决策中的发现（二值线索）

在针对人类参与者的二值线索任务（以 TTB 和 WADD 为种子）中运行后，AUTOCOG 浮现出了一个非线性主观加权模型。

表现： 该理论在文献（Hilbig et al., 2014）的留出数据集上显著优于种子理论（TTB、计数、WADD）。
机制： 该模型将三种规范启发式算法统一为受线索有效性幂律变换（指数参数）控制的单一机制的极限情况。它在没有显式参数优化或简洁性约束的情况下实现了这一点，其动力源于对跨数据泛化的需求。

3. 多属性决策中的发现（基数线索）

通过将设计空间扩展到包含基数线索（整数 0– $r_{max}$ ），AUTOCOG 发现了收益递减的 WADD 模型。

新颖性： 该理论假设个体在按有效性加权之前，会对线索值应用一个凹函数（utility function）。这意味着对特征值的敏感度存在递减效应：低值区域的单位差异比高值区域的相同差异具有更大的影响。
验证： 该系统的发现通过一项针对新人类参与者的预注册研究得到了前瞻性测试。研究证实了该理论衍生的三个假设：
- H1（模型判别）： 参与者选择由“收益递减 WADD”预测的选项的频率，显著高于由线性 WADD、计数或 TTB 预测的频率。
- H2（陡峭 vs 平缓）： 参与者在“陡峭”（低值）区域表现出的敏感度比在“平缓”（高值）区域更高。
- H3（水平偏移）： 当相同的客观线索值结构呈现在低值范围与偏移后的高值范围时，其产生的影响力不同。

意义与主张

本文声称，AUTOCOG 展示了自动化发现系统如何将认知理论构建转变为一种显式的、可执行的且具有累积性的科学。

自动化创造性步骤： 系统实现了“生成理论”这一此前被认为具有人类特有性的“创造性”步骤的自动化。
数据驱动的发现： 发现（包括新颖的收益递减发现）是由收集到的行为数据驱动的，而非 LLM 的先验知识，这从系统能够恢复非规范策略以及在纯噪声中无法发现结构中得到了证实。
可审计性： 整个发现轨迹都被记录为机器可读的追踪日志，使得科学推理路径是透明可查的，允许其他智能体或研究人员从前沿处恢复搜索。
范围： 作者指出，系统的能力受限于人类指定的实验和模型设计空间，且从口头理论到可执行代码的转化仍是一个挑战。然而，他们断言，发现人类行为的心理学理论已在自动化的掌控之中。

该工作并不声称要取代人类科学家，而是旨在改变他们的角色——从执行者转向规范者（即决定什么是好的理论并定义搜索空间），而系统则负责迭代地生成和测试候选方案。