技术摘要：BrainPilot —— 利用智能体驱动脑科学发现自动化

问题陈述

理解大脑日益需要整合跨尺度、跨模态和跨学科的证据。开展一项单一的神经科学研究问题涉及一系列协调的操作序列：调研前人工作、设计实验、执行分析，并在特定的领域背景下解释结果。虽然 AI 智能体（Agents）有望加速这一过程，但目前的系统在脑科学领域面临关键局限性：

1. 缺乏领域专业知识： 通用型智能体通常缺乏神经科学所需的特定实验室级知识。
2. 可靠性问题： 智能体可能会捏造主张、在多步推理过程中发生漂移，或产生缺乏证据支持的结果。
3. 不透明性： 现有的工作流缺乏明确的人类专家干预点，导致研究人员难以检查中间步骤或纠正方法论错误。
4. 成本与效率： 高性能智能体框架往往会产生显著的计算和资金成本。

本文认为，为了使 AI 辅助加速在脑科学领域具有可行性，研究过程必须保持可信，将人类专业知识集成在决策点，并建立清晰的证据与主张审计追踪。

方法论

作者提出了 BrainPilot，一个全开源、人机回环（human-in-the-loop）的多智能体系统，旨在加速脑科学研究。该系统构建在三个核心支柱之上：

1. 多智能体架构

BrainPilot 采用了一个首席研究员（PI）智能体来协调一个专家团队。默认团队包括：

• PI 智能体（首席研究员）： 负责协调任务、澄清用户意图、委派子任务、综合结果并路由交付物。
• Librarian（图书管理员）： 调研文献并提供知识落地（关键发现、空白点、假设）。
• Experimentalist（实验员）： 设计科学程序，包括操作化定义、对照组设置和实验方案。
• Engineer（工程师）： 将设计转化为可复现的代码，执行代码并报告输出。
• Writer（撰稿人）： 根据专家的交接内容起草并润色科学文档。
• Auditor（审计员）： 独立验证输出是否存在捏造行为，在交付前根据会话证据检查数值主张、文件引用和引用文献。

所有智能体共享一个消息契约和一个自我记录契约，用于将有形输出记录到中央追踪（trace）中。

2. 精选领域知识

为了让智能体扎根于脑科学，BrainPilot 利用了两个离线构建的资产，这些资产作为服务暴露，而非仅仅依赖参数化记忆：

• 统一知识库： 一个包含 7,233 个索引条目（教科书和论文）的检索语料库，涵盖 11 个学科组（如精神病学、系统神经科学、AI/ML）。该库通过 OCR、分块处理并使用 BAAI bge-m3 模型进行嵌入构建，并使用交叉编码器（cross-encoder）重排序器来确保相关性。
• 技能库（Skill Library）： 一个包含 72 个可重用方法单元的集合，分布在七个研究领域（如细胞、认知、临床）。技能分为描述性（方法论规范）或可执行型（代码例程）。它们源自 LLM 编写的规范、从论文中提炼并从成熟工具（如 DeepLabCut, MNE-Python, fMRIPrep）中提取。技能路由器允许智能体按需查询并加载技能，从而保持较低的上下文开销。

3. 追踪图谱 (Graph of Trace, GoT)

GoT 是一个追加式的、可审计的记录，它将子目标、工具使用、证据和主张联系在一起。随着智能体完成子任务，它们向 GoT 汇报，GoT 据此构建研究工作流的有向无环图（DAG）。这使得研究人员能够：

• 实时追踪研究轨迹。
• 检查中间输出的基础。
• 在错误传播之前识别并纠正错误。
• 验证主张是否得到会话证据的支持。

核心贡献

1. 系统设计： 一种专门为脑科学定制的新型多智能体框架，集成了精选领域知识、可重用技能以及用于减轻幻觉和漂移的审计机制（Auditor 智能体）。
2. 知识基础设施： 创建了一个统一的脑科学知识库（7,233 个条目）和一个技能库（72 个技能），作为智能体推理的落地层。
3. 可追溯性： 实现了“追踪图谱”（Graph of Trace），提供了透明、可检查的整个研究工作流记录，将行动与证据相连。
4. 基准测试： 引入了 BrainPilotBench-v0，这是一个专门针对脑科学智能体的初步基准测试，包含四个任务（RSC 位置细胞分析、TOPS-fMRI、BCI 运动想象、Sleep-EDF），具有基于人工制品（artifact-based）的评分机制和严格的隔离协议。

结果

论文从三个维度评估了 BrainPilot：

1. 智能体的最后考试 (Agents' Last Exam, ALE)

BrainPilot 在 ALE 基准测试中的三个脑科学任务上进行了测试（颅骨剥离质量控制、ROI 重采样、C. elegans 神经元追踪）。

• 性能： 在启用领域知识后，BrainPilot 在确定性任务上的表现与最先进的框架（如 Codex, Claude Code）相当。例如，在特定骨干模型下，它在 T1 和 T2 任务上获得了满分（1.00）。
• 成本与效率： BrainPilot 展示了显著的效率提升。在匹配的骨干模型下，它完成运行所需的时间仅为竞争框架的 8–63%，成本仅为 5–56%。最便宜的配置（BrainPilot + DeepSeek-V4-Pro）成本为 0.08 美元，而 Codex + GPT-5.5 则为 22.53 美元。
• 局限性： 在开放式神经元追踪任务（T3）上的表现较低，表明其在处理高度非结构化问题时存在挑战。

2. BrainPilotBench-v0

在涵盖钙成像、fMRI、EEG 和睡眠分期的四个任务上进行了评估。

• 性能： 使用 claude-opus-4.8 的 BrainPilot 在 RSC 任务上取得了最高分（1.00），并在 BCI 任务上取得了最高分（0.20）。在 fMRI 任务上，它通常优于匹配的 Claude Code 配置。
• 领域知识的影响： 启用领域知识的效果表现不一；它在 26 个有效单元格中提升了 8 个得分，降低了 14 个，另有 4 个保持不变，这表明知识检索并不总能保证在所有场景下都带来更好的表现。
• 成本： 成本随骨干模型的变化而显著不同。使用 deepseek-v4-pro 的 BrainPilot 虽然速度更快，但在相同任务上比 Claude Code 略贵；而使用 claude-opus-4.8 的 BrainPilot 则因其更高的性能而产生了高昂的成本溢价。

3. 案例研究

五个端到端的案例研究展示了 BrainPilot 处理复杂、多步工作流的能力：

• RSC 中的空间编码： 成功执行了针对双光子钙成像数据的 5 步分析（筛选、可视化、解码、相关性、动力学），并生成了连贯的结果和科学报告。
• 小鼠视觉系统的功能层次： 分析了 Neuropixels 数据以测试生理测量值与解剖层次的关系，识别出了响应潜伏期和感受野直径的正相关性。
• fMRI 疼痛解码： 在实验性阵发性疼痛数据上训练了功能连接特征，并验证了其在独立临床队列中的迁移能力，将权重映射到可解释的疼痛回路。
• EEG 运动想象： 为 BCI Competition IV 2a 设计了一个 PyTorch 模型，其表现优于 EEGNet 基准（Cohen's kappa 为 0.493 对比 0.440）。
• 睡眠分期： 在 Sleep-EDF 数据上实现了一个 5 类睡眠分期解码器，其指标达到了与 DeepSleepNet 参考模型相当的水平，并进行了生理学验证。

重要性与主张

论文声称，BrainPilot 代表了迈向可靠、高效且透明的脑科学智能体研究的重要一步。其重要性在于：

• 弥合差距： 超越了通用型智能体，转向植根于特定、精选领域知识和可重用技能的系统。
• 确保有效性： 通过集成 Auditor 智能体和追踪图谱（Graph of Trace），该系统解决了科学有效性的关键问题，确保主张有据可查，且工作流对人类专家是可检查的。
• 成本效益： 证明了在适当的知识编排下，开源骨干模型可以以极低的成本实现媲美昂贵商业系统的性能。
• 社区框架： 发布 BrainPilot、BrainPilotBench 以及底层的实现方法，旨在邀请社区参与构建更广泛的自动化脑科学发现生态系统，强调未来的进步取决于扩展基准测试和完善技能的协作努力。

作者保持了谦逊的语气，承认虽然该系统加速了研究，但人类专业知识对于验证解释、定义方法论约束以及引导研究过程仍然至关重要。他们将 BrainPilot 视为未来开发多模态集成和更复杂子工作流的基础。