🤖 AI

Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging

本文介绍了 Imaging-101，这是一个包含跨六个科学领域的 57 个经专家验证的计算成像任务的基准测试，旨在评估大语言模型（LLM）编码智能体，研究揭示了当前前沿模型在算法选择和物理惯例处理等领域特定挑战方面表现挣扎，从而凸显了对专门化、技能增强型智能体的需求，以实现可靠的科学发现。

原作者： Siyi Chen, Jiahe Ying, Yixuan Jia, Yuxuan Gu, Enze Ye, Weimin Bai, Zhijun Zeng, Shaochi Ren, Binhong Gao, Yubing Li, Tianhan Zhang, He Sun

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Siyi Chen, Jiahe Ying, Yixuan Jia, Yuxuan Gu, Enze Ye, Weimin Bai, Zhijun Zeng, Shaochi Ren, Binhong Gao, Yubing Li, Tianhan Zhang, He Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的魔盒，能把一张模糊、充满噪声的秘密物体照片变成一张清晰透彻的图像。在现实世界的科学领域，这并非魔法，而是被称为**计算成像（computational imaging）**的技术。科学家利用它来观察那些无法直接接触的事物，比如黑洞内部、病毒的结构，或是地底深处的景象。然而，构建一个能将那团模糊混乱转化为清晰图像的“配方”极其困难。这需要对物理学、数学和编程有着博士级的理解，还需要极大的耐心去修复那些可能毁掉整个图像的微小错误。

由此，Imaging-101 应运而生——这是一个针对人工智能的新型“驾驶考试”。研究人员创建了一个包含 57 个不同谜题（任务）的挑战，这些任务取自天文、生物、化学、地球科学、医学和物理学六个领域的真实科学论文。他们不仅仅是要求 AI 编写代码，而是要求它从头到尾构建出一台完整的、可运行的机器来解决这些谜题。

三部分测试

为了测试 AI 是真的聪明还是仅仅运气好，研究人员提供了三种不同的测试方式：

制定计划： 首先，AI 必须编写一份蓝图。在写下第一行代码之前，它能否理清正确的数学逻辑和步骤？
乐高积木： 接下来，它必须构建机器的特定部件（如“预处理”或“求解器”模块），并让每个部件通过严格的单元测试。
全程驾驶： 最后，它必须将整台机器组装起来，运行它，并生成一张足以通过严格质量检查的准确图像。

结果：AI 擅长表达，但不擅长物理

研究人员测试了 七种目前最顶尖的 AI 模型。以下是他们的发现：

“计划”阶段表现尚可： AI 在编写蓝图方面表现得相当出色。顶尖模型（GPT-5.4 和 Kimi-k2.5）大约有 52.6% 的概率能把握住大体思路。它们能够准确说出应该使用的数学类型。
“乐高积木”环节摇摇欲坠： 当涉及到实际构建部件时，情况变得混乱起来。同时正确构建所有部件的成功率降至 1.8% 到 22.8% 之间。
“全程驾驶”难度最大： 表现最好的 AI（Claude-4.6-Opus）也仅在 29.8% 的情况下成功构建了能够运行并产生高质量图像的机器。其他模型的表现更差，有的成功率仅为 7%。

“隐形”陷阱

这项研究最有趣的部分在于 AI 为什么 会失败。它们失败的原因不是因为不会写代码，而是因为忽略了科学家通过多年经验习得的物理学“潜规则”。

论文将此称为**“数值约定漂移”（numerical-convention drift）**。想象你在烤蛋糕：AI 知道食谱说要“加面粉”，但它忘了在这个特定的厨房里，你必须用克而不是杯来称量面粉，而且必须先过筛。AI 做出的蛋糕看起来像蛋糕，闻起来也像蛋糕，但尺寸和质地却是错误的。

在研究中，AI 犯下了以下具体错误：

单位错误： 在一个涉及光散射的任务中，AI 忘记将“强度”（intensity，光的亮度）转换为“振幅”（amplitude，波的强度）。这就像试图用“亮度”而不是“时速”来测量汽车的速度。
求解器错误： AI 会选择通用的数学工具（比如一把普通的锤子），而该任务实际上需要专门的工具（比如一把激光手术刀）。它会说：“我会使用这个常用方法”，尽管它所遵循的论文明确要求使用一种罕见且复杂的特定方法。
缺失归一化： 在 MRI 扫描中，AI 忘记了根据人体不同部位距离传感器的远近进行调整。这导致最终生成的图像看起来带有奇怪的阴影，尽管代码运行过程中没有任何错误。

“黑盒”惊喜

研究人员还测试了一个拥有真实计算机终端、可以安装软件并查看文件的“黑盒”智能体（Claude Code）。这个智能体的表现要好得多，成功率达到了 56.1%。这表明，给予 AI 更多探索和自我修复错误的空间会有所帮助，但即便拥有这种优势，它依然并不完美。

这意味着什么

论文明确指出，虽然 AI 在编写代码方面正在进步，但它仍然难以掌握科学成像中的深层、内隐的知识（tacit knowledge）。这就像一个学生虽然能背诵棒球规则，却不知道如何实际接住一个曲线球。

研究人员发现，AI 失败的原因往往是因为它们依赖于训练数据中“统计学上的常见做法”，而不是针对特定问题进行“物理学上的正确操作”。他们建议，要解决这个问题，我们可能需要构建带有“工具箱”的 AI 助手，这个工具箱应包含经过验证的、特定领域的技能，而不是期望它们从零开始推导每一条物理规则。

简而言之，AI 可以讲述如何解开谜题的故事，但它仍然需要人类专家来检查数学逻辑，并确保物理规律确实成立。实现一个完全自动化的科学发现机器的梦想，仍处于开发进程之中。

技术摘要：Imaging-101

问题陈述

计算成像（Computational Imaging）是从间接、含噪声且不完整的测量值中恢复隐藏信号的过程，这对于从天文学到医学等各个科学领域的定量发现至关重要。然而，构建正确的重建流水线是一项艰巨的任务，需要深厚的领域专业知识来处理数据清洗、物理前向模型构建、算法选择以及迭代调试。尽管大语言模型（LLM）在通用编程和部分科学工作流中已展现出熟练度，但前沿模型是否能够可靠地解决端到端的计算成像任务仍是一个悬而未决的问题。这些任务要求对物理测量过程、数学公式和数值求解器进行联合推理，并将其转化为通过严格数值验证的可执行代码。现有的基准测试往往无法暴露计算成像逆问题中特有的特定失效模式，例如细微的物理约定错误或不恰当的求解器选择。

方法论

为了填补这一空白，作者引入了 Imaging-101，这是一个包含 57 个经专家验证的计算成像任务的基准测试，涵盖了六个科学领域：天文学、生物学、化学与材料科学、地球科学、医学和物理学。

基准测试构建

该基准测试通过一个专家在环（expert-in-the-loop）流水线构建，旨在确保科学真实性和可复现性：

来源溯源： 每个任务都源自一篇同行评审论文及其开源参考实现。
标准化： 任务被规范化为标准化的四个阶段流水线：
- 预处理（Preprocessing）： 将原始测量值转换为与前向模型兼容的形式。
- 物理前向建模（Forward Physics Modeling）： 实现前向算子 $A$ （通常也包括其伴随算子 $A^*$ ）。
- 逆向求解器（Inverse Solver）： 选择并执行反演算法以恢复潜在量。
- 可视化（Visualization）： 渲染重建后的信号。
验证： 领域专家（博士级）负责验证参考运行结果是否与原始论文一致。该流程利用 AI 辅助（Claude Code）进行重构和单元测试合成，但专家保留对正确性的最终裁定权。
评估指标： 任务使用校准后的数值容差进行评分。端到端成功率通过归一化互相关（NCC）和归一化均方根误差（NRMSE）来衡量，这些指标对全局幅度缩放具有鲁棒性，不同于 PSIM 或 SSIM。

评估维度

Imaging-101 采用三个互补的评估维度来探测不同的智能体能力：

规划（Planning）： 智能体根据问题陈述生成结构化计划（算法描述和模块设计）。正确性由领域专家对照参考计划进行评判。
函数级（Function-Level）： 智能体实现流水线中的特定函数。正确性通过通过具有严格数值容差（确定性 vs 随机性）的一系列 pytest 单元测试来判定。
端到端（End-to-End）： 智能体生成完整的流水线代码，执行它并产生重建结果。成功定义为相对于参考实现达到图像质量阈值（NCC/NRMSE）。

核心贡献

Imaging-101 基准测试： 一个植根于同行评审文献的 57 个任务集合，支持跨六个科学领域的规划、函数级和端到端评估。
专家监督的构建流程： 一种将研究论文规范化为标准化四阶段布局的方法，实现了可扩展、可复现且可执行验证的基准测试任务。
失效模式的实证表征： 本研究提供了证据，表明当前 LLM 在应用于科学计算成像时存在特定的能力差距，这些差距区别于通用编程基准测试中的错误。

结果

作者在 57 个任务上评估了七种前沿 LLM（包括 Claude-4.6-Opus、GPT-5.4 和 DeepSeek-V3）。

定量性能

规划： GPT-5.4 和 Kimi-k2.5 取得了最高的整体通过率（~52.6%），紧随其后的是 Claude-4.6-Opus（50.9%）。预处理是最困难的规划维度（平均通过率为 67.9%），而逆向求解器选择是最容易的（88.5%）。
函数级： 性能在实现阶段显著下降。各模型的整体模块通过率（要求模块内所有函数均通过）在 1.8% 到 22.8% 之间波动。逆向求解器的正确实现难度最大（平均模块通过率为 30.6%）。
端到端： 表现最好的模型 Claude-4.6-Opus 达到了 29.8% 的成功率。GPT-5.4 以 19.3% 紧随其后。黑盒智能体（Claude Code）达到了 56.1%，这表明更丰富的执行赋能（例如不受限制的包安装、Shell 反馈）能显著提升性能。

失效模式分析

评估揭示了不同于通用编程错误的系统性失效模式：

科学推理失效： 主要错误并非表层的语法错误，而是科学推理的失败。
- 测量与物理的不匹配： 智能体经常遗漏关键的预处理步骤，例如在非视距成像中将传感器强度（ $1/r^4$ ）转换为波场振幅（ $1/r$ ）。
- 不恰当的求解器选择： 模型经常用通用的优化器（如 Adam）替代专门的、与物理耦合的求解器（如用于傅里叶叠层成像的 qNewton-PIE），理由是采用了忽略了特定逆问题结构的通用启发式方法。
数值约定漂移： 最常见的代码 Bug（占失败案例的 42.1%）涉及使用错误的符号、缩放、轴序或归一化约定（例如，在 MRI 中遗漏了 MVUE 线圈归一化）。这些错误产生的代码在结构上是有效的，可以通过视觉检查，但在严格的数值对齐测试中会失败。
智能体未完成任务： 28.2% 的失败是因为智能体在产生代码之前耗尽了其反思预算，这通常发生在处理专门库（如 ehtim, deepwave）时，表明瓶颈在于 API 熟悉度而非数学推理。

意义

本文认为，尽管 LLM 在科学工作流中展现出潜力，但它们目前尚缺乏自主计算成像所需的可靠性。研究结果强调，这些流水线中的“暗物质”——即关于单位约定、归一化因子和测量-模型耦合的隐性领域知识——并未在书面规范中得到明确体现，并且会被当前的模型系统性地忽略。

作者得出结论，要弥合这一差距，需要从通用编程智能体转向技能增强型、领域专业化的智能体。他们提出，将隐性知识编码为可重用的、经过验证的模块（技能库）是实现可靠科学辅助的切实路径。Imaging-101 作为一个基础基准，旨在追踪这一方向的进展，它强调了真正的科学计算可靠性不仅需要代码生成，更需要对物理定律的忠实遵循和数值精度。