AblateCell: A Reproduce-then-Ablate Agent for Virtual Cell Repositories

1. 研究背景与问题定义 (Problem)

核心痛点：
在人工智能驱动的虚拟细胞（AI Virtual Cells）研究中，系统性的**消融实验（Ablation Studies）**对于归因性能提升至关重要。然而，这一过程目前面临巨大挑战：

• 标准化缺失与耦合性： 生物代码库（Repositories）缺乏标准化，且紧密耦合于特定领域的数据格式和依赖环境，导致难以复现。
• 现有 Agent 的局限性： 虽然现有的大语言模型（LLM）编码 Agent 可以将想法转化为代码，但它们通常止步于生成代码，缺乏一个能够**严格复现基线（Reproduce）并验证哪些组件真正起作用（Ablate）**的验证器。
• 人工瓶颈： 科学消融实验目前主要依赖人工进行，且由于环境配置错误、依赖冲突等原因，自动化实验的失败率极高（MLR-Bench 数据显示约 80% 的自动化实验因配置问题失效）。

研究目标：
构建一个名为 AblateCell 的自主智能体系统，旨在实现从“想法合成”到“想法归因”的跨越。该系统能够针对单细胞扰动预测（Single-cell Perturbation Prediction）的代码库，自动完成**“先复现，后消融”**（Reproduce-then-Ablate）的闭环流程，无需人工干预即可识别出对模型性能至关重要的核心组件。

---

2. 方法论 (Methodology)

AblateCell 是一个端到端的多智能体系统，其核心流程分为两个主要阶段：自动基线复现和闭环自适应消融。

2.1 自动基线复现 (Automated Baseline Reproduction)

为了克服环境配置和依赖问题，系统采用 Planner-Executor（规划器 - 执行器） 分解架构：

• Planner Agent（规划器）： 负责高层协调。它解析论文和代码库，将复现任务（如训练、推理）分解为具体的子任务（数据加载、训练、推理等）。它从领域知识库中检索相关信息，生成包含特定 API 模式、数据路径和约束的指令。
• Code Agent（执行器）： 负责底层执行与调试。它在 Docker 容器中运行，挂载代码库。它负责编写脚本、运行命令、监控输出（stdout/stderr），并迭代地修复错误（如缺失导入、版本不匹配、路径错误等），直到基线成功运行并生成可验证的产物（Artifacts）。

2.2 基于图的自适应消融 (Graph-Based Ablation with Adaptive Sampling)

在复现成功后，系统进入消融阶段，旨在有限的计算预算下识别关键组件：

• 问题建模： 将消融过程建模为有向无环图（DAG）。节点代表操作（生成候选、执行、反思、排序），边代表依赖关系。
• 自适应采样（Adaptive Bandit Sampling）： 使用改进的**多臂老虎机（Multi-Armed Bandit）**算法（基于 UCB 策略）来指导实验选择。
  • Arm（臂）： 代表候选的假设族（即对特定组件的修改）。
  • 奖励函数： $r(x) = |\Delta(x)| - \lambda \cdot \text{cost}(x)$。其中 $|\Delta(x)|$ 是性能变化的绝对值（重要性），$\text{cost}(x)$ 是计算成本（GPU 小时）。该函数在信息增益和计算成本之间进行权衡。
  • 领域知识加权： 引入领域知识权重 $w_a$，优先探索专家已知可能重要的组件，实现“科学引导的探索”。
• 隔离的代码突变（Isolated Code Mutation）： 利用 Git Worktree 技术为每个候选实验创建独立的代码工作树。这确保了不同实验之间的代码修改互不干扰，且可以快速创建和清理环境，支持并行执行。

2.3 领域知识库 (Domain Knowledge Base)

系统构建了一个包含单细胞扰动模型论文和代码库的知识库。通过解析代码（AST）和文档，提取函数、类、模块的语义描述，并结合论文概念进行嵌入。在复现和消融过程中，智能体通过检索该知识库来增强上下文理解，生成更合理的假设并解释结果。

---

3. 关键贡献 (Key Contributions)

1. AblateCell 系统： 首个针对虚拟细胞（AIVC）单细胞扰动仓库的端到端“复现 - 消融”验证智能体。它实现了 96.3% 的复现任务成功率（TSR），并生成了可验证的实验产物。
2. 基于图的自主消融引擎： 提出了一种结合自适应老虎机采样、隔离代码突变和领域知识检索的框架。该框架能够自动在巨大的搜索空间中平衡探索与利用，高效定位关键组件。
3. 全面的实证评估： 在三个主流单细胞扰动预测模型（CPA, GEARS, BioLORD）上进行了验证。结果显示，AblateCell 在端到端任务成功率上达到 88.9%（比人类专家高 29.9%），在识别关键组件的准确率（Acc@5）上达到 93.3%（比人类专家高 53.3%）。

---

4. 实验结果 (Results)

实验在 CPA、GEARS 和 BioLORD 三个仓库上进行，对比了人类专家、Mini-SWE-Agent 和 RepoMaster 等基线。

• 任务成功率 (TSR)：
  • 复现阶段： AblateCell 达到 96.3%（平均），显著优于 RepoMaster (69.4%) 和人类专家 (72.3%)。
  • 消融阶段： AblateCell 达到 92.0%，优于人类专家 (80.0%)。
  • 端到端成功率： 88.9%，远超其他基线（Mini-SWE-Agent 仅为 9.7%）。
• 假设质量：
  • 语义一致性： 100%（生成的假设均针对有意义的架构组件）。
  • 可执行性： 92.0% - 94.8%。
  • 关键组件识别准确率 (Acc@5)： 93.3%（使用 Claude-Sonnet-4.5 后端），远高于随机选择 (13.3%) 和启发式方法 (40.0%)。
• 消融发现（案例）：
  • CPA： 识别出“统一/组合潜在嵌入（Unified latent embedding）”最关键（移除后 MSE 增加 30.35%）。
  • GEARS： 识别出“扰动 GNN 编码器（Perturbation GNN encoder）”至关重要（移除后 MSE 增加 89.70%）。
  • BioLORD： 识别出“未知属性潜在嵌入（Unknown-attribute embedding）”影响最大（MSE 增加 63.05%）。
  • 这些发现与先前的专家研究和文献结论高度一致，验证了系统的可靠性。

---

5. 意义与影响 (Significance)

• 填补验证鸿沟： AblateCell 解决了 AI 科学工作流中“想法生成”与“严格验证”之间的断层。它证明了 AI Agent 不仅能写代码，还能像科学家一样进行系统性的归因分析。
• 提升可复现性： 通过自动化的环境配置、依赖解决和隔离执行，大幅降低了生物信息学代码复现的门槛和失败率。
• 可解释性与优化指导： 系统不仅能识别哪些组件重要，还能提供具体的优化策略（如：优先优化高影响组件，简化低影响组件），直接指导模型改进。
• 可扩展性： 虽然目前专注于单细胞扰动预测，但其“复现 - 消融”框架具有通用性，有望推广到其他科学计算领域，推动自动化科学发现（Agentic Science）的发展。

总结： AblateCell 通过将复现验证与自适应消融实验相结合，成功构建了一个闭环的自动化科学验证系统。它不仅显著提高了单细胞模型研究的效率和准确性，更为未来 AI 辅助的科学发现提供了可信赖的验证范式。