🧬 biology

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO 引入了一种假设驱动的框架，该框架利用匹配的多组学数据来生成可测试的形态学先验，用于检索和验证全切片图像中的相关区域，在确保词法可审计性并减少对纯语义匹配依赖的同时，实现了多任务乳腺癌分析的最先进性能。

原作者： Xiangyu Li, Ran Su

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiangyu Li, Ran Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你是一名正在试图破解复杂医学谜题——乳腺癌——的侦探。你手头有两个主要的证据：

犯罪现场照片： 高分辨率的肿瘤组织图像（称为全切片图像或 WSI）。这些是巨大的、吉像素级的照片，你可以通过缩放来观察单个细胞。
证人陈述： 来自患者 DNA 和 RNA 的分子数据（即“组学”数据）。这告诉了你癌细胞在遗传层面上的行为。

目前侦探方法的缺陷在于，它们要么单独观察照片，要么单独研究证人陈述，或者只是在瞎猜照片中哪些部分是重要的。它们可能会盯着照片中一个看起来很亮、色彩鲜艳的点，但实际上这个点与特定的遗传线索并无关联。

HERO 是一个改变游戏规则的新型侦探系统。它不再靠猜测，而是利用“证人陈述”（遗传数据）来编写关于“犯罪现场”（组织图像）应该呈现出什么样子的特定假设。然后，它会精准地搜寻这些特征。

以下是 HERO 的工作原理，分为简单的步骤：

1. “意图向量”（侦探的愿望清单）

首先，HERO 读取患者的遗传数据（DNA 甲基化和 miRNA）。它不仅仅是读取数字；它将这些数据转化为一个 16 点的检查清单，列出组织应该呈现的样子。

类比： 想象遗传数据告诉侦探：“嫌疑人很可能具有攻击性，并且有大量的细胞分裂。”系统会将此转化为一个具体的愿望清单：“寻找高细胞密度、快速分裂的迹象以及特定的结构混乱。”
这个愿望清单被称为意图向量。这是一个基于生物学的严格、预定义的计划，而非随机猜测。

2. “关键词搜索”（寻找正确的照片）

组织图像过于庞大，无法观察每一个像素。因此，HERO 首先从图像中挑选 300 个小的“样本”图块（patches）。

它要求一个 AI（视觉语言模型）为每个图块编写一段简短的说明文字，描述它看到了什么（例如，“大量死细胞”、“密集集群”、“炎症”）。
然后，它使用一种经典的搜索技术（TF-IDF）将意图向量的检查清单与这些说明文字进行匹配。
类比： 这就像是在图书馆里搜索。它不是阅读每一本书，而是搜索你愿望清单中的特定关键词。系统会挑选出与遗传线索最匹配的前 64 个图块。

3. “一致性门控”（现实检查）

这是最聪明的部分。在挑选出前 64 个图块后，HERO 会检查：“我们在这些照片中实际看到的，是否与我们的遗传假设相符？”

它会计算一个“一致性得分”。如果得分很高，太棒了！照片证实了遗传信息。
“缺陷驱动修复”： 如果得分很低（意味着照片与遗传线索不符），系统并不会放弃。它会找出缺失了什么（例如，“我们有很多炎症，但缺少细胞分裂的迹象”）。
然后，它会回去寻找 32 个专门用来填补这些缺失环节的新图块，并将它们替换进去。
类比： 想象你正在根据盒子的图片来拼凑一个拼图。你放入了碎片，但发现缺了一块天空。与其盯着残缺不全的拼图发呆，不如回到盒子里，找到那块特定的“天空”碎片，然后把它换上去。你只会进行一次这样的操作，以保持效率。

4. 最终诊断

一旦系统拥有了 64 个经过验证的、与遗传线索相匹配的完美图像图块集，它就会将这个“证据马赛克”输入到一个最终的 AI 医生手中。

这个 AI 会结合经过验证的证据和遗传故事来进行最终诊断（预测肿瘤类型、风险等级或治疗反应等）。

为什么这更好？

拒绝猜测： 旧的方法经常会被图像中漂亮的颜色所干扰。HERO 只寻找遗传学认为重要的东西。
可审计性： 因为系统使用了检查清单和特定的关键词，你可以清楚地看到它为什么选择了某些图块。它不是一个“黑匣子”；它是一个透明的过程。
自我修正： 如果第一次搜索漏掉了某些内容，“修复”步骤会自动将其补齐。

结果

研究人员在 930 例乳腺癌病例上对 HERO 进行了测试。HERO 击败了所有其他方法，包括那些仅仅将所有数据强行混合在一起的方法，或是那些虽然强大但缺乏这种“假设驱动”搜索机制的 AI 方法。

它在处理视觉特征稀少或分散的棘手病例（如 HER2 状态或风险预测）时表现尤为出色。
它证明了利用遗传学来引导视觉证据的搜索，比单纯观察图像或单纯研究遗传学要聪明得多。

简而言之： HERO 是一个利用嫌疑人的遗传特征来编写特定的“通缉令”，然后在犯罪现场照片中寻找与通缉令完全吻切的内容，双重检查照片是否符合描述，并在做出最终逮捕（诊断）之前修复搜索过程的侦探。

技术摘要：HERO —— 基于组学驱动的证据检索用于多任务乳腺癌分析

问题陈述

乳腺癌的诊断需要综合 H&E 全切片图像（WSI）与分子生物标志物（ER/PR/HER2、亚型、预后）的证据。虽然匹配的多组学数据可以改善预测，但现有流程面临三个主要局限性：

弱监督 MIL： 依赖于切片级标签，其注意力机制是事后的（post-hoc），无法验证证据的充分性，往往会突出非诊断性区域，这是由于肿瘤内异质性导致的。
基于 VLM 的阅读器： 虽然使阅读过程显式化，但它们通常依赖于提示词层面的引导，而非固定的、受分子调控的检索先验，导致偏向于视觉显著但与终点无关的区域。
多模态融合： 将组学视为平行的特征流或附加文本，未能利用组学来显式控制哪些区域被检索，也未能验证该检索的完整性。

核心挑战在于在吉像素级的 WSI 上进行面向终点的证据检索（endpoint-aware evidence retrieval），确保观察到的形态学特征能够明确支持分子结论，从而创建一个可审计的证据链。

方法论：HERO 流程

HERO（Hypothesis-Driven Evidence Retrieval from Omics，组学驱动的假设检验证据检索）是一个四阶段、闭环的流程，它将观察到的组学视为一个可测试的形态学假设。它在一个共享的 16 维证据空间（ $K=16$ ）中运行。

第一阶段：从组学到意图与关键词

通路评分： 对 DNA 甲基化（ $x_{dna}$ ）和 miRNA（ $x_{mirna}$ ）向量进行 z-score 标准化。使用基于 MSigDB Hallmark 基因集和经过验证的 miRNA-靶标相互作用的预定义二值掩码来计算通路评分。评分过程将高甲基化和 miRNA 介导的抑制映射为通路下调。
形态学先验 ( $W$ )： 一个固定的、带符号的、加权稀疏先验矩阵（ $W \in \mathbb{R}^{K \times P}$ ）将 50 个通路评分映射到 16 个形态轴（例如：有丝分裂活性、核多形性、间质脱屑）。该先验受 WHO 术语和生物学关联（例如：E2F/MYC $\to$ 增殖）的指导，并且从未针对终点标签进行优化，以确保映射过程保持可审计且具有倍率不变性。
意图生成： 通过 $m = \ell_2\text{-normalize}(\text{ReLU}(Ws))$ 生成意图向量 $m$ 。由一组 LLM 调用生成的分子叙述和一个结构化关键词集 $Q$ （15–40 个术语），这些内容基于通路和形态轴生成。

第二阶段：10× 检索（300 $\to$ 前 64）

代表性挖掘： 使用 UNI 嵌入对 WSI 进行编码。通过 MiniBatchKMeans ( $k=300$ ) 进行聚类，以选择 300 个代表性补丁（patches），涵盖全局形态多样性。
描述与排序： 在 10× 放大倍率下重新审视这 300 个补丁，并使用 VLM（Qwen2.5-VL-7B）通过结构化提示词进行描述。使用 TF-IDF 向量化器（针对每张切片进行拟合）将这些描述与关键词集 $Q$ 进行匹配排序。前 64 个补丁构成初始证据集。

第三阶段：20× 一致性门控与缺陷驱动修复

视觉证据向量 ( $v$ )： 将前 64 个补丁在 20× 倍率下进行裁剪，排列成 8×8 的马赛克图，并再次侧重于细胞学特征进行描述。通过检查描述中是否存在针对 16 个轴的清单术语，构建视觉证据向量 $v \in \mathbb{R}^K$ 。
一致性门控： 余弦相似度分数 $c = \cos(m, v)$ 用于衡量分子意图与视觉证据之间的对齐程度。
缺陷驱动修复： 如果 $c < \tau_c$ （阈值 $\tau_c=0.5$ ），系统会识别支持不足的轴（ $m - v$ ）。它会根据剩余未选代表性补丁覆盖这些缺陷的能力进行重新排序，将前 32 个修复候选者与原始的 64 个合并，并执行一次额外的 20× 描述过程。不再进行进一步的修复轮次。

第四阶段：诊断模块

最终的马赛克图、分子叙述和一致性总结被输入到经过 LoRA 微调的 Qwen2.5-VL-7B 中。模型输出关于 ER、PR、HER2、亚型和风险的结构化 JSON 预测。只有这一阶段是经过微调的；阶段 1–3 保持为固定的检索与验证模块。

核心贡献

组学引导的检索： 将 DNA 甲基化和 miRNA 转换为稀疏的“通路-形态”意图向量，通过对结构化描述进行 TF-IDF 运算来实现面向终点的补丁选择，而非基于嵌入的语义匹配。
带有确定性修复的一致性门控： 引入余弦门控以检测分子与视觉之间的不匹配。当检测到不匹配时，一种确定性的、缺陷驱动的重排序机制会检索有助于覆盖形态学缺失轴的补丁，并将计算量限制在单次修复轮次内。
鲁棒性与可审计性： 该设计限制了 VLM 的调用次数，减少了对黑盒语义匹配的依赖，并确保每一步检索在词法上都是可审计的。固定的先验 $W$ 防止了捷径学习（shortcut learning），并确保了映射的可解释性。

实验结果

在 TCGA-BRCA（930 张 WSI，878 名患者）上进行评估，采用患者级 5 折交叉验证：

达到最先进性能（SOTA）： HERO 在所有终点（ER、PR、HER2、亚型和风险）上均优于所有基准模型（包括 SNN、TransMIL、MCAT、SurvPath 和基于 VLM 的智能体）：
- 在 HER2（比 SurvPath 高出 0.050 AUC）和风险（C-index 高出 0.030）方面观察到了显著提升，而在这些指标中，形态学特征往往较为稀疏且具有异质性。
消融研究：
- 检索机制： 将 HERO 的检索替换为 TransMIL 注意力机制或随机采样会导致性能显著下降（例如，HERO 比 VLM + TransMIL Top-64 提升了 0.090 的 HER2 AUC），证实了性能提升源于分子引导的检索。
- 组件分析： 移除一致性门控会使 HER2 AUC 下降 0.043。随机补丁修复仅能恢复极小部分的性能，证明了“缺陷驱动”的重排序至关重要。
- 敏感性： 系统对先验 $W$ 的扰动具有鲁棒性（噪声/丢弃导致性能下降 $\le 0.009$ ），而打乱“通路-轴”分配则会导致性能大幅下降，验证了 $W$ 编码了具有信息量的生物学结构。

意义与主张

本文声称，HERO 建立了一种新的范式，即组学数据不仅是平行的特征流，而是作为显式的检索约束和验证机制。通过闭合分子假设与视觉证据之间的环路，HERO 在实现高精度多任务乳腺癌分析的同时，提供了一个可进行词法审计的证据链。

作者明确指出了局限性：

评估仅限于内部 TCGA-BRCA 交叉验证；尚未建立跨机构、跨扫描仪及跨人群的鲁棒性。
16 轴清单是针对乳腺癌特有的，需要针对其他肿瘤类型进行审计。
VLM 的描述仍可能出错；虽然结构化提示使证据可查，但并不保证病理学的正确性。
推理成本较高（在 2×A100 上为 57 秒/WSI），在临床部署时需要更快速的多阶段 VLM 推理。

研究结论认为，通过将组学映射为意图、通过 TF-IDF 描述进行检索，并通过余弦门控进行验证，可以构建一个稳健、可解释且高性能的多任务乳腺癌分析系统。