💻 computer science

JANUS: Anatomy-Conditioned Gating for Robust CT Triage Under Distribution Shift

本文介绍了 JANUS，这是一种生理学引导的双流架构，它利用解剖学引导的门控机制，将宏观放射组学先验知识融入视觉嵌入，从而在自动化 CT 分诊中实现最先进的准确率并提升对分布偏移的鲁棒性。

原作者： Lavsen Dahal, Yubraj Bhandari, Geoffrey Rubin, Joseph Y. Lo

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Lavsen Dahal, Yubraj Bhandari, Geoffrey Rubin, Joseph Y. Lo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭无人机摄像头，在一座庞大而复杂的城市中识别出某个特定问题。无人机（即人工智能模型）非常擅长识别事物的“外观”。它仅凭形状和颜色就能区分房屋与树木。但城市中的某些问题并非关乎事物“看起来”如何，而是关乎测量数据。例如：一座桥是否太宽？一条河是否太深？一栋建筑是否过重？

如果只查看照片，你可能会错过这些关键细节，因为即使桥梁宽度危险，它在照片中“看起来”可能依然正常。

这正是论文JANUS试图为医学 CT 扫描（人体三维 X 射线）解决的问题。

问题：“外观”与“测量”的对立

当前用于解读 CT 扫描的人工智能模型就像那架无人机。它们非常擅长识别模式（例如“这看起来像肿瘤”）。然而，许多严重的医疗状况是由数值而非仅仅是图像定义的：

动脉瘤的危险性取决于血管是否过宽。
器官肿大由尺寸定义。
钙化沉积由密度定义（即像素的“重量”）。

标准人工智能模型往往忽略这些，因为它们被训练为“看”而非“测量”。当医院更换 CT 扫描仪或图像设置发生轻微偏移（即“分布偏移”）时，这些仅依赖视觉的模型会陷入混乱并开始犯错，经常将健康情况误报为疾病（误报）。

解决方案：JANUS（“双流”侦探）

作者构建了一个名为JANUS的新系统（以双面罗马神雅努斯命名，因为它能同时关注两件事）。

将 JANUS 想象为一个由两位专家协同工作的侦探团队：

视觉专家（无人机）： 这一部分像普通人工智能一样查看 CT 扫描图像，提取所有视觉细节。
测量专家（尺子）： 这一部分不查看图像，而是直接获取从扫描中提取的硬性数值列表：“肝脏宽 15 厘米”、“主动脉直径 3 厘米”、“密度为 50 亨氏单位（HU）”。

魔法技巧：“生理门控”
通常，当你结合两位专家时，只是让他们同时大声说出各自的意见（即简单相加）。但 JANUS 采用了更聪明的方法：它使用了一个门控（Gate）。

想象视觉专家试图按门铃，表示“我认为这里有问题！”而测量专家则握着门把手。

如果视觉专家说：“我看到了奇怪的形状！”但测量专家说：“等等，尺寸完全正常”，那么门会砰地关上。视觉专家被 silenced（被压制）。
如果视觉专家说：“我看到了奇怪的形状！”且测量专家也说：“是的，而且尺寸也不对”，那么门会完全打开，警报响起。

这种“门控”被称为解剖学引导门控（Anatomically Guided Gating）。它迫使人工智能尊重物理测量数据。如果数值显示“一切正常”，人工智能在物理上就被阻止了仅仅因为图像略显怪异而大喊“紧急情况！”。

实验中发生了什么？

团队在来自两家不同医院的数千张 CT 扫描上测试了 JANUS（一家用于训练，另一家完全不同的医院用于测试其泛化能力）。

更高的准确率： JANUS 在发现真实问题方面优于之前的最佳模型。它在测试集上获得了0.88（满分 1.0）的分数，击败了所有其他模型。
更少的误报： 这是最重要的一点。当数据发生变化（不同医院/扫描仪）时，旧模型开始过于频繁地大喊“狼来了！”。然而，JANUS 利用其“门控”抑制了这些误报。
- 论文将此称为生理否决率（Physiological Veto Rate）。这意味着该系统成功地说出“不，不要标记此情况”的频率，是处理真实问题时的 10 倍（针对误报情况）。
鲁棒性： 他们甚至测试了如果“尺子”（测量数据）略有损坏或存在噪声会发生什么。JANUS 优雅地处理了这种情况，而其他模型则崩溃了。

结论

JANUS 证明，要使医疗人工智能真正可靠，它不能仅仅是一个“图像识别器”。它必须成为一个“基于物理”的系统，尊重解剖学和测量的规律。

通过构建一个利用门控让物理测量数据控制视觉预测的系统，作者创造了一个不仅更聪明、而且更安全的人工智能。它知道何时信任自己的“眼睛”，更重要的是，知道何时信任“尺子”。

关于局限性的说明： 作者承认，该系统最适用于由尺寸或密度定义的病症（如动脉瘤或脂肪肝）。对于那些需要识别微小特定病灶（如小阑尾感染）且整体器官尺寸不太重要的病症，“尺子”部分的帮助不大，系统的表现与标准模型相似。

技术摘要：JANUS——用于鲁棒 CT 分诊的解剖学条件门控

问题陈述
自动化 CT 分诊旨在标记具有临床意义的发现，其中许多发现是由定量阈值（例如器官大小、血管口径、HU 密度）而非仅凭视觉外观定义的。尽管视觉 Transformer（ViT）提供了强大的视觉表征，但它们通常缺乏明确机制来整合这些测量线索。在分布偏移下（例如扫描协议或重建设置的改变），视觉外观可能发生显著变化，而底层解剖结构保持不变。此前尝试利用粗略的器官级统计量或加法融合来弥合这一差距，但往往无法提供明确的抑制机制，导致模型在视觉证据与定量证据冲突时，容易依赖虚假相关性。

方法论：JANUS 架构
作者提出了JANUS，这是一种由生理学引导的双流架构，旨在通过解剖学引导门控，将视觉嵌入条件化于宏观放射组学先验之上。

数据摄入与预处理：
- 视觉流： 3D CT 体数据被采样为 $N$ 个 2.5D“三角切片”（堆叠相邻切片）。这些切片由预训练的 DINOv3 ViT 骨干网络处理，以提取块嵌入。
- 符号流： 分割掩码（源自 TotalSegmentator 等工具）用于计算特定疾病的宏观放射组学先验向量（ $s_\ell$ ）。该向量包含器官体积、直径、密度测量谱和液体体积等描述符。这些标量经过 z-score 归一化。
视觉编码（器官掩码注意力）：
- 不同于标准的全局池化，JANUS 采用膨胀 ROI 掩码注意力池化。针对每种病理，定义特定的 3D 感兴趣区域（ROI）掩码（例如，动脉瘤对应主动脉）。
- 该掩码经过膨胀以捕捉器官周围上下文，并与三角切片采样对齐。
- 注意力权重仅在 ROI 内的 token 上计算，从而池化与病理具体相关的视觉特征（ $z_{v,\ell}$ ），同时忽略无关背景。
解剖学引导门控（核心机制）：
- 宏观放射组学先验向量 $s_\ell$ 通过一个学习到的线性层投影，并经过 Sigmoid 函数处理，生成生理门控 $g_\ell \in [0, 1]^d$ 。
- 该门控通过逐元素乘法（Hadamard 积）调节视觉嵌入： $z_{gated,\ell} = z_{v,\ell} \odot g_\ell$ 。
- 机制： 这充当“生理否决权”。如果定量先验与视觉证据相矛盾（例如，视觉特征提示动脉瘤，但主动脉直径在正常范围内），门控可以衰减视觉嵌入的特定维度，从而有效抑制高置信度的假阳性。
- 初始化： 门控初始化为保持大部分开启状态（ $g \approx 0.88$ ），以确保梯度流动稳定，仅当训练数据支持时，模型才学习更强的门控。
训练目标：
- 模型使用课程加权二元交叉熵（BCE）损失处理部分观测标签。在初始预热期后，缺失标签被视为弱负样本，以应对回顾性数据集中常见的注释不完整问题。

关键贡献

架构： JANUS 实现了定量测量应约束而非仅仅增强视觉预测的原则。它引入了一种乘法瓶颈，从结构上实现了当视觉证据与宏观放射组学先验冲突时对其的抑制。
指标（生理否决率 - PVR）： 作者提出了 PVR 来量化对高置信度基线假阳性的抑制。他们还定义了否决选择性（假阳性抑制与真阳性抑制的比率），以证明门控机制具有选择性，而非均匀降低置信度。
实证验证： 该研究提供了与基线的严格比较，包括标准 ViT 和 ORACLE-CT 变体，证明了特定的门控机制优于加法融合策略。

结果

性能： 在 MERLIN 测试集（ $N=5,082$ ）上，JANUS 实现了 0.88 的宏平均 AUROC 和 0.74 的 AUPRC，优于所有复现的基线（ViT 基线：0.84；ORACLE-CT：0.86）。
泛化能力： 在来自不同机构的外部数据集（ $N=2,000$ ）上，JANUS 保持了强劲的性能（AUROC 0.87），显著优于表现出性能下降或停滞的基线。
校准： JANUS 在内部和外部数据集上均表现出更优的校准性（更低的期望校准误差 ECE）。
选择性： 生理否决率分析表明，在域偏移下，JANUS 将高置信度假阳性减少了 30.8%，而仅影响了 2.85% 的真阳性，从而实现了 10.8 $\times$ 的否决选择性。
鲁棒性： 在模拟标量噪声（高达 50% 噪声）下，JANUS 表现优雅降级，仍保持在 ViT 基线之上，而加法融合方法（+OSF）则接近基线性能。
分层分析： 对于由几何形状（大小）和密度测量定义的发现（例如主动脉瘤、肝脂肪变性），性能提升最为显著。对于器官级先验信息量较少的局灶性病理（例如阑尾炎），性能与基线相当，避免了加法融合模型中出现的性能下降。

意义与主张
本文主张，JANUS 证明了基于物理的 conditioning 提高了 CT 分诊的判别能力和可靠性。通过乘法门控机制强制执行解剖学约束，该模型对分布偏移更具鲁棒性，并且更能抑制与定量生物标志物不一致的虚假视觉相关性。作者得出结论，这种方法为实现可靠的自动化分诊迈出了临床必要的一步，特别是针对由定量阈值定义的发现。

局限性
作者承认，JANUS 依赖于一个顺序管道，其中分割必须先于门控，这限制了其在缺乏明确器官级代理的局灶性发现中的实用性。此外，标量鲁棒性是通过模拟噪声而非真实的分割误差进行评估的，且使用 CT 预训练骨干网络的工作仍属未来研究范畴。

问题：“外观”与“测量”的对立

解决方案：JANUS（“双流”侦探）

实验中发生了什么？

结论

技术摘要：JANUS——用于鲁棒 CT 分诊的解剖学条件门控

类似论文