💻 computer science

Geometry-Consistent Endoscopic Representations for Image-Guided Navigation via Structured Foundation Model Adaptation

本文提出了一种统一的框架，该框架结合了合成几何监督与一种新颖的层次感知几何-语义自适应策略，旨在增强基础模型的几何一致性和领域鲁棒性，从而实现准确的单目内窥镜导航与深度估计。

原作者： Hongchao Shu, Roger D. Soberanis-Mukul, Hao Ding, Morgan Ringel, Mali Shen, Saif Iftekar Sayed, Hedyeh Rafii-Tari, Mathias Unberath

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongchao Shu, Roger D. Soberanis-Mukul, Hao Ding, Morgan Ringel, Mali Shen, Saif Iftekar Sayed, Hedyeh Rafii-Tari, Mathias Unberath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题：迷失在“白房间”中

想象一下，你正试图仅凭一只手电筒和一台摄像机，在一个复杂的、分支众多的洞穴系统（例如人体）中进行导航。这正是医生在进行支气管镜检查（观察肺部）、鼻窦手术或结肠镜检查等微创手术时的真实写照。

问题在于，我们体内的这些“洞穴”通常具有以下特征：

视觉枯燥： 壁面光滑、呈粉红色且具有重复性（就像一个没有家具的白房间）。
湿润且有光泽： 它们会产生奇特的反光，造成视觉干扰。
具有弹性： 当受到触碰时，它们会发生挤压和移动。

因此，计算机很难判断自己在哪里（位姿估计）以及物体离多远（深度估计）。标准的 AI 模型通常是在猫、汽车和风景的照片上训练出来的，面对这种“白房间”环境时会完全陷入混乱。它们无法分辨出一块组织褶皱与阴影之间的区别，也无法判断一条隧道到底有多深。

解决方案：一个“几何优先”的 GPS

作者提出了一种教导 AI 如何在这些棘手环境中导航的新方法。他们并没有仅仅通过展示图片并寄希望于 AI 自行学习，而是构建了一个包含三个关键要素的专门化训练系统：

1. “飞行模拟器”（合成数据）

由于获取真实患者内部完美的 3D 地图既危险又困难，研究人员构建了一个虚拟飞行模拟器。

他们提取了来自 CT 扫描的肺部和气道的 3D 模型。
他们创建了一个在这些模型中飞行的“虚拟摄像机”，该摄像机在拍摄照片的同时，能精确知道自己的位置以及每个物体的深度。
随后，他们使用了一种“魔法过滤器”（CycleGAN）使生成的计算机图像看起来尽可能逼真，加入了噪声、模糊和奇特的照明，以模拟真实的临床手术环境。

类比： 这就像飞行员在驾驶真飞机前先在飞行模拟器中进行训练。模拟器能为飞行员提供关于飞机位置的完美数据，而这在真实的暴风雨中是很难获得的。

2. “专业导师”（层级感知适配）

研究人员从一个非常聪明的 AI 模型（基础模型）开始，这个模型已经具备了识别现实世界物体的能力。然而，这个模型就像一位博学多才的通才老师，虽然了解自然界的规律，却并不理解洞穴中的特定规则。

他们并不想重新训练整个老师（这既昂贵又缓慢）。相反，他们使用了一种名为 HGSA（层级感知几何-语义适配）的技术。

类比： 想象 AI 模型是一座多层的图书馆。
- 底层（早期层）处理基础形状和边缘。
- 中间层处理物体如何连接以及如何在空间中移动。
- 顶层（深层）处理宏观层面的意义（例如，“这是一个肺部”）。
研究人员在特定的楼层插入了轻量级的“小导师”（适配器/Adapters）。
- 他们在中间层放置了导师，以教导 AI 关注几何结构（形状如何连接和移动）。
- 他们在顶层放置了导师，以教导 AI 识别语义（组织到底是什么）。
这确保了 AI 在学习理解 3D 结构的同时，也能理解图像的含义，且不会忘记原有的知识。

3. “双重检查”系统（损失函数）

为了确保 AI 学习正确，他们使用了一个包含两个部分的特殊评分系统：

“变形”测试： 如果你从两个不同的角度拍摄同一个洞穴，AI 必须能够通过数学手段将一个视角的特征“变形”以匹配另一个视角。如果 AI 对几何结构的理解是正确的，这些特征就会完美对齐。
“大局观”测试： AI 还必须识别出，即使光照条件不同，两个不同的视角看到的仍然是“同一个洞穴”。

结果如何？（实验结果）

研究人员通过三种方式测试了这种全新的“几何一致性”AI：

“从模拟到现实”的跨越： 他们仅在虚拟飞行模拟器（合成数据）上训练 AI，然后将其应用于真实患者的支气管镜手术视频进行测试。
- 结果： AI 的表现出奇地好。它在估计摄像机位置和深度方面比以往的模型都要出色，证明了“模拟器训练”可以成功迁移到现实世界。
“跨洞穴”测试： 他们将原本在肺部训练好的 AI 用于鼻窦和结肠手术，而没有进行大量的额外训练。
- 结果： 它表现良好，尤其是在结肠手术中。这表明 AI 已经学会了关于“如何在一个柔软、有弹性的隧道中导航”的通用规则，并能将其应用到身体的不同部位。
“大脑升级”测试： 他们检查了如果使用更大的 AI 模型或更多的训练数据，系统是否会变得更好。
- 结果： 是的。系统实现了完美的扩展。更大的模型和更多的数据让它变得更加聪明。

总结

这篇论文介绍了一套全新的工具包，用于教导 AI 如何在人体内部进行导航。通过结合逼真的虚拟模拟器与一种智能的分层训练方法（强制 AI 同时理解形状与意义），他们创造了一个能够在混乱、湿滑的真实手术环境中，准确估算摄像机位置和深度的系统。

这不仅仅是让 AI “看得更清”，更是为它提供了一个可靠的内部 GPS，这对于帮助医生在精细的手术过程中安全导航至关重要。

技术摘要：通过结构化基础模型适配实现用于图像引导导航的几何一致性内窥镜表示

1. 问题陈述

单镜头内窥镜（如支气管镜、鼻窦手术、结肠镜）中准确的基于视觉的导航受到缺乏深度线索、组织纹理微弱、非刚性变形以及不同临床领域间显著外观差异的阻碍。这些因素使位姿估计、深度预测和图像与解剖结构的对齐变得复杂。虽然近期的视觉基础模型（FMs）提供了强大的预训练表示，但它们往往缺乏进行稳定空间推理所需的几何一致性特征。此外，由于缺乏包含精确几何监督（如相机位姿、3D结构、稠密深度）的大规模标注临床数据集，将这些大型模型适配到内窥镜场景中具有挑战性。现有的方法要么侧重于语义感知而未强制执行几何一致性，要么依赖于对硬件和照明引起的跨领域偏移仍保持敏感的特定领域预训练。

2. 方法论

作者提出了一个统一框架，通过以下三个核心组件来学习几何一致且领域鲁棒的图像表示：

A. 具有多级领域随机化的合成数据流水线

为了克服临床几何标签缺乏的问题，该框架利用了从 CT 衍生的解剖模型生成的专用合成数据集。

生成： 沿着采样的相机轨迹渲染虚拟内窥镜视图，以产生带有地面真值（ground-truth）深度和相对位姿的配对图像。
增强： 为了弥合模拟与现实（sim-to-real）之间的差距，该流水线采用 CycleGAN 进行逼真的外观转换，并包含四种图像模态（RGB、合成 RGB、渲染深度和现成的视差预测）。
随机化： 训练涉及广泛的随机化，包括光度变换、模糊、噪声、薄板样条变形（thin-plate spline deformations）以及对配对层级的重新洗牌，以确保领域不变性。

B. 层级感知几何-语义适配 (HGSA)

作者并未对整个基础模型进行统一微调，而是引入了 HGSA——一种结构化适配策略，将低秩适配器（LoRA）选择性地插入到预训练 Vision Transformer 的特定层中。

层级搜索： 框架采用由粗到精的搜索来确定最佳适配器配置，包括：
1. 层级放置： 识别哪些 Transformer 层（ $L_a$ ）能从适配中获益最多（例如，发现第 5-12 层为最优）。
2. 目标模块： 选择要修改哪些注意力投影（$V, QV, QVK, QVKO$）。
3. 容量： 调节适配器秩（ $r$ ）和缩放因子（ $\alpha$ ）。
原理： 这种方法使适配与 Transformer 固有的层级结构相匹配，鼓励中间层学习几何对应关系，同时保留深层中的语义抽象。

C. 层级感知监督目标

训练目标结合了三个损失项，以同时强制执行几何一致性和语义鲁棒性：

几何感知特征对应 ( $L_{ms}$ )： 应用于中间特征，该损失使用结合了 PatchNCE 和余弦重投影损失的多尺度稠密 Token 损失。它使用源自合成深度的地面真值流场（flow fields）将特征从一个视图变形到另一个视图，从而强制执行空间一致性。
语义感知表示正则化 ( $L_{InfoNCE}$ )： 应用于深层中的全局 Token，这种实例级对比损失对齐了配对视图中的场景级嵌入，确保跨领域的语义一致性。
教师蒸馏 ( $L_{Gram}$ )： 使用冻结的 DINO 教师模型的 Gram 正则化，以保持 Patch 特征的相关结构，防止模型过度关注全局语义而牺牲空间保真度。

3. 核心贡献

本文声称其贡献如下：

统一流水线： 一个端到端的框架，集成了合成几何数据集、HGSA 机制以及层级感知、层级化的目标函数，用以学习既具有几何一致性又具有领域鲁棒性的内窥镜表示。
HGSA 的有效性： 受控实验证明了 HGSA 是一种有效的适配策略，能够提升表示质量。生成的表示支持下游导航任务（位姿和深度估计），并在不同内窥镜领域保持实用性。
泛化性与可扩展性：
- 模拟到现实的迁移： 证明了从合成支气管镜数据到真实患者视频的强有力迁移，无需额外的编码器适配。
- 跨领域迁移： 展示了在有限监督下，将经过支气管镜训练的编码器适配到鼻窦和结肠镜数据集的能力。
- 可扩展性： 验证了该框架在更大的骨干网络（从 ViT-S 到 ViT-L）和更大的训练数据规模下均具有良好的扩展性。

4. 实验结果

该框架在支气管镜、鼻窦和结肠镜数据集上通过线性探测（linear probing）和下游导航任务进行了评估。

表示质量（探测）：
- HGSA 配置（特别是 Cfg 7.4.8：第 5-12 层，QVKO 模块，秩 32，缩放 64）实现了最高的综合探测得分（ $S_{probe}$ ），平衡了语义准确性（场景分类）和几何准确性（深度估计）。
- 消融研究确认，移除任何组件（HGSA、变形监督、对比损失）都会降低性能，其中 $L_{InfoNCE}$ 对语义可分性至关重要，而 $L_{ms}$ 对几何一致性至关重要。
- Token 级几何对应度指标（PCK@1、余弦相似度）显示，所提方法优于 vanilla DINO 和全量 LoRA 基线。
下游导航任务：
- 位姿估计： 在真实支气管镜视频中，所提编码器相比基线实现了更优的渲染-图像对齐（NC, DS, SI 指标），表明其位姿优化更准确。
- 深度估计： 该方法产生了结构更一致的深度图。
- 跨领域迁移： 当在有限的目标数据下适配到鼻窦和结肠镜时，该框架在深度估计方面始终优于 vanilla 和全量 LoRA 基线。位姿估计在结肠镜中的改进显著，但在鼻窦中较为温和，这归因于用于微调的鼻窦数据集规模有限。
可扩展性： 性能随更大的骨干网络（ViT-L > ViT-B > ViT-S）和更大的训练数据子集（100% > 50% > 25%）单调提升，表明不存在早期饱和现象。

5. 重要性与主张

作者将这项工作定位为一种实用的内窥镜表示学习方法，解决了通用基础模型与手术导航所需的特定几何需求之间的关键差距。

实际效用： 该框架提供了一条实现鲁棒导航工具的可扩展路径，无需密集的临床标注，而是利用合成数据和结构化适配。
对泛化性的适度主张： 作者明确指出，虽然该框架展示了向鼻窦和结肠镜迁移的潜力，但其结果是基于有限的目标域适配而非零样本泛化。他们承认，性能差异（例如在鼻窦内窥镜中）凸显了在特定领域需要更多数据或针对性适配的需求。
核心洞察： 本文认为，“层级感知、几何引导的适配”对于将通用视觉特征转化为能够支持在挑战性的内窥镜环境下进行稳定、几何一致性推理的表示至关重要。