WSI-INR: Implicit Neural Representations for Lesion Segmentation in Whole-Slide Images

本文提出了基于隐式神经表示（INR）的 WSI-INR 框架，通过构建从空间坐标直接映射到组织语义的连续函数并引入多分辨率哈希网格编码，有效解决了传统补丁法破坏空间连续性的问题，实现了在保持跨分辨率鲁棒性的同时显著提升了对高度异质性病理病灶的分割性能。

要点

这篇论文介绍了一种名为 WSI-INR 的新方法，用来解决医学病理图像分析中的一个大难题。为了让你轻松理解，我们可以把整个过程想象成**“绘制一幅巨大的、细节丰富的世界地图”**。

1. 背景：我们要看什么？（全切片图像 WSI）

想象一下，病理科医生需要检查一块人体组织（比如淋巴结），看看有没有癌细胞。

• 传统做法：医生把这块组织放在显微镜下，从低倍镜（看整体）到高倍镜（看细胞细节）反复观察。
• 数字化后：现在的技术可以把整块组织扫描成一张超级巨大的数字图片，叫做全切片图像（WSI）。这张图大得惊人，如果把它打印出来，可能比足球场还大，而且里面包含了从宏观组织到微观细胞的无数细节。

2. 旧方法的麻烦：拼图游戏（Patch-based Methods）

以前的电脑程序处理这种“超级大图”时，就像是在玩拼图：

• 切块：因为电脑内存有限，它无法一次性把整张“足球场”大小的图装进脑子。所以，它把大图切成成千上万个小的正方形碎片（Patch）。
• 断章取义：程序分别分析每一块碎片，告诉它：“这块是癌，那块是好的”。
• 拼回去：最后再把所有碎片的分析结果拼回去。

这就带来了两个大问题：

1. 连续性断了：就像拼图边缘，癌细胞可能正好跨在两块碎片的交界处。旧方法容易把连续的病变切得支离破碎，导致结果看起来像“马赛克”，不够连贯。
2. 变焦就懵圈：医生看片子时，会切换显微镜的倍数（从低倍到高倍）。旧方法把不同倍数的图当成完全不同的东西来学。如果它在“低倍镜”下训练，到了“高倍镜”下，它可能就认不出同样的组织了，因为它是把“同一块肉”在不同距离看的样子，当成了“两块不同的肉”来学。

3. 新方案：WSI-INR（隐式神经表示）

这篇论文提出的 WSI-INR 方法，不再玩拼图，而是换了一种思路：把整张图想象成一首连续的“旋律”或一个“函数”。

核心比喻：GPS 导航系统

想象你有一个超级智能的GPS 导航系统，它不需要把地图切成一块一块的，而是记住了一条连续的规则：

• 输入：你告诉它一个坐标（比如：经度 120.5，纬度 30.2）。
• 输出：它直接告诉你这个坐标上是什么（是“癌组织”还是“正常组织”），甚至能告诉你这里长什么样。

WSI-INR 就是这么工作的：
它不切图，而是学习一个**“从坐标到组织特征”的连续函数**。

• 你问它任何位置的坐标，它都能立刻回答。
• 因为它学的是“规则”而不是“碎片”，所以无论你怎么放大、缩小（改变分辨率），它都能理解这是同一块组织在不同密度下的采样，就像你走近看地图和退后看地图，看到的都是同一张地图，只是细节密度不同。

4. 它的三大绝招

1. 多分辨率哈希编码（像不同密度的采样网）

   • 比喻：想象你在用不同网眼的渔网捕鱼。
     • 低倍镜 = 大网眼，能抓到鱼群的整体分布（大结构）。
     • 高倍镜 = 小网眼，能抓到具体的鱼（细胞细节）。
   • WSI-INR 的做法：它用一种特殊的“哈希网格”，把不同倍数的图看作是同一张渔网在不同密度下的采样。它不需要重新学习，只需要调整采样的密度，就能在不同分辨率下保持对组织的理解一致。这解决了旧方法“变焦就懵”的问题。

2. 两步走训练策略（先认脸，再找病）

   • 第一步（重建）：先让模型学会“看图说话”。给它坐标，让它把原本的图片颜色还原出来。这就像让画家先学会如何精准地描绘皮肤纹理和颜色，建立对组织的“直觉”。
   • 第二步（分割）：在有了这种“直觉”的基础上，再教它哪里是癌，哪里是好的。
   • 为什么这么做？：如果一开始就只教它找癌，它可能会走捷径（比如只记住某些颜色差异），而忽略了真正的组织结构。先学会“重建”能确保它真正理解了组织的结构。

3. 推理时的微调（临场发挥）

   • 当遇到一张全新的、没见过的病人切片时，WSI-INR 会先花一点点时间，专门针对这张图进行“热身”（推理时优化）。
   • 比喻：就像一位经验丰富的老中医，面对新病人时，会先仔细把脉、观察气色（重建），调整一下自己的判断标准，然后再下诊断（分割）。这让它在面对不同医院、不同扫描设备产生的图像时，依然非常稳健。

5. 结果怎么样？

实验结果显示，WSI-INR 表现非常出色：

• 抗干扰能力强：当分辨率发生变化（比如从训练时的清晰度变成模糊版）时，传统的“拼图法”（如 U-Net）准确率会暴跌（甚至下降 50% 以上），而 WSI-INR 依然能保持稳定的判断。
• 连续性好：它画出的病变区域是连贯的，不会出现断断续续的“马赛克”现象。
• 突破局限：以前这种“隐式神经表示”技术只擅长处理结构规则的东西（比如心脏、大脑），但这篇论文证明，它也能处理杂乱无章、千变万化的癌细胞组织，这是一个巨大的突破。

总结

简单来说，WSI-INR 就是把病理图像分析从**“切碎了拼凑”升级到了“整体理解”。它像一位拥有透视眼**的医生，无论你把显微镜拉近还是推远，它都能清晰地看到组织的连续结构，精准地找出病变，不会因为视角的切换而迷失方向。这为未来的自动化病理诊断提供了一种更聪明、更稳健的新思路。

技术摘要

1. 研究背景与问题 (Problem)

背景：
全切片图像（Whole-Slide Images, WSIs）是数字病理学的核心数据模态，通常以多分辨率金字塔结构存储。准确的病灶分割对于临床决策至关重要。

现有方法的局限性：
目前主流方法通常将 WSI 切割成离散的图像块（Patches）进行处理，这种方法存在两个关键问题：

1. 空间连续性破坏： 将连续的组织切片离散化为独立的图像块，破坏了组织结构的整体空间连续性。模型仅能在特征层面建立关联，难以捕捉病灶的真实全局空间信息，导致分割结果在空间上碎片化。
2. 分辨率不一致性（Cross-resolution Inconsistency）：
   • 病理诊断需要在同一位置观察不同分辨率。
   • 不同机构或扫描仪采集的 WSI 采样密度不同。
   • 现有基于 Patch 的方法将不同分辨率视为独立样本，导致模型将“采样尺度的变化”误认为是“语义差异”。
   • 在跨分辨率推理时（例如在训练分辨率以外的分辨率上测试），基于 Patch 的模型（如 U-Net, TransUNet）会出现严重的性能下降和结构断裂。

---

2. 方法论 (Methodology)

作者提出了 WSI-INR，一种基于隐式神经表示（Implicit Neural Representations, INRs） 的无切片（Patch-free）框架。

核心思想

WSI-INR 不再将 WSI 视为离散图像块的集合，而是将其建模为一个连续隐式函数。该函数直接将空间坐标 $(x, y)$ 映射到组织语义特征和分割概率，从而在整个切片范围内保持内在的空间连续性。

关键技术组件

1. 多分辨率哈希网格编码 (Multi-resolution Hash Grid Encoding)：

   • 原理： 借鉴了 Instant-NGP 等思想，引入可学习的哈希表来编码空间坐标。
   • 作用： 将不同分辨率视为同一连续组织的不同采样密度。哈希网格天然匹配 WSI 的金字塔结构，能够同时捕捉细粒度的纹理（高频细节）和大规模的组织结构（低频信息）。
   • 优势： 解决了跨分辨率特征不一致的问题，使模型在不同分辨率下能生成一致的表征。

2. 双分支解码器 (Dual-branch Decoder)：

   • CNN 分支： 处理编码后的坐标特征，显式建模局部空间连续性和邻域模式，捕捉精细的组织结构。
   • MLP 分支： 逐点操作，通过隐式表示捕捉全局空间关系。
   • 融合： 两个分支的输出在特征级融合，形成统一的隐式表示，兼顾局部约束与全局建模能力。

3. 两阶段训练策略 (Two-step Training Strategy)：

   • 阶段 1（重建）： 冻结分割头，优化编码器、解码器和重建头。通过最小化重建损失（MSE），让模型学习稳定的隐式图像表示（连续的外观和空间结构）。
   • 阶段 2（分割）： 冻结前序组件，仅优化分割头。在阶段 1 建立的语义结构化特征空间上，引入分割监督（BCE + Dice Loss），学习判别性特征以进行准确的病灶分割。
   • 目的： 避免联合优化时分割目标过早主导导致“捷径学习”（Shortcut learning），确保模型先理解组织形态，再学习病灶分割。

4. 推理时优化 (Inference-Time Optimization, ITO)：

   • 对于未见过的 WSI，固定全局网络参数，仅针对该特定切片优化其对应的哈希编码。
   • 利用重建损失进行无监督适应，使哈希网格快速适应新切片的纹理和结构特征，同时保留训练阶段学到的共享形态学先验。

---

3. 主要贡献 (Key Contributions)

1. 提出 WSI-INR 框架： 首次将隐式神经表示应用于 WSI 病灶分割，将 WSI 建模为连续隐式表示，直接由空间坐标预测分割结果，保留了全局空间连续性。
2. 解决跨分辨率鲁棒性问题： 通过多分辨率哈希编码，将不同分辨率视为同一连续函数的不同采样密度，实现了跨分辨率的稳健分割。
3. 扩展 INR 的应用边界： 证明了 INR 不仅能处理结构一致的人体解剖结构（如心脏、大脑 MRI），也能有效分割高度异质性的病理病灶。
4. 性能突破： 实验表明，在跨分辨率场景下，WSI-INR 的表现显著优于传统的基于 Patch 的方法（U-Net, TransUNet）。

---

4. 实验结果 (Experimental Results)

• 数据集： CAMELYON16（乳腺癌淋巴结转移检测）。
• 评估指标： Dice 系数。
• 对比设置： 所有模型均在基础分辨率（Base）训练，并在 Base、Base/2、Base/4 三种分辨率下测试。

关键数据表现：

• 跨分辨率鲁棒性：

  • U-Net: 在 Base/4 分辨率下，Dice 分数从 0.4858 暴跌至 0.2221（下降 54.28%）。
  • TransUNet: 在 Base/4 分辨率下，Dice 分数从 0.1534 暴跌至 0.0979（下降 36.18%）。
  • WSI-INR (特定分辨率优化): 在 Base/4 分辨率下，Dice 分数从 0.2417 提升至 0.3048（提升 26.11%）。
  • 结论： 传统方法在分辨率变化时性能严重退化且产生碎片化预测，而 WSI-INR 保持了结构连续性并显著提升了低分辨率下的性能。

• 消融实验：

  • 无编码或仅使用 NeRF 位置编码的模型无法处理 WSI 的高异质性，Dice 接近 0 或极低。
  • 完整的哈希网格（结合高低频）是实现高保真重建和强分割性能的关键。

---

5. 意义与影响 (Significance)

1. 范式转变： 从“离散 Patch 处理”转向“连续隐式函数建模”，为计算病理学提供了一种全新的视角，解决了空间连续性丢失的根本问题。
2. 临床实用性： 显著提高了模型在不同扫描仪、不同分辨率设置下的鲁棒性，解决了实际应用中因存储限制或设备差异导致的模型部署难题。
3. 技术拓展： 成功将 INR 从结构规则的解剖学任务推广到结构高度异质、缺乏统一模板的病理学任务，展示了隐式表示在处理复杂生物医学图像方面的巨大潜力。
4. 未来方向： 尽管在微尺度病灶建模和跨中心泛化上仍有提升空间，但 WSI-INR 为计算病理学中的连续表示和多尺度建模提供了一个可扩展的框架。

总结： WSI-INR 通过引入隐式神经表示和多分辨率哈希编码，成功克服了传统 Patch-based 方法在空间连续性和跨分辨率鲁棒性上的缺陷，为全切片图像的病灶分割提供了更准确、更稳健的解决方案。