💻 computer science

Don't Mind the Gaps: Implicit Neural Representations for Resolution-Agnostic Retinal OCT Analysis

该论文提出了两种基于隐式神经表示（INR）的框架，通过利用其分辨率无关的特性，实现了视网膜 OCT 数据的密集三维分析，有效解决了因切片间距大导致的各向异性问题，并支持跨协议和跨分辨率的通用性评估。

原作者： Bennet Kahrs, Julia Andresen, Fenja Falta, Monty Santarossa, Heinz Handels, Timo Kepp

发布于 2026-03-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Bennet Kahrs, Julia Andresen, Fenja Falta, Monty Santarossa, Heinz Handels, Timo Kepp

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何“脑补”视网膜图像的聪明办法，旨在解决眼科检查中一个常见的难题。

想象一下，你正在看一本非常薄的书（比如一本只有几页的漫画书），但这本书的厚度（前后方向）非常厚，而页数（左右方向）却很少。

1. 遇到的难题：只有“骨架”，没有“血肉”

在眼科检查中，医生使用一种叫OCT（光学相干断层扫描）的技术来给视网膜拍照。这就像给眼睛做 CT 扫描。

现实情况：为了快速检查，机器通常只拍很少的“切片”（比如每隔几毫米拍一张）。这就好比只拍了书的第 1 页、第 10 页、第 20 页……
后果：
1. 断层感强：如果你把这几页纸连起来看，中间是空的，你根本不知道第 5 页长什么样。
2. 容易出错：现在的 AI 通常只能一张一张地看（2D 分析）。它看第 1 页觉得这里有个血管，看第 10 页觉得那里有个血管，但连起来看时，血管可能断断续续，甚至扭曲变形，就像把几页不连续的漫画拼在一起，画面会乱套。
3. 分辨率锁死：传统的 AI 就像是一个只认识“标准尺寸”照片的画家。如果给它一张拍得比较稀疏的照片，它要么画不清楚，要么完全不会画。

2. 核心魔法：隐式神经表示 (INR) —— “万能公式”

作者提出了一种叫隐式神经表示（INR）的新工具。我们可以把它想象成一个超级聪明的“万能公式”。

传统方法：像存照片一样，把每个像素点的数据都存在硬盘里。如果照片分辨率变了，或者中间缺了页，硬盘里的数据就乱了。
INR 方法：它不存具体的像素点，而是学习一个数学公式。
- 你问它：“在坐标 (x, y, z) 处，视网膜是什么样？”
- 它就能算出答案。
- 神奇之处：这个公式是连续的。不管你是问第 1 页、第 1.5 页，还是第 100 页，它都能算出来。它不受“分辨率”限制，就像你可以用同一个公式画出任意大小的圆一样。

3. 两大创新方案

作者利用这个“万能公式”，提出了两个聪明的解决方案：

方案一：填补空白（插值）—— 借助“地图”来猜

问题：只有稀疏的切片，中间怎么补？
办法：作者引入了另一种高分辨率的“平铺地图”（叫 SLO 或 FAF 图像）。这种图像虽然看不出深度（像一张平面的照片），但它把视网膜表面的血管、斑点看得清清楚楚。
比喻：
- 稀疏的 OCT 切片就像只有几根骨架的鸟。
- 高分辨率的平铺图像就像一张详细的鸟的羽毛分布图。
- 作者训练 AI，让它看着“羽毛分布图”，结合“骨架”的位置，脑补出中间那些缺失的羽毛（即中间的切片）应该长什么样。
结果：AI 不仅能填补空白，还能把血管、病变（如积液）的位置补得非常自然，不会像传统方法那样出现断裂或错位。

方案二：建立“标准像”（图谱）—— 大家的平均脸

问题：每个人的眼睛长得不一样，怎么制定一个“标准”来对比谁生病了？
办法：作者用同样的“万能公式”技术，把几百个健康人的眼睛数据融合在一起，生成一个分辨率无关的“标准视网膜图谱”。
比喻：
- 以前的方法就像把几百张不同尺寸、不同清晰度的照片强行拼在一起，结果模糊不清。
- 现在的方法是用“万能公式”算出一个完美的、清晰的“平均脸”。
- 当医生拿到一个新病人的眼睛时，AI 能瞬间把这个病人的眼睛“对齐”到这个标准图谱上，无论病人之前的照片拍得有多稀疏、多模糊，都能精准地对比出哪里出了问题。

4. 为什么这很重要？

不再受设备限制：不管医院用的机器拍得稀疏还是密集，这个 AI 都能处理。
看得更准：它能生成连续的、平滑的 3D 图像，让医生能看清那些在传统切片中“消失”的微小病变。
未来潜力：这种技术不仅能看视网膜，未来可能用于分析心脏、大脑等其他器官的医学图像，甚至帮助发现以前看不见的疾病规律。

总结

这就好比以前我们只有几根稀疏的“点”，连成线很困难且容易歪歪扭扭。现在，作者发明了一种能根据已知点自动推导整条曲线的“魔法笔”。它不仅能填补中间的空白，还能画出完美的标准模板，让医生在诊断眼病时，拥有了一双能看透“迷雾”的慧眼。

1. 研究背景与问题 (Problem)

核心挑战：
光学相干断层扫描（OCT）是眼科临床的标准成像模式，但为了缩短采集时间，临床常规扫描通常采用较大的层间距（B-scan spacing）。这导致数据在慢扫描方向上采样稀疏，形成**高度各向异性（Highly Anisotropic）**的图像。

现有方法的局限性：

2D 方法的缺陷： 大多数基于学习的方法为了避免各向异性问题，采用 2D 切片处理而非 3D 体分析。这忽略了相邻 B-scan 之间的信息，导致 3D 重建表面不规则，且需要复杂的后处理（如图割、正则化）来修正。
小结构丢失： 稀疏采样可能导致微小的解剖或病理结构被遗漏，降低诊断精度。
分辨率依赖： 传统的卷积神经网络（CNN）受限于训练数据的分辨率，无法直接应用于不同采集协议（不同层间距）的图像。
多模态配准困难： 虽然眼底成像（如 SLO 或 FAF）提供了高分辨率的二维信息，但由于分辨率差异和缺乏深度信息，很难与稀疏采样的 OCT 体积进行有效匹配。

目标：
开发一种**分辨率无关（Resolution-Agnostic）**的框架，能够处理高度各向异性的 OCT 数据，实现 B-scan 之间的插值（填补间隙）以及构建通用的视网膜图谱（Atlas），从而支持连续的 3D 分析。

2. 方法论 (Methodology)

作者提出了两种基于**隐式神经表示（Implicit Neural Representations, INRs）**的框架。INR 将体数据表示为连续函数，输入坐标即可输出强度或标签，因此天然具有分辨率无关性。

方法一：各向异性插值 (Anisotropic Interpolation)

旨在利用密集的二维眼底图像（SLO 或 FAF）信息，填补稀疏 OCT B-scan 之间的间隙。

架构设计：
- 使用一个可泛化的 INR（Generalizable INR），由所有训练样本共享的多层感知机（MLP）和每个样本特定的可学习潜在先验（Latent Prior）组成。
- 输入： 3D 坐标 $(x, y, z)$ + 对应位置的眼底图像强度 $E(x, z)$ （来自 SLO 或 FAF）+ 样本特定的潜在向量 $p$ 。
- 输出： 两个解码头，分别输出 OCT 体素强度（重建）和视网膜层/病理分割标签。
训练策略：
- 人口基训练（Population-based Training）： 在大量健康或病理样本上训练共享的 MLP，学习视网膜的通用形状和结构先验。
- 推理阶段： 对于未见过的病例，冻结 MLP 参数，仅优化该病例的潜在先验 $p$ ，使其适应新的 OCT 和眼底图像。
创新点： 引入眼底模态（SLO/FAF）作为条件输入，利用其高分辨率的横向信息来指导 INR 重建 B-scan 之间缺失的血管和结构细节。

方法二：分辨率无关的图谱生成 (Resolution-Agnostic Atlas Generation)

旨在构建一个不依赖于原始数据分辨率的通用视网膜图谱，并实现隐式的体间配准。

架构设计：
- 可学习图谱（Learnable Atlas）： 使用一个非泛化的 INR ( $f_\theta$ ) 直接表示图谱的强度和分割标签。它接收经过形变后的坐标 $(x', y', z')$ 并输出图谱值。
- 形变模型（Displacement Model）： 使用一个可泛化的 INR ( $g_\vartheta$ ) 结合超网络（Hypernetwork）来预测形变场。超网络根据样本的潜在先验 $p$ 生成缩放和偏移向量，调制 INR 的中间层，从而捕捉样本特定的解剖变异。
联合优化：
- 同时优化图谱 INR 和形变模型，无需元学习。
- 损失函数包含重建误差（强度 + 分割）和形变正则化（L1 损失）。
优势： 由于 INR 是连续函数，图谱可以在任意分辨率下被采样，完全摆脱了原始 B-scan 数量的限制。

3. 关键贡献 (Key Contributions)

分辨率无关的 OCT 分析框架： 首次将可泛化的 INR 应用于高度各向异性的视网膜 OCT 数据，解决了传统 CNN 无法处理不同层间距数据的问题。
多模态辅助的 B-scan 插值： 提出了一种利用 SLO/FAF 等密集采样的眼底图像作为条件输入的方法，显著改善了 B-scan 间隙的插值质量，能够重建出血管阴影和精细的视网膜层结构。
隐式图谱与配准： 构建了一个基于 INR 的分辨率无关视网膜图谱，并实现了隐式的体间配准。该方法生成的图谱更清晰、伪影更少，且推理速度更快。
泛化能力验证： 证明了该方法不仅能处理训练集内的数据，还能通过调整潜在先验，有效处理未见过的健康及病理（CSCR）病例。

4. 实验结果 (Results)

实验使用了 50 名健康志愿者的数据（含 SLO）和 19 名中心性浆液性脉络膜视网膜病变（CSCR）患者的数据（含 FAF）。

插值任务结果：

图像重建： 提出的 GenINR 方法在 MAE、PSNR 和 SSIM 指标上均优于线性插值、基于配准的插值以及单实例 INR（SingleINR）。
- 例如，在健康数据测试集上，GenINR 的 SSIM 达到 44.2-44.3%，显著高于线性插值（~~39.7%）和注册插值（~~41.3%）。
分割精度： 在视网膜层分割上，GenINR 取得了最高的 Dice 分数（健康数据测试集 86.2-86.5%）和最低的平均对称表面距离（ASSD 11.4-11.7 µm）。
定性分析： 相比其他方法，GenINR 能正确重建血管位置和阴影，避免了插值伪影（如错位阴影），特别是在黄斑区表现优异。
病理数据： 在 CSCR 数据中，结合 FAF 输入进一步提升了病理区域（如视网膜下液）的分割精度。

图谱配准结果：

配准性能： 提出的 GenINR 框架在 ASSD（11.3 µm）、Dice（86.4%）和 SSIM（42.4%）上均优于对比方法（SINA 和 SingleINR）。
推理速度： 每个受试者的推理时间约为 23.1 秒，比 SINA 快约 4 分钟，比 SingleINR 快约 1 分钟。
分辨率无关性： 实验表明，无论输入 B-scan 的数量是 16、32、64 还是 512，配准性能（Dice, ASSD, SSIM）均无显著差异，证明了其真正的分辨率无关特性。
隐式 vs 显式： 隐式图谱表示在保持精度的同时，比显式参数表示具有更好的对齐性能。

5. 意义与影响 (Significance)

突破临床限制： 该方法使得利用临床常规采集的（稀疏、各向异性）OCT 数据进行高质量的 3D 体积分析成为可能，无需重新进行高分辨率扫描。
多模态融合新范式： 展示了如何将高分辨率的二维眼底图像（SLO/FAF）有效地融合到 3D OCT 重建中，为多模态眼科分析提供了新思路。
通用性与效率： 提出的可泛化 INR 框架不仅适用于插值，还适用于配准和图谱构建，且推理速度快、内存占用低（通过潜在向量压缩数据）。
临床潜力： 能够生成连续的 3D 视网膜模型，有助于更精确地测量层厚度、评估病理体积（如积液），并支持纵向分析和疾病分类。
未来方向： 为医学图像分析中的连续表示学习提供了强有力的工具，暗示了基于潜在空间进行异常检测或疾病分类的新可能性。

总结： 该论文成功利用隐式神经表示（INR）解决了 OCT 成像中各向异性和稀疏采样的核心痛点，提出了一套通用的、分辨率无关的解决方案，在插值重建和图谱配准任务上均取得了优于现有最先进方法（SOTA）的性能。