💻 computer science

Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos

本文提出了一种噪声感知的对比学习框架，该框架利用结肠镜视频固有的时间结构来学习鲁棒的息肉表征，无需昂贵的人工标注，即可在轻量级编码器于小规模数据集上训练的情况下，在多个下游任务中实现最先进的性能。

原作者： Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一台电脑在拥挤的房间里识别不同的人，但你没有任何姓名牌。你只有一段该房间的连续视频。

在内窥镜（一种用于观察结肠内部的医疗摄像程序）的世界里，“人”是息肉（可能癌变的小生长物），“房间”则是患者结肠的内部。视频是一段漫长且杂乱的流，其中摄像头在移动，光线在变化，息肉在蠕动或被碎屑遮盖。

以下是该论文如何解决在不需人类医生标记每一个息肉的情况下，教会电脑识别这些息肉的问题。

问题：“标记”瓶颈

通常，要教会电脑识别事物，你需要一位老师。在这种情况下，人类专家必须观看整段视频，找出每一个息肉，为其画框，然后说：“0:05 处的这个框与 0:15 处的这个框是同一个息肉。”

论文认为，这种方法太慢、太昂贵，且需要过多的专家时间。这就像试图通过让父母为孩子拍摄的每一张照片都写一张便条，来教孩子识别他们的朋友。

解决方案：“时间即老师”

作者们意识到，内窥镜检查视频具有自然的节奏。医生观察一个息肉，可能将其切除，然后移动到下一个。他们通常不会随机地来回跳跃。

类比：想象你在看电影。如果你在 10 分钟时看到屏幕上的一个角色，然后在 10:05 再次看到他们，那几乎肯定是同一个角色。如果你在 10 分钟时看到他们，然后在 45 分钟时再次看到，那可能是同一个角色，但不太确定（也许他们离开后又回来了，或者只是一个长得相似的不同的人）。

该论文利用这种时间间隔作为“自监督”信号。

稳妥的赌注：如果两个视频片段在时间上紧邻，它们很可能是同一个息肉。
冒险的赌注：如果两个片段在时间上相距较远，它们可能是同一个息肉，但也可能是两个看起来相似的不同息肉。

创新：“噪声感知”过滤器

这里是棘手之处：“冒险的赌注”经常出错。如果电脑假设两个相距较远的片段是同一个息肉，而实际上它们是不同的，它就会感到困惑并学到错误的东西。这被称为“噪声数据”。

作者发明了一种特殊的噪声感知损失（一种用于学习的数学规则）。

隐喻：想象一位老师批改学生的作业。通常，如果学生答错了，老师会扣分。但在这种新系统中，老师足够聪明，会说：“我知道这个问题很棘手，答案键可能也是错的。我不会因为答错而过分惩罚学生，但我仍然会奖励他们答对那些简单、明显的问题。”
工作原理：系统创建视频片段的“包”。它从时间上非常接近（非常安全）的片段开始。随着训练的进行，它慢慢开始添加时间上相距较远（风险更大）的片段。“噪声感知”规则告诉电脑：“关注强烈的相似性，但不要让你那些微弱的、可能错误的相似性破坏你的学习。”

结果：小团队，大胜利

该团队仅使用27 段视频的极少量数据训练了他们的系统。

对比：他们将他们的系统与以下系统进行了比较：
- 其他尝试无标签学习（自监督）的 AI。
- 使用完整人类标签（监督）训练的 AI。
- 庞大的“基础模型”（在数百万张图像上训练的巨大 AI 大脑，如"Dino"模型）。
结果：他们的小型、轻量级系统以巨大优势击败了其他“无标签”方法。在以下任务中，它甚至与庞大、笨重的基础模型相当或更胜一筹：
- 检索：在视频的不同部分再次找到同一个息肉。
- 重识别：判断两个片段是否显示同一个息肉。
- 大小估计：猜测息肉是小还是大。
- 组织学：猜测息肉是否可能癌变（腺瘤）。

为何重要

该论文声称这是一种“轻量级”解决方案。这就像建造一台高效、智能的汽车发动机，它只需极少量的燃料（27 段视频）就能运行，但性能与庞大、耗油的发动机（巨大的基础模型）一样出色。这意味着它有可能在更小的设备上运行，或者在现实世界的医院中更容易使用，而无需超级计算机或成群的医生来标记数据。

简而言之：他们利用时间流作为指南，教会了电脑识别结肠息肉，但他们添加了一个安全过滤器，以防电脑在时间线索具有误导性时感到困惑。他们仅用极少量的数据就做到了这一点，并击败了更大、更复杂的系统。

技术摘要：基于噪声时序自监督的结肠镜视频对比学习

问题陈述

息肉轨迹片段（同一息肉的连续检测序列）的鲁棒表示学习对于多种 AI 辅助结肠镜应用至关重要，包括息肉表征、自动化报告和病灶检索。尽管监督对比学习已被证明有效，但它依赖于“息肉实体”标注——即将视频中同一底层息肉的检测关联起来的标签。生成这些标签成本高昂、耗时且需要专门的临床专业知识，从而限制了监督方法的可扩展性。

现有的自监督方法试图通过将轨迹片段分割为不相交的片段或对其进行聚类来绕过这一限制。然而，这些方法往往无法捕捉息肉实体在整个视频中的完整语义一致性。相反，最近利用显式实体标注的监督方法取得了更优越的性能，凸显了监督学习与自监督学习之间的显著差距。挑战在于，尽管结肠镜的视觉环境高度多变（视角、尺度、光照、运动模糊和遮挡的变化），如何在依赖手动实体标注的情况下缩小这一差距。

方法论

所提出的框架利用结肠镜程序固有的顺序工作流程，从时序结构中推导出自监督关联。核心假设是：在时间上接近的观测很可能描绘的是同一个息肉实体。

1. 作为自监督的时序结构

该方法从真实息肉检测中构建轨迹片段数据集 $\{x_i\}$ 。对于视频 $v_i$ 中的每个锚点轨迹片段 $i$ ，从同一视频 ( $v_j = v_i$ ) 中的其他轨迹片段构建一个候选正样本轨迹片段的“包”。

排序：按与锚点的时间距离对轨迹片段进行排序。
包构建：该方法不从时间上最接近的轨迹片段中选择（这会产生冗余视图），而是从指数分布 $P_\tau(r) \propto \exp(-r/\tau)$ 中采样 $K$ 个不同的排名。温度参数 $\tau$ 控制包的多样性：低 $\tau$ 选择邻近邻居（高相似性，低噪声），而高 $\tau$ 选择遥远邻居（高多样性，错误关联的风险更高）。
课程学习：为了平衡视图多样性与关联正确性之间的权衡，引入了课程变量 $c \in [0, 1]$ 。在训练过程中，使用余弦调度将温度 $\tau$ 从最小值逐渐增加到最大值。这使得模型能够从安全、高度相似的关联开始，并逐步从更多样化、潜在噪声更大的时序关联中学习。

2. 噪声感知对比损失

由于时间接近性并不能保证两个轨迹片段属于同一个息肉（例如，两个不同的息肉快速连续出现），由此产生的“包”可能包含“不纯”样本（来自不同息肉的轨迹片段）。将包中的所有样本视为正样本会损害表示学习。

作者提出了一种噪声感知对比损失，以放宽标准的对比约束。该损失不要求包中的所有正样本都与锚点相似，而是强制要求至少有一个轨迹片段在包中与锚点的相似度，高于包中任何轨迹片段与任何其他锚点的相似度。

数学公式：损失函数利用对数求和指数（log-sum-exp）来近似最大值算子。它最大化锚点与包中最佳匹配正样本之间的相似度，同时最小化锚点与其他锚点的负样本之间的相似度。
效果：这种公式化使模型能够有效地“忽略”包内噪声（错误）的时序关联，防止它们破坏学习到的嵌入空间。

3. 架构

该框架使用轻量级编码器，包括用于帧嵌入提取的 ResNet-50，后接三层 Transformer 编码器堆栈以聚合全局轨迹片段表示。损失可应用于最终轨迹片段嵌入、每帧嵌入或两者。

主要贡献

自监督框架：一种新颖的方法，利用结肠镜的顺序工作流程从时序结构构建自监督信号，消除了对手动息肉实体标注的需求。
噪声感知对比损失：一种损失函数，旨在通过确保包内最一致的正样本驱动学习过程，从而减轻噪声时序关联的影响。
综合评估：在四个公共数据集（REAL-Colon、SUN、PolypSize、PolypsSet）上针对多个下游任务进行了广泛评估，证明了其性能达到或超过了最近的基础模型。

结果

该方法仅在 REAL-Colon 数据集的 27 个视频（85 个息肉）上进行了训练，并在四个下游任务上进行了评估：

息肉检索：通过平均精度均值（mAP）和命中率（Hit Rate）衡量。
重识别（ReID）：通过 AUROC 和 AUPR 衡量。
尺寸估计：通过非线性探测进行二分类（微小 vs. 非微小）。
组织学分类：通过非线性探测进行二分类（腺瘤 vs. 非腺瘤）。

性能亮点：

与自监督基线相比：所提出的方法以显著优势优于先前的自监督方法（如 TPC、MVE、SFE），包括检索 mAP 相对提升 23.69%，组织学准确率提升 24.4%。
与全监督基线相比：该方法 consistently 取得了优于或相当于全监督基线（依赖昂贵的实体标注）的性能。例如，在 ReID 任务中，其 AUPR 比最佳监督基线提高了 18.56%。
与基础模型相比：在 27 个视频上训练的轻量级编码器（2560 万参数）在所有任务上均达到或超越了大型通用基础模型（如 11.36 亿参数的 DinoV2-giant）以及内窥镜专用基础模型。
消融研究：研究证实，基于指数的排名采样和课程学习策略均有助于性能提升。将损失应用于帧嵌入和轨迹片段嵌入两者时，取得了最佳的整体结果。

意义与主张

该论文声称，这项工作通过显著减少对手动标注的依赖，同时保持临床应用的高性能，实现了结肠镜中可扩展的表示学习。通过利用结肠镜视频的程序结构并引入一种机制来处理时序自监督中固有的噪声，作者证明了可以高效地学习鲁棒的息肉轨迹片段表示。使用在小数据集上训练的轻量级架构达到或超越大规模基础模型的性能，表明了一条切实可行的路径，即在数据标注资源有限的临床环境中部署 AI 辅助工具。