💻 computer science

SurgOnAir: Hierarchy-Aware Real-Time Surgical Video Commentary

本文介绍了 SurgOnAir，这是一种基于分层数据集训练的实时流式视觉 - 语言模型，能够在无法访问未来帧的情况下生成即时、多层级的手术叙述并检测工作流程转换，从而为手术室提供即时的人工智能辅助。

原作者： Jingyi He, Yue Zhou, Long Bai, Kun Yuan, Nassir Navab, Yuan Bi

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingyi He, Yue Zhou, Long Bai, Kun Yuan, Nassir Navab, Yuan Bi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一位外科医生正在进行一台复杂的手术。在局外人看来，这或许像是一场工具与组织混乱的舞蹈。但对外科医生而言，这是一段高度结构化的叙事，有开头、中间和结尾，被分解为章节、场景和具体的台词。

本文介绍了SurgOnAir，一种专为这段叙事充当“现场解说员”的新型人工智能系统。其工作原理如下，简明扼要：

问题：“倒带”按钮并不存在

大多数现有的手术描述人工智能系统，就像一位观看完整部电影后才暂停、深思良久并撰写影评的影评人。等到影评出炉时，电影早已结束。

在真实的手术室中，你无法等待人工智能看完整个视频后再开口。如果人工智能反应迟缓，它就会错过外科医生切开特定动脉或移动工具的瞬间。这就像试图在足球比赛结束后才进行赛后解说。

解决方案：现场广播员

SurgOnAir 则截然不同。它就像一位体育广播员，在赛事进行的同时进行解说，一旦看到动作便立即说出话语。

不倒带：它随着视频流逐帧处理，从不查看“未来”（即视频中接下来发生的内容）。
即时反应：一旦新的视觉帧到达，人工智能会立即生成一两个词的解说。

核心秘诀：“目录”

SurgOnAir 的真正魔力不仅在于其速度，更在于它理解手术的层级结构。

想象一本书。

章节对应阶段（例如，“切除胆囊”）。
场景对应步骤（例如，“切断导管”）。
台词对应动作（例如，“用剪刀切断导管”）。

旧的人工智能模型常常迷失方向。它们可能会描述剪刀切割，却未意识到自己处于手术的哪个部分；或者它们可能从“切割”直接跳到“缝合”，而未察觉中间的过渡。

SurgOnAir 内置了一个心理上的“目录”。它不断更新其内部状态：

“好的，我们正处于第 3 章（阶段），第 2 场（场景）。外科医生当前正在执行‘切断导管’（动作）。”

当外科医生完成导管切割并进入下一步时，SurgOnAir 不会只是继续说话；它会生成一个特殊的“过渡标记”。这就像解说员说：“现在，我们进入下一个场景！”这有助于人工智能确切地知道自己在手术流程中的位置，防止其产生混淆或编造事实（幻觉）。

如何训练它（“教科书”）

为了训练这一人工智能，研究人员并非仅仅向其输入随机视频。他们创建了一个名为SurgOnAir-11k的特殊数据集。

他们选取了真实的手术视频以及外科医生的语音。
他们利用人工智能清理音频，去除诸如“大家好”或“让我解释一下我们为何这样做”等内容，仅保留描述当下正在发生之事的片段（例如，“正在切割动脉”）。
他们手动为视频的每一秒标注其阶段、步骤和动作。

这为人工智能提供了一本完美的“教科书”，其中每一个 spoken 的词语都关联着特定的视觉瞬间和手术叙事中的特定位置。

结果：谁赢得了比赛？

研究人员将 SurgOnAir 与其他人工智能模型进行了测试：

“影评人”（离线模型）：这些模型首先观看整个视频。它们速度缓慢，且常常错过现场动作的细微差别。
“通用广播员”（标准流式模型）：这些模型速度很快，但不理解手术的结构。它们可能会描述错误的步骤，或搞错阶段。
SurgOnAir：由于它理解了层级结构（阶段和步骤）并实时流式处理，它是当之无愧的赢家。它在动作发生的确切时刻描述确切正在发生之事的方面，表现要出色得多。

核心结论

SurgOnAir 是首个能够实时观看手术、同时理解宏观图景（阶段）与微观细节（动作），并在不预看未来的情况下即时进行解说的系统。这就像拥有一位超级聪明的副驾驶，它知晓手术的剧本，并能在你看到动作发生的瞬间，准确告诉你正在发生什么。

注：本文完全聚焦于构建这一实时解说系统及其训练数据集。它并未声称能执行手术本身，或预测当前时刻之外的未来动作。

技术摘要：SurgOnAir

问题陈述

当前的手术人工智能系统难以提供对手术流程的实时、时间锚定的理解。尽管多模态大语言模型（MLLMs）在通用视频理解方面取得了进展，但它们对重型骨干网络和离线处理范式（需要访问整个视频序列）的依赖，阻碍了对不断演变的手术动态的即时反应。在手术室中，关键决策依赖于器械运动和 tissue 状态的细微、逐时刻变化；即使是轻微的感知延迟也可能危及安全或限制辅助。此外，现有方法通常将手术流程视为扁平序列，忽视了对于上下文锚定和减少幻觉至关重要的固有层次结构（阶段 $\rightarrow$ 步骤 $\rightarrow$ 动作）。目前缺乏能够同时处理流式视频并生成多层次、感知层次结构的叙述的模型。

方法论

1. 数据构建：SurgOnAir-11K

作者引入了 SurgOnAir-11K，这是一个精心构建的层次化数据集，旨在弥合原始手术视频与结构化叙述之间的差距。数据构建流程包括：

时间锚定的自动语音识别（ASR）： 使用 WhisperX-large 提取带有精确时间戳的词级转录，创建 $\langle word, t_{start}, t_{end} \rangle$ 三元组。
领域感知修正： 低置信度句子（对数概率 < -0.15）使用 GPT-4o 进行修正，施加严格约束以规范术语而不改变内容。
动作感知过滤： 将句子分类为动作、解释和交互。仅保留严格基于视觉内容的动作句子用于监督。
层次化构建： 数据集被构建为三级层次结构：阶段 $\rightarrow$ 步骤 $\rightarrow$ 词。高层程序步骤通过大语言模型生成，以确保不重叠、时间单调的划分，随后与元数据定义的阶段进行对齐。

2. 模型架构：SurgOnAir

SurgOnAir 是一个基于 LiveCC-7B-Base 骨干网络构建的流式视觉 - 语言模型，专为无需未来访问的实时帧到令牌生成而设计。

密集时间交错： 模型采用流式输入策略，其中视觉帧（ $\langle F \rangle$ ）和文本令牌（ $\langle W \rangle$ ）被密集交错： $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$ 。步长 $k$ 设为 1，帧率为 2 FPS，以确保细粒度对齐。
层次状态令牌： 为了强制感知层次的叙述，模型利用特殊的 过渡令牌（例如 <State>Phase=P1, Step=S1</State>）。这些令牌仅在状态转换发生时条件性地插入文本流中，作为工作流的离散锚点。这使得模型能够同时充当连续叙述者和严格的状态跟踪器。
训练策略： 模型采用分阶段的条件策略。在前两个 epoch 中，它基于先前的 ASR 文本进行条件化以稳定训练。在最后一个 epoch 中，移除了 ASR 上下文（仅保留视频标题），迫使模型直接依赖视觉证据。

主要贡献

层次化时间锚定流程： 一种将原始手术视频和 ASR 转录转换为多层次、时间对齐的视频 - 语言语料库（SurgOnAir-11K）的新方法，具有明确的阶段、步骤和词级监督。
SurgOnAir 框架： 一个交错多模态令牌以实现实时处理的层次化流式框架。它独特地利用专门的过渡令牌来显式预测状态变化，从而生成感知程序层次结构的叙述。
实时性能： 展示了单一视觉 - 语言模型能够统一跨越手术流程多个层次的流式处理，在实时叙述质量上优于离线模型和现有的流式基线。

实验结果

模型在 SurgOnAir-11K 数据集的 80/20 划分上进行了评估，使用由 GPT-4o 判定的成对选择任务，优先考虑语义正确性和锚定性而非句法完美性。

与基线的比较：
- 离线模型： 离线视频大语言模型（LLaVA-Video-7B, Qwen2.5-VL-7B）表现不佳（胜率分别为 11.3% 和 6.2%），突显了它们不适合实时手术场景。
- 流式基线： 通用流式模型 LiveCC-7B 实现了 16.7% 的胜率，优于离线模型，但未能捕捉复杂的手术细微差别。
- SurgOnAir 变体： 在领域内数据上训练的扁平叙述版本（SurgOnAir-base）实现了 60.4% 的胜率。包含层次化建模的完整 SurgOnAir 模型实现了最高的 66.1% 胜率。
消融研究：
- 层次结构： 移除层次结构（SurgOnAir-base）使胜率相对于完整模型降至 39.4%，证实了结构指导的必要性。
- 状态表述： 强制在每个词令牌处预测状态的变体（SurgOnAir-v1）实现了 42.5%，而所提出的感知过渡表述实现了 57.5%，表明冗余的状态生成损害了叙述的流畅性。
- 阶段正确性： 当模型正确预测手术阶段时，相对于基础模型的胜率跃升至 65.8%，表明准确的阶段锚定直接支持上下文对齐的叙述。
定性结果： 模型成功地在程序边界（例如从“补片引入”到“补片固定”）之间连贯过渡，并保持微观层面的时间对齐，准确描述交互时刻的器械和解剖结构。

意义与主张

该论文声称 SurgOnAir 是首个基于层次化建模构建的实时手术叙述框架。其主要意义在于通过生成既时间对齐又感知层次结构的描述，将实时手术理解推进到超越传统视频字幕的水平。作者指出，这项工作为未来的 手术自动化 和 智能手术教学系统 奠定了基础。

该论文对其局限性保持谦逊，承认当前数据集规模有限，且模型尚未执行未来动作预测，并指出这些是进一步探索的有前景的方向。