🤖 machine learning

HamVision: Hamiltonian Dynamics as Inductive Bias for Medical Image Analysis

本文提出了 HamVision 框架，利用阻尼谐振子作为结构化归纳偏置，通过其相位空间分解生成的位置、动量和能量表示，在无需监督的情况下实现了医学图像分割与分类任务中的状态最先进性能。

原作者： Mohamed A Mabrok

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed A Mabrok

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于HamVision（哈姆视觉）的论文，它提出了一种全新的方法来让计算机“看懂”医学图像。

为了让你轻松理解，我们可以把这项技术想象成给计算机装上了一副**“物理学家眼镜”**，而不是让它像以前那样死记硬背地学习。

1. 核心灵感：一个会“摇摆”的弹簧

想象一下，你手里拿着一根弹簧，上面挂着一个小球。如果你推它一下，它会怎么动？

它会摆动（位置变化）。
它会有速度（动量，越快到边缘时速度越快）。
它会有能量（摆动得越厉害，能量越大）。

在传统的深度学习（AI）中，计算机通常像是一个**“死记硬背的学生”**。给它看一万张皮肤病照片，它努力记住“哪里是痣，哪里是皮肤”，但这需要大量的数据和计算资源，而且它并不真正理解“边界”或“纹理”是什么。

HamVision 的做法不同：它告诉计算机，“别死记硬背，你要像那个阻尼弹簧一样思考”。

当图像中的信号（比如像素的变化）流过这个“弹簧”时，它会自动分解成三个物理量：
1. 位置 (q)：图像里有什么内容（比如是红色的还是蓝色的）。
2. 动量 (p)：图像变化的快慢（比如边缘在哪里，纹理有多粗糙）。
3. 能量 (H)：哪里最“热闹”（哪里是重点，哪里是背景）。

关键点：这三个东西不是让 AI 去“学”出来的，而是物理定律自动产生的。就像你推弹簧，它必然会有速度和能量一样。这让 AI 少学了很多东西，但理解得更深。

2. 两个超级任务：切蛋糕和认水果

这个框架（HamVision）就像是一个万能工具箱，里面有一个核心的“弹簧引擎”，可以接上不同的“工具头”来完成两个主要任务：

任务 A：分割 (HamSeg) —— 像外科医生一样“切蛋糕”

目标：把医学图像里的病灶（比如肿瘤）精准地圈出来，把背景去掉。
怎么做：
- 动量 (p) 是“边界探测器”：当弹簧扫过肿瘤边缘时，因为变化剧烈，动量会瞬间变大。AI 利用这个信号，像拿着高亮笔一样，精准地描出轮廓。
- 能量 (H) 是“聚光灯”：能量高的地方说明那里很重要（比如肿瘤内部或边缘）。AI 利用这个信号，把注意力集中在“聚光灯”下，忽略那些无关紧要的背景噪音。
结果：在皮肤癌、心脏 MRI、甲状腺超声等任务中，HamVision 用很少的“脑容量”（参数），就达到了世界顶尖的分割精度。

任务 B：分类 (HamCls) —— 像老练的医生一样“认水果”

目标：判断这张图是哪种病（比如是良性还是恶性，是哪种血细胞）。
怎么做：
- 不需要画出轮廓，只需要看整体统计。
- 动量告诉 AI：这张图里的纹理有多复杂？（比如癌细胞通常纹理杂乱，动量就大）。
- 能量告诉 AI：这张图整体有多“活跃”？
- 位置告诉 AI：图里主要是什么内容。
- AI 把这三个信息混合在一起，就像把水果的颜色、重量、手感综合起来，一眼就能认出是苹果还是梨。
结果：在血液细胞、病理切片等分类任务中，HamVision 的准确率也击败了现有的许多大模型。

3. 为什么这很厉害？（比喻总结）

以前的 AI：像一个背题的学生。为了考高分，它必须背诵几百万道题（参数巨大），而且换个题型（比如从皮肤癌变成心脏 MRI）可能就不灵了。
HamVision：像一个懂物理的专家。它不需要背题，因为它掌握了“变化的规律”。
- 它知道边缘就是变化剧烈的地方（动量）。
- 它知道重点就是能量集中的地方。
- 这种**“物理直觉”**是通用的。无论是看皮肤、看心脏还是看血液，物体边缘和纹理变化的物理规律是一样的。

4. 实际效果

论文测试了 10 个不同的医学数据集（包括皮肤、心脏、甲状腺、血液等），HamVision 只用了几百万个参数（相当于一个小模型），却打败了很多拥有上亿参数的大模型。

一句话总结：
HamVision 给 AI 装上了一副**“物理眼镜”，让它不再盲目地死记硬背图像像素，而是像物理学家观察弹簧一样，自动捕捉图像的边缘、纹理和重点区域**。这让它在医疗诊断中既快（参数少），又准（效果好），而且解释性强（我们知道它为什么这么判断）。

HamVision：基于哈密顿动力学的医学图像分析框架技术总结

1. 研究背景与问题 (Problem)

医学图像分析涵盖从像素级分割（如解剖结构）到图像级分类（如病理诊断）的广泛任务。现有的主流范式通常针对特定任务设计专用架构（如用于分割的 U-Net 和用于分类的 ResNet/ViT），这些方法主要依赖模型容量从数据中学习通用特征变换，缺乏结构性的归纳偏置（Inductive Bias）。
医学图像中的关键信息往往微妙，例如组织边界的梯度、指示疾病的纹理模式或强度的空间分布。现有的方法未能充分利用信号处理中的物理先验来显式地提取这些边界、频率和显著性信息。因此，如何构建一个统一的框架，利用物理动力学原理作为归纳偏置，同时高效地解决分割和分类任务，是一个亟待解决的问题。

2. 方法论 (Methodology)

本文提出了 HamVision，一个基于**阻尼谐振子（Damped Harmonic Oscillator）**作为结构化归纳偏置的统一框架。其核心思想是将图像特征视为驱动谐振子的信号，利用谐振子的相空间分解（Phase-space Decomposition）自动生成三种功能独特的表示，而无需额外的监督学习。

2.1 核心原理：哈密顿动力学

系统基于单位质量粒子在弹簧（刚度 $k$ ）和粘性阻尼（ $\nu$ ）作用下的运动方程。

位置 ( $q$ )：滤波后的信号内容（特征内容）。
动量 ( $p = \dot{q}$ )：信号的空间变化率，在边界处达到峰值，在均匀区域消失（编码边界和纹理信息）。
能量 ( $H = \frac{1}{2}|z|^2$ )：无参数的显著性图，整合了位置和动量信息，衡量局部激发程度。

这些表示是动力学的内在属性，而非通过监督学习获得的。通过复数对角化，系统被转化为高效的并行扫描形式（类似 Mamba 架构），但保留了物理意义。

2.2 架构设计：HamVision

HamVision 包含一个共享的编码器和哈密顿瓶颈（Hamiltonian Bottleneck），以及针对特定任务的任务头。

A. 共享编码器与哈密顿瓶颈

编码器：采用 ConvNeXt 块，包含卷积茎和三个下采样阶段。
哈密顿瓶颈：位于最深层（ $28 \times 28$ $28 \times 28$ 分辨率），包含两条并行路径：
1. ConvNeXt 路径：提供可靠的梯度流。
2. 振荡器组（Oscillator Bank）：对特征进行四方向（上下左右）扫描，执行物理结构处理。
- 融合门控：通过一个可学习的门控机制（Gate）融合两条路径，初始偏向 ConvNeXt 以稳定训练，随后动态调整权重。
输出：瓶颈产生三个结构化输出：融合特征 $f$ 、动量张量 $p$ 和能量图 $H_{map}$ 。

B. 任务特定头

HamSeg (分割头)：
- 采用 U-Net 解码器结构。
- 能量门控跳跃连接：能量图 $H_{map}$ 经过中心化和缩放后，作为门控信号调节编码器到解码器的跳跃连接，突出显著区域。
- 动量注入：动量 $p$ 被投影并注入到解码器的每一层，提供多尺度的边界信息。
- 相空间注意力：在最粗粒度层级，利用能量和动量进行空间注意力调制。
HamCls (分类头)：
- 移除 U-Net 解码器，替换为相空间池化头。
- 将特征 $f$ 、动量 $|p|$ 和能量 $H$ 分别进行全局平均池化（GAP）。
- 将这三个向量拼接成一个 784 维的相空间特征向量，输入到 MLP 进行分类。
- 物理语义： $f$ 编码内容， $|p|$ 编码纹理复杂度/边界密度， $H$ 编码整体激发水平。

3. 关键贡献 (Key Contributions)

哈密顿瓶颈：首次提出利用单个动力学过程生成位置、动量和能量作为结构化的中间表示，无需修改振荡器本身即可服务于不同任务。
任务特定头设计：
- 分割任务：利用能量门控跳跃连接和动量注入，显式利用边界和显著性信息。
- 分类任务：利用相空间池化，将物理量转化为全局统计特征。
性能与效率：HamVision 在 10 个基准测试（涵盖 5 种成像模态和 2 种任务）上实现了最先进（SOTA）或极具竞争力的结果，且参数量极低（仅 7-9M），远低于竞争对手（通常 16M-105M）。
可解释性证据：提供了诊断分析，证明振荡器的输出（如动量编码“内部>边界>外部”的梯度，能量图与判别区域相关）完全源自哈密顿动力学，无需显式监督。

4. 实验结果 (Results)

实验在 10 个数据集上进行，包括 4 个分割基准和 6 个 MedMNIST 分类基准。

4.1 分割任务 (Segmentation)

数据集：ISIC 2018/2017（皮肤镜）、TN3K（甲状腺超声）、ACDC（心脏 MRI）。
结果：HamSeg 在所有 4 个数据集上均取得了最高的 Dice 分数。
- ISIC 2018: 89.38% (优于 FreqConvMamba 的 89.19%)
- ISIC 2017: 88.40%
- TN3K: 87.05%
- ACDC: 92.40% (优于 FreqConvMamba 的 89.79%，提升显著)
效率：仅使用 8.57M 参数，比许多基线模型少 2-12 倍。

4.2 分类任务 (Classification)

数据集：MedMNIST 系列（BloodMNIST, PathMNIST, DermaMNIST 等）。
结果：
- BloodMNIST: 98.85% 准确率 (优于 MedMamba-S 0.45%)。
- PathMNIST: 96.65% 准确率 (优于 MedMamba-B 0.25%)。
- 在 DermaMNIST 和 BreastMNIST 上也达到了与 MedViT 或 MedMamba 相当或更优的性能。

4.3 可解释性分析

动量编码：验证了动量在病变内部（110.2）> 边界（95.1）> 外部（83.2）的梯度模式，表明其不仅检测边界，还编码区域身份。
能量显著性：能量图成功突出了病变区域，且门控机制在不同尺度下（从粗粒度布局到细粒度边界）表现出一致的渐进锐化行为。

5. 意义与影响 (Significance)

结构化归纳偏置：HamVision 证明了将物理动力学（哈密顿系统）作为归纳偏置，比单纯依赖数据驱动的通用特征学习更有效。它隐式地编码了“空间变化信号包含边界、频率和显著性信息”这一先验。
统一框架：打破了分割和分类任务必须使用不同架构的惯例，展示了同一套物理驱动的核心组件如何适配不同任务。
参数效率：通过物理结构替代大量可学习参数，实现了极高的参数效率，这对于医疗领域数据稀缺或计算资源受限的场景尤为重要。
理论验证：该工作与 Mamba-3 等关于复数状态转换的研究相呼应，进一步证实了复数域动力学在视觉任务中的代数必要性，并首次展示了其相空间分解在视觉任务中的具体物理意义和实用性。
通用性：在皮肤镜、超声、MRI、CT 等多种模态上均表现优异，表明该框架捕捉到了医学图像分析中关于特征变化、活跃度和频率内容的本质规律，而非特定模态的过拟合特征。

综上所述，HamVision 为医学图像分析提供了一种基于物理原理的、可解释的、高效且通用的新范式。