💻 computer science

Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

本文提出了 LFNet，这是一个利用液体融合机制动态整合来自 CNN 和状态空间模型（State Space Model）骨干网络的互补光谱表示的新型框架，在多种通用显著性目标检测任务中实现了最先进的性能。

原作者： Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个凌乱的房间里寻找一个特定的、闪闪发光的玩具。为了做好这件事，你需要两种不同的观察世界的方式：

“大局观”观察者（The "Big Picture" Gazer）： 这个人会退后一步，观察整个房间，以了解大致的布局和物体可能出现的位置。他们擅长观察整体流向和大形状，但可能会忽略像玩具上的划痕这样微小的细节。
“细节”侦探（The "Detail" Detective）： 这个人会凑得非常近。他们擅长捕捉微小的边缘、纹理和锐利的线条，但可能会因为过于专注于细枝末节而忘记了玩具在房间中的实际位置。

长期以来，计算机科学家一直试图构建一种能够完美胜任这两个工作的单一“超级眼”。他们尝试让“大局观”观察者看近一点，或者让“细节”侦探退后一点，但事实证明，这两种思维方式在本质上是不同的。一种就像是在聆听一段流畅、连续的旋律（状态空间模型，或称 SSMs），而另一种则像是分析一组独立的音符网格（卷积神经网络，或称 CNNs）。

问题所在：
本文作者注意到，试图强迫一种类型的“眼睛”去做所有的工作会产生盲点。如果只使用“旋律”风格，就会错过锐利的边缘；如果只使用“网格”风格，就会失去宏观语境。他们意识到，这两种风格实际上是互补的——就像花生酱和果冻，在一起比分开更好吃。

解决方案：“液体融合”（Liquid Fusion, LFNet）
团队构建了一个名为 LFNet（液体融合网络）的新系统。他们并没有强迫两种风格合并为一，而是创建了一个受**液体神经网络（Liquid Neural Networks）**启发的特殊“搅拌碗”。

把这个搅拌碗想象成一位聪明的调酒师：

“大局观”观察者（VMamba）是饮料的记忆。它保持着信息的连续流动。
“细节”侦探（ConvNeXt）是正在加入的刺激物或新鲜原料。
液体融合（Liquid Fusion）是门控机制。它扮演着智能阀门的角色，决定在每一瞬间注入多少“新鲜原料”。
- 如果场景需要更多语境，阀门就会打开，让“记忆”流过。
- 如果场景需要锐利的边缘，阀门就会打开，让“新鲜原料”（细节）混合进来。

这种过程是动态发生的，这意味着系统会随着观察图像的不同部分而瞬间改变想法。它不是一种静态的混合，而是一种根据所见内容进行实时调整的、有生命力的、呼吸着的融合。

“抛光”步骤：显著性引导的上采样（Saliency-Guided Upsampling）
一旦系统完成了大局与细节的混合，它就需要再次放大以展示最终结果。通常情况下，当计算机放大或拉伸图像时，图像会变得模糊或出现像素化（就像低分辨率的照片）。

作者添加了一个名为**显著性引导上采样（SGU）**的特殊工具。想象一下，这是一个高科技的照片编辑器，它不仅仅是拉伸图像，它还会同时观察“频率”（图像的节奏）和“形状”。它确保在图像变大时，边缘依然锐利，物体看起来不会模糊或破碎。它在让物体变得足够大的同时，保留了物体的“灵魂”。

他们测试了什么？
他们不仅仅是在简单的图片上进行测试。他们在五种不同类型的“侦探任务”中进行了测试：

标准照片 (RGB)： 在普通照片中寻找物体。
3D 照片 (RGB-D)： 使用深度传感器（如 3D 摄像头）来寻找物体。
热成像照片 (RGB-T)： 使用热成像摄像头在黑暗中寻找物体。
视频 (VSOD)： 在视频流中寻找移动的物体。
三模态 (VDT)： 同时使用可见光、深度和热成像。

结果：
在每一次测试中，他们的“液体融合”系统都击败了现有的最优方法。它能更准确地发现物体，绘制出更清晰的边界，并且实现这一切时，其使用的“大脑”（参数量）比以前那些沉重且复杂的系统更小、更高效。

总结：
本文声称，通过承认不同的计算机视觉风格拥有不同的“超能力”，并创造了一种智能的、类似液体的实时混合方式，他们构建了一种更好、更快、更准确的计算机识别各类场景中重要物体的方法。他们称之为“液体融合网络”。

技术摘要：用于通用显著性目标检测的异构表示液体融合

1. 问题陈述

通用显著性目标检测（SOD）旨在识别并分割不同场景下具有视觉显著性的物体，包括单模态（RGB）、双模态（RGB-D、RGB-T）、视频（VSOD）以及三模态（VDT）输入。尽管最近的研究利用状态空间模型（SSMs，如 Mamba）实现了高效的长程依赖建模和线性复杂度，但一个关键的局限性仍然存在：忽视了不同神经网络范式中固有的谱偏差（spectral biases）。

作者认为，当前的方法通常强迫单一架构（例如纯 SSM）通过日益复杂的扫描策略来捕捉所有必要的多尺度上下文。然而，信号处理分析表明，卷积神经网络（CNN）和 SSM 在频率偏好上表现出截然不同且互补的特性。CNN 倾向于捕捉特定的频谱特征（通常是高频空间细节），而 SSM 则擅长连续序列相关的语义。仅依赖一种范式会产生表示盲点，阻碍模型实现稳健通用 SOD 所需的平衡全谱感知。

2. 方法论：LFNet

为了解决这些局限性，作者提出了 LFNet（液体融合网络），这是一个异构混合框架，旨在协调来自 SSM（具体为 VMamba）和 CNN（具体为 ConvNeXt）的表示。该架构的设计灵感来源于液体神经网络（LNNs）的连续时间动力学。

2.1 异构混合编码器

LFNet 采用双流编码器：

VMamba 流： 提取具有线性计算复杂度的连续状态空间表示，捕捉全局序列语义。
ConvNeXt 流： 保留基于网格的空间归纳偏置，捕捉全面的频谱线索，无需复杂的扫描工程。
模态融合模块（MFB）： 位于 ConvNeXt 流内，该模块根据输入模态调整特征。它对 RGB 使用 1×1 投影，对双模态任务（RGB-D/T, VSOD）使用单个液体融合模块（LFM），对三模态 VDT 任务使用级联 LFM 结构，从而避免了交叉注意力机制带来的二次方成本。

2.2 液体融合模块（LFM）

其核心创新在于 LFM，它将特征集成视为一种状态-刺激交互（state-stimulus interaction），而非静态的拼接或相加。

状态（State）： 将 VMamba 特征 ( $f^v_i$ ) 视为不断演化的记忆状态。
刺激（Stimulus）： 将 ConvNeXt 特征 ( $f^c_i$ ) 视为外源性刺激。
机制： 该模块采用了源自液体时间常数（LTC）动力学的动态门控机制。它计算一个空间液体门（ $G_i$ $G_{i}$ ）来调节刺激注入记忆状态的过程。
- 如果 $G_i \to 1$ ，网络优先考虑基于网格的空间线索（ConvNexT）。
- 如果 $G_i \to 0$ ，则优先考虑基于序列的上下文（VMamba）。
  这实现了内容感知、动态的特征聚合，并能有效地扩展到多模态线索。

2.3 显著性引导上采样（SGU）

为了解决标准上采样中常见的谱混叠和边界模糊问题，LFNet 引入了 SGU 算子。

频谱-空间协同设计： 该模块采用双支路方法。一支通过频域（经由 FFT/IFFT）应用可学习的复数权重矩阵，以保持全局形状的完整性；另一支使用堆叠卷积来捕捉高频边缘线索。
融合： 最终特征是两个领域融合后的结果，并带有残差连接，确保在分辨率恢复过程中实现锐利的边界恢复。

2.4 训练策略

该模型利用深度监督，在所有预测尺度上结合使用加权二元交叉熵（BCE）损失和交并比（IoU）损失。

3. 核心贡献

谱分析与混合范式： 作者提供了数据集层面的谱分析，证明了 CNN 和 SSM 之间固有的互补性。他们提出 LFNet 来弥合这些谱偏差，超越了单一范式的局限。
液体融合机制： 他们设计了一种基于连续状态-刺激范式的创新 LFM。这种动态门控机制有效地聚合了异构特征，并为多模态融合（RGB、RGB-D、RGB-T、VSOD、VDT）提供了一个可扩展的解决方案。
显著性引导上采样： 他们开发了利用双支路频谱-空间设计的 SGU 算子，以在进行上采样时传播语义并抑制伪影。
最先进的性能（SOTA）： 在五个多样化任务上的广泛实验表明，LFNet 的性能优于基于 CNN、Transformer 和 Mamba 的方法，并且通常在准确度与模型效率之间具有更优的权衡。

4. 实验结果

论文通过五个通用的 SOD 任务对 LFNet 进行了评估：

RGB SOD： 在 DUTS、DUT-O、HKU-IS、PASCAL-S 和 ECSSD 上进行测试。LFNet 在参数量显著少于重型 Transformer 模型（如 ICON-S，43.23M vs. 94.30M）的情况下，性能超越了后者及近期的 Mamba 类方法（Samba）。
RGB-D SOD： 在 NJUD、NLPR、SIP、STERE 和 DUTLF-D 上进行测试。LFNet 仅用约 31% 的参数量便超越了竞争对手 VST-S++。
RGB-T SOD： 在 VT821、VT1000 和 VT5000 上进行测试。LFNet 取得了新的 SOTA 结果，在所有基准测试中均优于 Samba。
VSOD： 在 DAVIS、DAVSOD-easy、FBMS、SegV2 和 VOS 上进行测试。LFNet 在动态场景中表现出鲁棒性，优于 VSCode-S。
VDT SOD： 在 VDT-2048 上进行测试。LFNet 建立了新的 SOTA，其 $S_m$ 达到 94.2%。

消融实验证实了：

异构混合设计优于单流（仅 VMamba 或仅 ConvNeXt）以及朴素的双流基准。
液体融合模块比加法融合、拼接或交叉注意力更为有效。
SGU 算子相比标准双线性插值和转置卷积带来了持续的增益。

5. 重要性与主张

本文声称，SOD 的本质要求具备跨整个频谱的鲁棒表示。通过液体融合范式使 CNN 和 SSM 固有的谱偏差和谐统一，LFNet 为通用 SOD 提供了一个灵活且高效的解决方案。

作者强调，他们的工作是首次尝试利用液体动力学（特别是 LNNs 的状态-刺激范式）来构建用于密集视觉预测的跨范式异构融合框架。其重要性在于证明了：通过动态平衡全局语义和局部细节的混合架构，可以在不引入二次方计算成本的情况下，在单模态、双模态及三模态任务中全面超越同质架构（无论是纯 CNN、Transformer 还是 SSM）。代码已开源，以促进该方向的进一步研究。