💻 computer science

Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

本論文は、CNNと状態空間モデル（State Space Model）のバックボーンから得られる相補的なスペクトル表現を動的に統合するリキッド・フュージョン・メカニズムを活用することで、多様な汎用的な顕著物体検出タスクにおいて最先端の性能を達成する、新しいフレームワークであるLFNetを提案している。

原著者： Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、散らかった部屋の中に隠された、特定のキラキラしたおもちゃを探しているところだと想像してください。これをうまく行うには、世界を見るための2つの異なる方法が必要です。

「全体像」を眺める人（The "Big Picture" Gazer）: この人は一歩下がって部屋全体を見渡し、一般的なレイアウトや、物がどこにある可能性が高いかを理解します。彼らは流れや大きな形を見ることに長けていますが、おもちゃについた小さな傷のような細部は見逃してしまうかもしれません。
「詳細」を追う探偵（The "Detail" Detective）: この人は至近距離まで近づきます。彼らは微細なエッジ、質感、鋭い線を捉えることには驚異的な能力を発揮しますが、あまりに細かい部分に集中しすぎて、そのおもちゃが部屋のどこに位置しているのかという全体像を見失ってしまうことがあります。

長い間、コンピュータ科学者たちは、これら両方の仕事を完璧にこなせる単一の「スーパーアイ（超強力な目）」を作ろうと試みてきました。彼らは「全体像」を眺める人に近くを見させようとしたり、「詳細」を追う探偵に一歩下がらせようとしたりしましたが、これら2つの思考スタイルは根本的に異なるものであることが判明しました。一方は、滑らかで連続的なメロディを聴くようなもの（状態空間モデル、またはSSM）であり、もう一方は、個々の音符のグリッドを分析するようなものです（畳み込みニューラルネットワーク、またはCNN）。

問題点:
著者たちは、一つの「目」にすべてをやらせようと強制すると、死角が生じることに気づきました。もし「メロディ」スタイルの目だけを使えば、鋭いエッジを見逃してしまいます。もし「グリッド」スタイルの目だけを使えば、大きなコンテキスト（文脈）を見失ってしまいます。彼らは、これら2つのスタイルは実際には相補的であること、つまり、ピーナッツバターとジェリーのように、バラバラであるよりも一緒にあったほうが美味しいものであることに気づきました。

解決策：「リキッド・フュージョン（液体融合）」（LFNet）
チームは、LFNet（Liquid Fusion Network）と呼ばれる新しいシステムを構築しました。これら2つのスタイルを無理に一つに融合させるのではなく、リキッド・ニューラルネットワークから着想を得た特別な「ミキシングボウル（混ぜ合わせる器）」を作成しました。

このミキシングボウルを、スマートなバーテンダーだと考えてください：

「全体像」を眺める人（VMamba）は、飲み物の記憶です。情報の連続的な流れを保持します。
「詳細」を追う探偵（ConvNeXt）は、刺激、あるいは加えられる新鮮な材料です。
リキッド・フュージョンは、**ゲーティング機構（制御機構）**です。これは、どの瞬間にどれだけの「新鮮な材料」を注ぎ込むかを決定する、スマートなバルブとして機能します。
- もしシーンにより多くのコンテキストが必要であれば、バルブを開いて「記憶」が流れるようにします。
- もしシーンに鋭いエッジが必要であれば、バルブを開いて「新鮮な材料（詳細）」が混ざり合うようにします。

これはダイナミックに（動的に）行われます。つまり、システムは、見ているものに応じて瞬時に考えを変えます。それは静的な混合ではなく、見たものに適応して変化する、生きている、呼吸しているブレンドなのです。

「仕上げ」のステップ：サリエンシー誘導型アップサンプリング（Saliency-Guided Upsampling）
システムが全体像と詳細を混ぜ合わせた後、最終的な結果を示すために、再びズームアウトして表示する必要があります。通常、コンピュータが画像をズームアウトしたり引き伸ばしたりすると、画像はぼやけたり、ピクセルが荒れたりします（低解像度の写真のように）。

著者たちは、**サリエンシー誘導型アップサンプリング（SGU）**と呼ばれる特別なツールを追加しました。これは、単に画像を伸ばすのではなく、画像の「周波数（リズム）」と「形状」を同時に見る、ハイテクなフォトエディターのようなものです。これにより、画像が大きくなったとしても、エッジが鋭いまま保たれ、対象物がぼやけたり壊れたりしないようにします。対象物の「魂」を損なうことなく、大きく見えるように維持するのです。

何をテストしたのか？
彼らは単なる写真でテストしたわけではありません。5つの異なるタイプの「探偵任務」でテストを行いました：

標準的な写真（RGB）: 普通の写真の中で物体を見つける。
3D写真（RGB-D）: 深度センサー（3Dカメラのようなもの）を使用して物体を見つける。
熱画像（RGB-T）: 暗闇の中で熱カメラを使用して物体を見つける。
ビデオ（VSOD）: ビデオストリーム内の動く物体を見つける。
トリプルモード（VDT）: 可視光、深度、および熱を同時に使用する。

結果:
あらゆるテストにおいて、彼らの「リキッド・フュージョン」システムは、現在の最高の手法を打ち破りました。より正確に物体を見つけ、より鋭い境界線を描き、しかも、以前の重厚で複雑なシステムよりも、より少ないパラメータを持つ、より小さく効率的な脳（計算資源）でそれらを実現しました。

要約:
この論文は、異なるコンピュータビジョンのスタイルにはそれぞれ異なる「スーパーパワー」があることを認め、それらを即座に混ぜ合わせるスマートで液体のような方法を作り出すことで、あらゆる種類のシーンにおいて重要な物体を特定するための、より優れた、より速く、より正確な方法を構築したと主張しています。彼らはこれを「リキッド・フュージョン・ネットワーク」と呼んでいます。

技術要約：汎用的な顕著物体検出のための異種表現の流体融合（Liquid Fusion）

1. 問題提起

汎用的な顕著物体検出（Salient Object Detection: SOD）は、単一モード（RGB）、デュアルモード（RGB-D, RGB-T）、ビデオ（VSOD）、およびトリプルモード（VDT）の入力を含む多様なシナリオにおいて、視覚的に目立つ物体を特定し、セグメンテーションすることを目的としている。近年、Mambaのような状態空間モデル（SSM）を活用することで、線形計算量で長距離依存関係の効率的なモデリングが可能となったが、依然として決定的な限界が存在する。それは、固有の**スペクトル・バイアス（spectral biases）**の軽視である。

著者らは、現在の多くのアプローチが、複雑なスキャニング戦略を増強させることで、単一のアーキテクチャ（例：純粋なSSM）にすべての必要なマルチスケール・コンテキストを捉えさせようとしていると指摘している。しかし、信号処理の分析によれば、CNNとSSMは明確かつ相補的な周波数特性を示す。CNNは特定のスペクトル署名（多くの場合、高周波の空間的詳細）を捉える傾向があり、一方でSSMは連続的なシーケンスベースのセマンティクスに優れている。単一のパラダイムのみに依存することは、表現上の盲点を生み出し、堅牢な汎用SODに必要なバランスの取れたフルスペクトル知覚の達成を妨げることになる。

2. 手法：LFNet

これらの限界に対処するため、著者らは、SSM（具体的にはVMamba）とCNN（具体的にはConvNeXt）からの表現を調和させる異種ハイブリッド・フレームワークである**LFNet (Liquid Fusion Network)**を提案する。このアーキテクチャは、リキッド・ニューラルネットワーク（LNN）の連続時間力学（continuous-time dynamics）に着想を得ている。

2.1 異種ハイブリッド・エンコーダ

LFNetは、以下のデュアルストリーム・エンコーダを採用している。

VMambaストリーム: 連続的な状態空間表現を抽出し、線形計算量でグローバルなシーケンスベースのセマンティクスを捉える。
ConvNeXtストリーム: グリッドベースの空間的帰納バイアスを保持し、複雑なスキャニング・エンジニアリングを必要とせずに包括的なスペクトル・キューを捉える。
Modality Fusion Block (MFB): ConvNeXtストリーム内に配置され、入力モダリティに基づいて特徴を適応させる。これは、RGBには1×1投影を、デュアルモード・タスク（RGB-D/T, VSOD）には単一のLiquid Fusion Module（LFM）を、そしてトリプルモードのVDTタスクにはカスケード型LFM構造を使用し、クロスアテンションの二次的なコストを回避する。

2.2 Liquid Fusion Module (LFM)

核心となるイノベーションは、特徴の統合を静的な結合や加算ではなく、**「状態-刺激相互作用（state-stimulus interaction）」**として扱うLFMである。

状態 (State): VMambaの特徴（ $f^v_i$ ）を、進化するメモリ状態として扱う。
刺激 (Stimulus): ConvNeXtの特徴（ $f^c_i$ ）を、外生的な刺激として扱う。
メカニズム: このモジュールは、Liquid Time-Constant (LTC) 力学に由来する動的なゲーティング機構を採用している。メモリ状態への刺激の注入を制御するために、空間的なリキッド・ゲート（ $G_i$ $G_{i}$ ）を計算する。
- $G_i \to 1$ の場合、ネットワークはグリッドベースの空間的キュー（ConvNeXt）を優先する。
- $G_i \to 0$ の場合、ネットワークはシーケンスベースのコンテキスト（VMamba）を優先する。
  これにより、コンテンツに応じた動的な特徴集約が可能となり、マルチモーダルなキューに対して効果的にスケールする。

2.3 Saliency-Guided Upsampling (SGU)

標準的なアップサンプリングで一般的なスペクトル・エイリアシングや境界のぼけに対処するため、LFNetはSGUオペレータを導入している。

スペクトル・空間共設計 (Spectral-Spatial Co-Design): このモジュールはデュアルブランチ・アプローチを採用している。一方のブランチは、グローバルな形状の完全性を保持するために、周波数領域における学習可能な複素重み行列（FFT/IFFT経由）を適用する。もう一方のブアルンチは、高周波のエッジ・キューを捉えるためにスタックされた畳み込みを使用する。
融合: 最終的な特徴は、これら両ドメインの融合であり、残差接続を伴う。これにより、解像度復元時のシャープな境界回復を保証する。

2.4 学習戦略

本モデルは、すべての予測スケールにおいて、Binary Cross Entropy (BCE) と Intersection-over-Union (IoU) を重み付けして組み合わせたディープ・スーパービジョンを利用する。

3. 主な貢献

スペクトル分析とハイブリッド・パラダイム: 著者らは、CNNとSSMの固有の相補性を示すデータセットレベルのスペクトル分析を提供している。彼らは、単一パラダイムの限界を超え、これらのスペクトル・バイアスを橋渡しするためにLFNetを提案する。
Liquid Fusion メカニズム: 連続的な状態-刺激パラダイムに基づく新しいLFMを設計した。この動的なゲーティング機構は、異種特徴を効果的に集約し、マルチモーダル融合（RGB, RGB-D, RGB-T, VSOD, VDT）のためのスケーラブルなソリューションとして機能する。
Saliency-Guided Upsampling: セマンティクスを伝播させ、アップサンプリング中のアーティファクトを抑制するために、デュアルブランチのスペクトル・空間設計を利用したSGUオペレータを開発した。
最先端の性能 (State-of-the-Art Performance): 5つの多様なタスクにわたる広範な実験により、LFNetがCNNベース、Transformerベース、およびMambaベースの手法と比較して、より良好な精度とモデル効率のトレードオフを伴いつつ、優れた性能を達成していることを実証した。

4. 実験結果

論文では、5つの汎用SODタスクについて標準的なベンチマークを用いてLFNetを評価している。

RGB SOD: DUTS, DUT-O, HKU-IS, PASCAL-S, ECSSDでテスト。LFNetは、大幅に少ないパラメータ数（ICON-Sの94.30Mに対し43.23M）でありながら、重量級のTransformerモデル（例：ICON-S）や最近のMambaベースの手法（Samba）を凌駕する。
RGB-D SOD: NJUD, NLPR, SIP, STERE, DUTLF-Dでテスト。LFNetは、約31%のパラメータ数のみで、競合するVST-S++を上回る。
RGB-T SOD: VT821, VT1000, VT5000でテスト。LFNetは、すべてのベンチマークにおいてSambaを上回り、新たなSOTAを確立した。
VSOD: DAVIS, DAVSOD-easy, FBMS, SegV2, VOSでテスト。LFNetは動的なシーンにおける堅牢性を示し、VSCode-Sを上回った。
VDT SOD: VDT-2048でテスト。LFNetは、 $S_m$ 94.2%という新たなSOTAを確立した。

アブレーション研究により、以下が確認された：

異種ハイブリッド設計は、単一ストリーム（VMambaのみ、またはConvNeXtのみ）および単純なデュアルストリーム・ベースラインよりも優れた性能を示す。
Liquid Fusion Moduleは、加算融合、結合、またはクロスアテンションよりも効果的である。
SGUオペレータは、標準的なバイリニア補間や転置畳み込みに対して一貫した利点をもたらす。

5. 意義と主張

本論文は、SODの根本的な性質が、全周波数スペクトルにわたる堅牢な表現を必要としていると主張している。CNNとSSMの固有のスペクトル・バイアスを**リキッド・フュージョン（liquid fusion）**パラダイムを通じて調和させることで、LFNetは汎用SODのための柔軟かつ効率的なソリューションを提供する。

著者らは、稠密な視覚予測のためのクロスパラダイム異種融合フレームワークを構築するために、リキッド力学（具体的にはLNNの状態-刺激パラダイム）を活用した最初の試みであることを強調している。その意義は、グローバルなセマンティクスとローカルな詳細を動的にバランスさせるハイブリッド・アーキテクチャが、二次的な計算コストを発生させることなく、単一、デュアル、およびトリプルモードのタスク全体において、同種（純粋なCNN、Transformer、またはSSM）のアーキテクチャを凌駕できることを示した点にある。さらなる研究を促進するため、コードは公開されている。