기술 요약: 일반적인 돌출 객체 탐지를 위한 이질적 표현의 액체 결합 (Liquid Fusion of Heterogeneous Representations for General Salient Object Detection)

1. 문제 정의

일반적인 돌출 객체 탐지(General Salient Object Detection, SOD)는 단일 모달(RGB), 듀얼 모달(RGB-D, RGB-T), 비디오(VSOD), 그리고 트리 모달(VDT) 입력을 포함한 다양한 시나리오에서 시각적으로 두드러진 객체를 식별하고 분할하는 것을 목표로 합니다. 최근의 발전은 효율적인 장거리 의존성 모델링을 위해 Mamba와 같은 상태 공간 모델(State Space Models, SSMs)을 활용해 왔으나, 내재된 **스펙트럼 편향(spectral biases)**을 간과한다는 결정적인 한계가 존재합니다.

저자들은 현재의 접근 방식들이 점점 더 복잡한 스캐닝 전략을 통해 모든 필요한 다중 스케일 컨텍스트를 포착하도록 단일 아키텍처(예: 순수 SSM)를 강요하는 경향이 있다고 주장합니다. 그러나 신호 처리 분석에 따르면 CNN과 SSM은 서로 구별되면서도 상호 보완적인 주파수 선호도를 보입니다. CNN은 특정 스펙트럼 시그니처(주로 고주파 공간 세부 정보)를 포착하는 경향이 있는 반면, SSM은 연속적인 시퀀스 기반 의미론(semantics)을 포착하는 데 탁월합니다. 하나의 패러다임에만 의존하는 것은 표현상의 사각지대를 생성하여, 견고한 일반 SOD에 필요한 균형 잡힌 풀 스펙트럼 인식을 방해합니다.

2. 방법론: LFNet

이러한 한계를 해결하기 위해, 저자들은 SSM(구체적으로 VMamba)과 CNN(구체적으로 ConvNeXt)의 표현을 조화시키는 이질적 하이브리드 프레임워크인 **LFNet (Liquid Fusion Network)**를 제안합니다. 이 아키텍처는 액체 신경망(Liquid Neural Networks, LNNs)의 연속 시간 역학(continuous-time dynamics)에서 영감을 받았습니다.

2.1 이질적 하이브리드 인코더 (Heterogeneous Hybrid Encoder)

LFNet은 듀얼 스트림 인코더를 채택합니다:

• VMamba 스트림: 선형 계산 복잡도로 연속적인 상태 공간 표현을 추출하여, 글로벌 시퀀스 기반 의미론을 포착합니다.
• ConvNeXt 스트림: 그리드 기반의 공간적 귀납 편향(inductive biases)을 보존하여, 복잡한 스캐닝 엔지니어링 없이도 포괄적인 스펙트럼 단서를 포착합니다.
• 모달리티 융합 블록 (Modality Fusion Block, MFB): ConvNeXt 스트림 내에 위치하며, 입력 모달리티에 따라 특징을 적응시킵니다. 이 블록은 RGB를 위해 1×1 프로젝션을 사용하고, 듀얼 모달 작업(RGB-D/T, VSOD)을 위해 단일 액체 융합 모듈(LFM)을 사용하며, 트리 모달 VDT 작업을 위해 계단식 LFM 구조를 사용하여 크로스 어텐션(cross-attention)의 이차 비용을 피합니다.

2.2 액체 융합 모듈 (Liquid Fusion Module, LFM)

핵심 혁신은 LFM으로, 이는 특징 통합을 정적인 결합이나 합산이 아닌 **상태-자극 상호작作用(state-stimulus interaction)**으로 취급합니다.

• 상태 (State): VMamba 특징($f^v_i$)은 진화하는 메모리 상태로 취급됩니다.
• 자극 (Stimulus): ConvNeXt 특징($f^c_i$)은 외생적 자극으로 취급됩니다.
• 메커니즘: 이 모듈은 액체 시간 상수(Liquid Time-Constant, LTC) 역학에서 유도된 동적 게이팅 메커니즘을 채택합니다. 메모리 상태로의 자극 주입을 조절하기 위해 공간적 액체 게이트($G_i$)를 계산합니다.
  • 만약 $G_i \to 1$ 이라면, 네트워크는 그리드 기반의 공간적 단서(ConvNeXt)를 우선시합니다.
  • 만약 $G_i \to 0$ 이라면, 네트워크는 시퀀스 기반의 컨텍스트(VMamba)를 우선시합니다.
    이를 통해 콘텐츠 인식형(content-aware)의 동적 특징 집계가 가능하며, 다중 모달 단서에 효과적으로 확장될 수 있습니다.

2.3 돌출도 가이드 업샘플링 (Saliency-Guided Upsampling, SGU)

표준 업샘플링에서 흔히 발생하는 스펙트럼 에일리어싱(spectral aliasing)과 경계 흐림 문제를 해결하기 위해, LFNet은 SGU 연산자를 도입합니다.

• 스펙트럼-공간 공동 설계 (Spectral-Spatial Co-Design): 이 모듈은 듀얼 브랜치 접근 방식을 사용합니다. 한 브랜치는 전역적 형태 무결성을 보존하기 위해 주파수 영역에서 학습 가능한 복소 가중치 행렬(FFT/IFFT를 통해)을 적용합니다. 다른 브랜치는 고주파 엣지 단서를 포착하기 위해 스택된 컨볼루션을 사용합니다.
• 융합: 최종 특징은 두 도메인의 융합과 잔차 연결(residual connection)을 통해 이루어지며, 이를 통해 해상도 복원 과정에서 날카로운 경계 회복을 보장합니다.

2.4 학습 전략

모델은 모든 예측 스케일에 걸쳐 이진 크로스 엔트로피(BCE)와 IoU 손실의 가중 조합을 사용하는 딥 슈퍼비전(deep supervision)을 활용합니다.

3. 주요 기여

1. 스펙트럼 분석 및 하이브리드 패러다임: 저자들은 CNN과 SSM의 내재적 상보성을 보여주는 데이터셋 수준의 스펙트럼 분석을 제공합니다. 이들은 이러한 스펙트럼 편향을 가로지르는 LFNet을 제안하여, 단일 패러다임의 한계를 넘어섭니다.
2. 액체 융합 메커니즘: 이들은 연속적인 상태-자극 패러다임에 기반한 새로운 LFM을 설계했습니다. 이 동적 게이팅 메커니즘은 이질적인 특징을 효과적으로 집계하며, 다중 모달 융합(RGB, RGB-D, RGB-T, VSOD, VDT)을 위한 확장 가능한 솔루션 역할을 합니다.
3. 돌출도 가이드 업샘플링: 스펙트럼-공간 듀얼 브랜치 설계를 사용하여 의미론을 전파하고 업샘플링 중 아티팩트를 억제하는 SGU 연산자를 개발했습니다.
4. 최첨단 성능 (State-of-the-Art Performance): 다섯 가지 다양한 작업에 대한 광범리한 실험을 통해, LFNet이 CNN 기반, 트랜스포머 기반, Mamba 기반 방법들보다 우수한 성능을 달성하면서도, 종종 더 유리한 정확도 대비 모델 효율성 트레이드오프를 보여줌을 입증했습니다.

4. 실험 결과

본 논문은 표준 벤치마크를 사용하여 다섯 가지 일반적인 SOD 작업에 대해 LFNet을 평가합니다:

• RGB SOD: DUTS, DUT-O, HKU-IS, PASCAL-S, ECSSD에서 테스트되었습니다. LFNet은 훨씬 적은 파라미터(ICON-S의 94.30M 대비 43.23M)를 사용하면서도 무거운 트랜스포머 모델(예: ICON-S)과 최신 Mamba 기반 방법(Samba)을 능가합니다.
• RGB-D SOD: NJUD, NLPR, SIP, STERE, DUTLF-D에서 테스트되었습니다. LFNet은 약 31%의 파라미터만으로 경쟁 모델인 VST-S++를 능가합니다.
• RGB-T SOD: VT821, VT1000, VT5000에서 테스트되었습니다. LFNet은 모든 벤치마크에서 Samba를 능가하며 새로운 SOTA를 달성했습니다.
• VSOD: DAVIS, DAVSOD-easy, FBMS, SegV2, VOS에서 테스트되었습니다. LFNet은 동적 장면에서도 견고함을 보이며 VSCode-S를 능가합니다.
• VDT SOD: VDT-2048에서 테스트되었습니다. LFNet은 $S_m$ 94.2%로 새로운 SOTA를 확립했습니다.

**어블레이션 연구 (Ablation Studies)**는 다음을 확인합니다:

• 이질적 하이브리드 설계가 단일 스트림(VMamba 전용 또는 ConvNeXt 전용) 및 단순 듀얼 스트림 베이스라인보다 우수합니다.
• 액체 융합 모듈(LFM)이 가산 융합(additive fusion), 결합(concatenation) 또는 크로스 어텐션보다 효과적입니다.
• SGU 연산자는 표준 쌍선형 보간법(bilinear interpolation) 및 전치 컨볼루션(transposed convolutions)에 비해 일관된 이득을 제공합니다.

5. 의의 및 주장

본 논문은 SOD의 근본적인 특성이 전체 주파수 스펙트럼에 걸친 견고한 표현을 요구한다고 주장합니다. 액체 융합(liquid fusion) 패러다임을 통해 CNN과 SSM의 내재된 스펙트럼 편향을 조화시킴으로써, LFNet은 일반적인 SOD를 위한 유연하고 효율적인 솔루션을 제공합니다.

저자들은 자신들의 연구가 밀집된 시각적 예측(dense visual prediction)을 위한 교차 패러다임 이질적 융합 프레임워크를 구축하기 위해 액체 역학(특히 LNN의 상태-자극 패러다임)을 활용한 첫 번째 시도임을 강조합니다. 그 의의는 글로벌 의미론과 로컬 디테일을 동적으로 균형 있게 조절하는 하이브리드 아키텍처가 단일, 듀얼 및 트리 모달 작업 전반에 걸쳐 이차 계산 비용을 발생시키지 않으면서도 동종(homogeneous) 아키텍처(순수 CNN, 트랜스포머 또는 SSM 모두 포함)보다 뛰어날 수 있음을 입증했다는 데 있습니다. 연구를 촉진하기 위해 코드는 공개되었습니다.