Technische Samenvatting: Vloeibare Fusie van Heterogene Representaties voor Algemene Saliente Objectdetectie

1. Probleemstelling

Algemene Saliente Objectdetectie (SOD) heeft als doel visueel prominente objecten te identificeren en te segmenteren in diverse scenario's, inclusief single-modale (RGB), dual-modale (RGB-D, RGB-T), video (VSOD) en tri-modale (VDT) inputs. Hoewel recente ontwikkelingen gebruikmaken van State Space Models (SSM's) zoals Mamba om efficiënte modellering van langetermijnafhankelijkheden met lineaire complexiteit te bereiken, blijft een kritieke beperking bestaan: de verwaarlozing van inherente spectrale biases binnen verschillende neurale netwerkparadigma's.

De auteurs stellen dat huidige benaderingen vaak een enkele architectuur (bijv. een pure SSM) dwingen om alle noodzakelijke multi-schaal contexten te vangen via steeds complexere scanstrategieën. Echter, signaalverwerkinganalyse laat zien dat Convolutionele Neurale Netwerken (CNN's) en SSM's verschillende en complementaire frequentievoorkeuren vertonen. CNN's hebben de neiging specifieke spectrale signaturen te vangen (vaak hoogfrequente ruimtelijke details), terwijl SSM's uitblinken in continue sequentie-gebaseerde semantiek. Het uitsluitend vertrouwen op één paradigma creëert representatieve blinde vlekken, wat voorkomt dat een model een gebalanceerde volledige-spectrum perceptie bereikt die noodzakelijk is voor robuuste algemene SOD.

2. Methodologie: LFNet

Om deze beperkingen aan te pakken, stellen de auteurs LFNet (Liquid Fusion Network) voor, een heterogeen hybride framework dat representaties van SSM's (specifiek VMamba) en CNN's (specifiek ConvNeXt) harmoniseert. De architectuur is geïnspireerd door de continu-tijd dynamica van Liquid Neural Networks (LNN's).

2.1 Heterogene Hybride Encoder

LFNet maakt gebruik van een dual-stream encoder:

• VMamba Stream: Extraheert continue state-space representaties met lineaire computationele complexiteit, waarbij globale sequentie-gebaseerde semantiek wordt gevangen.
• ConvNeXt Stream: Behoudt grid-gebaseerde ruimtelijke inductieve biases, waarbij uitgebreide spectrale cues worden gevangen zonder complexe scanning engineering.
• Modality Fusion Block (MFB): Gelegen binnen de ConvNeXt stream, past deze blok de features aan op basis van de input-modaliteit. Het gebruikt een 1×1 projectie voor RGB, een enkele Liquid Fusion Module (LFM) voor dual-modale taken (RGB-D/T, VSOD), en een gecascadeerde LFM-structuur voor tri-modale VDT-taken, waardoor de kwadratische kosten van cross-attention worden vermeden.

2.2 Liquid Fusion Module (LFM)

De kerninnovatie is de LFM, die feature-integratie behandelt als een state-stimulus interactie in plaats van statische concatenatie of optelling.

• State: De VMamba feature ($f^v_i$) wordt behandeld als een evoluerende geheugenstaat.
• Stimulus: De ConvNeXt feature ($f^c_i$) wordt behandeld als een exogene stimulus.
• Mechanisme: De module hanteert een dynamisch gating mechanisme afgeleid van Liquid Time-Constant (LTC) dynamica. Het berekent een ruimtelijke liquid gate ($G_i$) om de injectie van de stimulus in de geheugenstaat te reguleren.
  • Als $G_i \to 1$, geeft het netwerk prioriteit aan grid-gebaseerde ruimtelijke cues (ConvNeXt).
  • Als $G_i \to 0$, geeft het netwerk prioriteit aan sequentie-gebaseerde context (VMamba).
    Dit maakt content-bewuste, dynamische feature aggregatie mogelijk die effectief schaalt naar multi-modale cues.

2.3 Saliency-Guided Upsampling (SGU)

Om spectrale aliasing en vervaagde grenzen aan te pakken die gebruikelijk zijn bij standaard upsampling, introduceert LFNet de SGU-operator.

• Spectral-Spatial Co-Design: De module gebruikt een dual-branch benadering. Eén branch past een leerbare complexe gewichtsmatrix toe in het frequentiedomein (via FFT/IFFT) om de integriteit van de globale vorm te behouden. De andere branch gebruikt gestapelde convoluties om hoogfrequente rand-cues te vangen.
• Fusie: De uiteindelijke feature is een fusie van beide domeinen met een residual connection, wat zorgt voor scherpe grensherstel tijdens resolutieherstel.

2.4 Trainingsstrategie

Het model maakt gebruik van deep supervision met een gewogen combinatie van Binary Cross Entropy (BCE) en Intersection-over-Union (IoU) losses over alle voorspellingsschalen.

3. Belangrijkste Bijdragen

1. Spectrale Analyse & Hybride Paradigma: De auteurs bieden een dataset-niveau spectrale analyse die de inherente complementariteit van CNN's en SSM's aantoont. Ze stellen LFNet voor om deze spectrale biases te overbruggen, waarmee ze verder gaan dan de beperkingen van een enkel paradigma.
2. Liquid Fusion Mechanisme: Ze ontwerpen een nieuwe LFM gebaseerd op een continu state-stimulus paradigma. Dit dynamische gating mechanisme aggregeert effectief heterogene features en dient als een schaalbare oplossing voor multi-modale fusie (RGB, RGB-D, RGB-T, VSOD, VDT).
3. Saliency-Guided Upsampling: Ze ontwikkelen de SGU-operator, die een dual-branch spectral-spatial design gebruikt om semantiek te propageren en artefacten te onderdrukken tijdens upsampling.
4. State-of-the-Art Prestaties: Uitgebreide experimenten over vijf diverse taken tonen aan dat LFNet superieure prestaties levert vergeleken met CNN-gebaseerde, Transformer-gebaseerde en Mamba-gebaseerde methoden, vaak met een gunstiger evenwicht tussen nauwkeurigheid en modelefficiëntie.

4. Experimentele Resultaten

Het paper evalueert LFNet op vijf algemene SOD-taken met behulp van standaard benchmarks:

• RGB SOD: Getest op DUTS, DUT-O, HKU-IS, PASCAL-S, en ECSSD. LFNet presteert beter dan zware Transformer-modellen (bijv. ICON-S) en recente Mamba-gebaseerde methoden (Samba) terwijl het aanzienlijk minder parameters gebruikt (43.23M vs. 94.30M voor ICON-S).
• RGB-D SOD: Getest op NJUD, NLPR, SIP, STERE, en DUTLF-D. LFNet overtreft concurrenten zoals VST-S++ met slechts ~31% van de parameters.
• RGB-T SOD: Getest op VT821, VT1000, en VT5000. LFNet bereikt nieuwe SOTA-resultaten en presteert beter dan Samba over alle benchmarks.
• VSOD: Getest op DAVIS, DAVSOD-easy, FBMS, SegV2, en VOS. LFNet toont robuustheid in dynamische scènes en presteert beter dan VSCode-S.
• VDT SOD: Getest op VDT-2048. LFNet vestigt een nieuwe SOTA met een $S_m$ van 94.2%.

Ablatie-studies bevestigen dat:

• Het heterogene hybride design beter presteert dan single-stream (alleen VMamba of alleen ConvNeXt) en naïeve dual-stream baselines.
• De Liquid Fusion Module effectiever is dan additive fusie, concatenatie of cross-attention.
• De SGU-operator consistente winst oplevert ten opzichte van standaard bilineaire interpolatie en getransponeerde convoluties.

5. Betekenis en Claims

Het paper claimt dat de fundamentele aard van SOD robuuste representaties vereist over het gehele frequentiespectrum. Door de inherente spectrale biases van CNN's en SSM's te harmoniseren via een liquid fusion paradigma, biedt LFNet een flexibele en efficiënte oplossing voor algemene SOD.

De auteurs benadrukken dat hun werk de eerste poging is om liquid dynamica (specifiek de state-stimulus paradigma van LNN's) te gebruiken om een cross-paradigma heterogeen fusieframework voor dense visuele predictie te construeren. De betekenis ligt in het demonstreren dat een hybride architectuur, die globaal semantiek en lokale details dynamisch balanceert, beter kan presteren dan homogene architecturen (of het nu pure CNN, Transformer of SSM is) over single, dual en tri-modale taken zonder kwadratische computationele kosten te veroorzaken. De code is vrijgegeven om verdere research in deze richting te faciliteren.