Resumo Técnico: Fusão Líquida de Representações Heterogêneas para Detecção Geral de Objetos Salientes

1. Definição do Problema

A Detecção de Objetos Salientes (SOD) Geral visa identificar e segmentar objetos visualmente proeminentes em diversos cenários, incluindo entradas de modalidade única (RGB), dupla modalidade (RGB-D, RGB-T), vídeo (VSOD) e tri-modalidade (VDT). Embora avanços recentes tenham utilizado Modelos de Espaço de Estados (SSMs) como o Mamba para alcançar um modelamento eficiente de dependências de longo alcance com complexidade linear, uma limitação crítica persiste: a negligência dos vieses espectrais inerentes entre diferentes paradigmas de redes neurais.

Os autores argumentam que as abordagens atuais frequentemente forçam uma única arquitetura (por exemplo, um SSM puro) a capturar todos os contextos multiescala necessários através de estratégias de varredura cada vez mais complexas. No entanto, a análise de processamento de sinais revela que as Redes Neurais Convolucionais (CNNs) e os SSMs exibem preferências de frequência distintas e complementares. As CNNs tendem a capturar assinaturas espectrais específicas (frequentemente detalhes espaciais de alta frequência), enquanto os SSMs se destacam em semânticas baseadas em sequências contínuas. Depender exclusivamente de um único paradigma cria pontos cegos representacionais, impedindo que o modelo alcance uma percepção de espectro total equilibrada, necessária para uma SOD robusta e geral.

2. Metodologia: LFNet

Para abordar essas limitações, os autores propõem a LFNet (Liquid Fusion Network), um framework híbrido heterogêneo que harmoniza representações de SSMs (especificamente VMamba) e CNNs (especificamente ConvNeXt). A arquitetura é inspirada na dinâmica de tempo contínuo das Redes Neurais Líquidas (LNNs).

2.1 Codificador Híbrido Heterogêneo

A LFNet emprega um codificador de fluxo duplo:

• Fluxo VMamba: Extrai representações de espaço de estado contínuas com complexidade computacional linear, capturando semânticas globais baseadas em sequências.
• Fluxo ConvNeXt: Preserva vieses indutivos espaciais baseados em grade, capturando pistas espectrais abrangentes sem necessidade de engenharia de varredura complexa.
• Bloco de Fusão de Modalidade (MFB): Localizado dentro do fluxo ConvNeXt, este bloco adapta as características com base na modalidade de entrada. Ele utiliza uma projeção de 1×1 para RGB, um único Módulo de Fusão Líquida (LFM) para tarefas de dupla modalidade (RGB-D/T, VSOD) e uma estrutura de LFM em cascata para tarefas tri-modais VDT, evitando o custo quadrático da atenção cruzada (cross-attention).

2.2 Módulo de Fusão Líquida (LFM)

A inovação central é o LFM, que trata a integração de características como uma interação estado-estímulo em vez de uma concatenação ou adição estática.

• Estado: A característica do VMamba ($f^v_i$) é tratada como um estado de memória evolutivo.
• Estímulo: A característica do ConvNeXt ($f^c_i$) é tratada como um estímulo exógeno.
• Mecanismo: O módulo emprega um mecanismo de portão dinâmico derivado da dinâmica de Constante de Tempo Líquida (LTC). Ele calcula um portão líquido espacial ($G_i$) para regular a injeção do estímulo no estado de memória.
  • Se $G_i \to 1$, a rede prioriza pistas espaciais baseadas em grade (ConvNeXt).
  • Se $G_i \to 0$, ela prioriza o contexto baseado em sequência (VMamba).
    Isso permite uma agregação de características consciente ao conteúdo e dinamicamente adaptável às pistas multimodais.

2.3 Upsampling Guiado por Saliência (SGU)

Para enfrentar o aliasing espectral e as bordas borradas comuns no upsampling padrão, a LFNet introduz o operador SGU.

• Co-design Espectral-Espacial: O módulo utiliza uma abordagem de dois ramos. Um ramo aplica uma matriz de peso complexa aprendível no domínio da frequência (via FFT/IFFT) para preservar a integridade da forma global. O outro ramo utiliza convoluções empilhadas para capturar pistas de borda de alta frequência.
• Fusão: A característica final é uma fusão de ambos os domínios com uma conexão residual, garantindo a recuperação de bordas nítidas durante a restauração de resolução.

2.4 Estratégia de Treinamento

O modelo utiliza supervisão profunda com uma combinação ponderada de perdas de Entropia Cruzada Binária (BCE) e Interseção sobre União (IoU) em todas as escalas de predição.

3. Principais Contribuições

1. Análise Espectral & Paradigma Híbrido: Os autores fornecem uma análise espectral ao nível do dataset demonstrando a complementaridade inerente entre CNNs e SSMs. Eles propõem a LFNet para preencher esses vieses espectrais, indo além das limitações de paradigma único.
2. Mecanismo de Fusão Líquida: Eles projetam um LFM inovador baseado em um paradigma de estado-estímulo contínuo. Este mecanismo de portão dinâmico agrega efetivamente características heterogêneas e serve como uma solução escalável para a fusão multimodal (RGB, RGB-D, RGB-T, VSOD, VDT).
3. Upsampling Guiado por Saliência: Eles desenvolvem o operador SGU, que utiliza um design espectral-espacial de dois ramos para propagar semântica e suprimir artefatos durante o upsampling.
4. Desempenho de Estado da Arte (SOTA): Experimentos extensos em cinco tarefas diversas demonstram que a LFNet alcança um desempenho superior em comparação com métodos baseados em CNN, Transformer e Mamba, muitas vezes com um equilíbrio mais favorável entre precisão e eficiência do modelo.

4. Resultados Experimentais

O artigo avalia a LFNet em cinco tarefas de SOD geral usando benchmarks padrão:

• RGB SOD: Testado em DUTS, DUT-O, HKU-IS, PASCAL-S e ECSSD. A LFNet supera modelos pesados de Transformer (ex: ICON-S) e métodos recentes baseados em Mamba (Samba), utilizando significativamente menos parâmetros (43.23M vs. 94.30M para o ICON-S).
• RGB-D SOD: Testado em NJUD, NLPR, SIP, STERE e DUTLF-D. A LFNet supera competidores como o VST-S++ com apenas ~31% dos parâmetros.
• RGB-T SOD: Testado em VT821, VT1000 e VT5000. A LFNet estabelece novos resultados SOTA, superando o Samba em todos os benchmarks.
• VSOD: Testado em DAVIS, DAVSOD-easy, FBMS, SegV2 e VOS. A LFNet mostra robustez em cenas dinâmicas, superando o VSCode-S.
• VDT SOD: Testado em VDT-2048. A LFNet estabelece um novo SOTA com um $S_m$ de 94.2%.

Estudos de Ablação confirmam que:

• O design híbrido heterogêneo supera designs de fluxo único (apenas VMamba ou apenas ConvNeXt) e baselines de fluxo duplo ingênuos.
• O Módulo de Fusão Líquida é mais eficaz do que a fusão aditiva, concatenação ou atenção cruzada.
• O operador SGU produz ganhos consistentes sobre interpolação bilinear padrão e convoluções transpostas.

5. Significância e Alegações

O artigo afirma que a natureza fundamental da SOD exige representações robustas em todo o espectro de frequência. Ao harmonizar os vieses espectrais inerentes de CNNs e SSMs através de um paradigma de fusão líquida, a LFNet oferece uma solução flexível e eficiente para a SOD geral.

Os autores enfatizam que seu trabalho representa a primeira tentativa de utilizar a dinâmica líquida (especificamente o paradigma estado-estímulo das LNNs) para construir um framework de fusão heterogênea de cruzamento de paradigmas para predição visual densa. A significância reside em demonstrar que uma arquitetura híbrida, que equilibra dinamicamente semântica global e detalhes locais, pode superar arquiteturas homogêneas (sejam puras CNN, Transformer ou SSM) em tarefas de modalidade única, dupla e tri-modal sem incorrer em custos computacionais quadráticos. O código foi liberado para facilitar futuras pesquisas nesta direção.