Resumen Técnico: Fusión Líquida de Representaciones Heterogéneas para la Detección General de Objetos Salientes

1. Planteamiento del Problema

La Detección de Objetos Salientes (SOD, por sus siglas en inglés) General busca identificar y segmentar objetos visualmente prominentes a través de diversos escenarios, incluyendo entradas de modalidad única (RGB), dual (RGB-D, RGB-T), video (VSOD) y tri-modal (VDT). Si bien los avances recientes han utilizado Modelos de Espacio de Estados (SSMs) como Mamba para lograr un modelado eficiente de dependencias de largo alcance con complejidad lineal, persiste una limitación crítica: la negligencia de los sesgos espectrales inherentes entre los diferentes paradigmas de redes neuronales.

Los autores argumentan que los enfoques actuales a menudo fuerzan a una arquitectura única (por ejemplo, un SSM puro) para capturar todo el contexto multiescala necesario mediante estrategias de escaneo cada vez más complejas. Sin embargo, el análisis de procesamiento de señales revela que las Redes Neuronales Convolucionales (CNN) y los SSM exhiben preferencias de frecuencia distintas y complementarias. Las CNN tienden a capturar firmas espectrales específicas (a menudo detalles espaciales de alta frecuencia), mientras que los SSM sobresalen en la captura de semántica continua basada en secuencias. Depender únicamente de un paradigma crea puntos ciegos representacionales, lo que impide que un modelo logre una percepción de espectro completo equilibrada, necesaria para una SOD general robusta.

2. Metodología: LFNet

Para abordar estas limitaciones, los autores proponen LFNet (Liquid Fusion Network), un marco híbrido heterogéneo que armoniza las representaciones de los SSM (específicamente VMamba) y las CNN (específicamente ConvNeXt). La arquitectura está inspirada en la dinámica de tiempo continuo de las Redes Neuronales Líquidas (LNNs).

2.1 Codificador Híbrido Heterogéneo

LFNet emplea un codificador de doble flujo:

• Flujo VMamba: Extrae representaciones de espacio de estados continuas con complejidad computacional lineal, capturando semántica global basada en secuencias.
• Flujo ConvNeXt: Preserva los sesgos inductivos espaciales basados en rejilla, capturando pistas espectrales exhaustivas sin necesidad de ingeniería de escaneo compleja.
• Bloque de Fusión de Modalidad (MFB): Ubicado dentro del flujo ConvNeXt, este bloque adapta las características según la modalidad de entrada. Utiliza una proyección de 1×1 para RGB, un único Módulo de Fusión Líquida (LFM) para tareas de dual-modalidad (RGB-D/T, VSOD), y una estructura de LFM en cascada para tareas tri-modales de VDT, evitando el costo cuadrático de la atención cruzada (cross-attention).

2.2 Módulo de Fusión Líquida (LFM)

La innovación central es el LFM, que trata la integración de características como una interacción estado-estímulo en lugar de una concatenación o suma estática.

• Estado: La característica de VMamba ($f^v_i$) se trata como un estado de memoria evolutivo.
• Estímulo: La característica de ConvNeXt ($f^c_i$) se trata como un estímulo exógeno.
• Mecanismo: El módulo emplea un mecanismo de compuerta dinámica derivado de la dinámica de Constante de Tiempo Líquida (LTC). Calcula una compuerta líquida espacial ($G_i$) para regular la inyección del estímulo en el estado de memoria.
  • Si $G_i \to 1$, la red prioriza las pistas espaciales basadas en rejilla (ConvNeXt).
  • Si $G_i \to 0$, la red prioriza el contexto basado en secuencias (VMamba).
    Esto permite una agregación de características consciente del contenido y dinámica que escala eficazmente a las pistas multimodales.

2.3 Sobremuestreo Guiado por la Saliencia (SGU)

Para abordar el aliasing espectral y los bordes difusos comunes en el sobremuestreo estándar, LFNet introduce el operador SGU.

• Co-diseño Espectral-Espacial: El módulo utiliza un enfoque de doble rama. Una rama aplica una matriz de peso compleja aprendible en el dominio de la frecuencia (vía FFT/IFFT) para preservar la integridad de la forma global. La otra rama utiliza convoluciones apiladas para capturar pistas de bordes de alta frecuencia.
• Fusión: La característica final es una fusión de ambos dominios con una conexión residual, asegurando la recuperación de bordes nítidos durante la restauración de la resolución.

2.4 Estrategia de Entrenamiento

El modelo utiliza supervisión profunda con una combinación ponderada de pérdidas de Entropía Cruzada Binaria (BCE) e Intersección sobre Unión (IoU) a través de todas las escalas de predicción.

3. Contribuciones Clave

1. Análisis Espectral y Paradigma Híbrido: Los autores proporcionan un análisis espectral a nivel de dataset que demuestra la complementariedad inherente de las CNN y los SSM. Proponen LFNet para cerrar estos sesgos espectrales, yendo más allá de las limitaciones de un solo paradigma.
2. Mecanismo de Fusión Líquida: Diseñan un novedoso LFM basado en un paradigma de estado-estímulo continuo. Este mecanismo de compuerta dinámica agrega eficazmente características heterogéneas y sirve como una solución escalable para la fusión multimodal (RGB, RGB-D, RGB-T, VSOD, VDT).
3. Sobremuesteo Guiado por la Saliencia: Desarrollan el operador SGU, que utiliza un diseño espectral-espacial de doble rama para propagar la semántica y suprimir artefactos durante el sobremuestreo.
4. Rendimiento de Vanguardia (SOTA): Experimentos extensos en cinco tareas diversas demuestran que LFNet logra un rendimiento superior comparado con métodos basados en CNN, Transformer y Mamba, a menudo con una relación más favorable entre precisión y eficiencia del modelo.

4. Resultados Experimentales

El artículo evalúa LFNet en cinco tareas de SOD general utilizando benchmarks estándar:

• RGB SOD: Probado en DUTS, DUT-O, HKU-IS, PASCAL-S y ECSSD. LFNet supera a modelos pesados de Transformer (ej. ICON-S) y métodos recientes basados en Mamba (Samba) utilizando significativamente menos parámetros (43.23M frente a 94.30M de ICON-S).
• RGB-D SOD: Probado en NJUD, NLPR, SIP, STERE y DUTLF-D. LFNet supera a competidores como VST-S++ con solo ~31% de los parámetros.
• RGB-T SOD: Probado en VT821, VT1000 y VT5000. LFNet alcanza nuevos resultados SOTA, superando a Samba en todos los benchmarks.
• VSOD: Probado en DAVIS, DAVSOD-easy, FBMS, SegV2 y VOS. LFNet muestra robustez en escenas dinámicas, superando a VSCode-S.
• VDT SOD: Probado en VDT-2048. LFNet establece un nuevo SOTA con un $S_m$ de 94.2%.

Los Estudios de Ablación confirman que:

• El diseño híbrido heterogéneo supera a los de flujo único (solo VMamba o solo ConvNeXt) y a los baselines de doble flujo ingenuos.
• El Módulo de Fusión Líquida es más efectivo que la fusión aditiva, la concatenación o la atención cruzada.
• El operador SGU genera ganancias consistentes sobre la interpolación bilineal estándar y las convoluciones transpuestas.

5. Significado y Reivindicaciones

El artículo afirma que la naturaleza fundamental de la SOD exige representaciones robustas a través de todo el espectro de frecuencias. Al armonizar los sesgos espectrales inherentes de las CNN y los SSM a través de un paradigma de fusión líquida, LFNet ofrece una solución flexible y eficiente para la SOD general.

Los autores enfatizan que su trabajo representa el primer intento de aprovechar la dinámica líquida (específicamente el paradigma estado-estímulo de las LNNs) para construir un marco de fusión heterogénea de paradigma cruzado para la predicción visual densa. El significado reside en demostrar que una arquitectura híbrida, que equilibra dinámicamente la semántica global y los detalles locales, puede superar a las arquitecturas homogéneas (ya sean puras CNN, Transformer o SSM) en tareas de modalidad única, dual y tri-modal sin incurrir en costos computacionales cuadráticos. El código se libera para facilitar la investigación adicional en esta dirección.