💻 computer science

Conv-Guided Mamba Vision Transformer and SPP-DenseNet121 based Hybrid Multi-Feature Fusion and Query Expansion in Content-Based Medical Image Retrieval

Este artículo propone un novedoso marco de Recuperación de Imágenes Médicas Basada en Contenido que integra un Conv-Guided Mamba Vision Transformer con SPP-DenseNet121 para la fusión híbrida de características múltiples y emplea la expansión de consultas para lograr una alta precisión de recuperación en conjuntos de datos de tejido vesical endoscópico y gastrointestinal.

Autores originales: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás caminando a través de una biblioteca masiva e infinita donde cada libro es una fotografía del interior de un cuerpo humano. Si fueras un médico tratando de encontrar una foto de un tipo específico de tumor de vejiga para ayudar a un paciente, no querrías pasar millones de páginas una por una. Querrías un bibliotecario superinteligente que pudiera tomar instantáneamente las fotos exactas que necesitas. Este es el mundo de la Recuperación de Imágenes Médicas Basada en el Contenido (CBMIR, por sus siglas en inglés). En lugar de buscar mediante etiquetas de texto como "cáncer" o "pólipo", este sistema busca mirando el contenido real de la imagen: los colores, las formas y las texturas. El desafío es que las imágenes médicas son complicadas; dos imágenes pueden parecer casi idénticas pero significar cosas muy diferentes para un médico, o dos imágenes de la misma enfermedad pueden verse muy diferentes dependiendo de cómo se sostuvo la cámara o de la iluminación. El objetivo es construir un detective digital que entienda tanto los detalles diminutos como la visión general para encontrar las imágenes médicas adecuadas de forma rápida y precisa.

En este estudio, los investigadores construyeron un nuevo tipo de detective digital llamado marco de trabajo de Fusión de Características Múltiples Híbrida y Expansión de Consulta. Piensa en esto como un equipo de dos detectives expertos trabajando juntos para resolver un caso. El primer detective es un especialista en detalles locales, utilizando una herramienta llamada SPP-DenseNet121. Este detective es excelente detectando pistas diminutas como la textura de un tejido o el borde de una lesión, sin importar cuán grande o pequeño sea el punto. El segundo detective es un maestro del contexto global, utilizando una nueva y eficiente herramienta llamada Conv-Guided Mamba Vision Transformer (CG-MViT). Este detective observa toda la escena para comprender cómo se relacionan las diferentes partes de la imagen a largas distancias, algo así como entender la disposición de una habitación completa en lugar de solo un solo ladrillo.

Usualmente, cuando combinas dos conjuntos diferentes de pistas, podrías terminar con una pila desordenada de información redundante. Para solucionar esto, el equipo utilizó un truco matemático especial llamado Análisis de Correlación Canónica Múltiple Discriminativo (DMCCA). Imagina esto como un sistema de archivo superorganizado que toma las notas de ambos detectives, elimina los duplicados y las fusiona en un informe único, perfecto y cristalino. Pero el equipo no se detuvo ahí. Sabían que, a veces, la primera suposición no es perfecta, así que añadieron un paso de "segunda opinión" llamado Retroalimentación de Relevancia Pseudo (PRF). Esto es como preguntarle a la computadora: "Oye, las 10 fotos que encontraste se ven bien, ¿verdad? Asumamos que todas son correctas y utilicémoslas para refinar nuestra búsqueda". Esto ayuda al sistema a comprender mejor la intención del médico y a encontrar imágenes aún más relevantes.

Los investigadores probaron su nuevo equipo de detectives en dos bibliotecas de fotos médicas del mundo real: el conjunto de datos Kvasir (que contiene imágenes del tracto gastrointestinal) y el conjunto de datos de Tejido de Vejiga Endoscópica. Los resultados fueron impresionantes. En el conjunto de datos Kvasir, el sistema encontró las imágenes correctas con un alto grado de precisión, obteniendo una tasa de éxito del 97.72% al buscar en los 5 mejores resultados, y manteniendo aún un sólido 91.02% incluso al mirar los 100 mejores resultados. En el conjunto de datos de tejido de vejiga, que es más desafiante, logró un 92.60% de precisión para los 5 mejores resultados y un 66.82% para los 100 mejores.

Para asegurarse de que su nuevo sistema fuera realmente el héroe y no solo tuviera suerte, los investigadores realizaron una serie de "estudios de ablación". Esto es como desarmar el motor de un coche para ver qué pieza lo hace ir más rápido. Probaron el sistema solo con el primer detective, luego solo con el segundo, después con ambos sin el sistema de archivos, y finalmente con el equipo completo. Encontraron que cada parte contribuía al éxito; el equipo completo con el sistema de archivos y el paso de la "segunda opinión" fue el que mejor funcionó. El estudio sugiere que, al combinar las visiones locales y globales, organizar los datos de manera inteligente y permitir que el sistema aprenda de sus propias suposiciones iniciales, la recuperación de imágenes médicas puede volverse mucho más confiable. Esto podría ayudar a los médicos a encontrar casos pasados similares más rápido, ayudando en el diagnóstico y la planificación del tratamiento, aunque los autores señalan que se necesitan más pruebas en imágenes médicas de mayor tamaño y de diferentes tipos para confirmar qué tan bien funciona esto en cada entorno hospitalario.

Resumen Técnico: Transformador de Visión Mamba Guiado por Convolución y Fusión de Características Múltiples Híbrida Basada en SPP-DenseNet121 y Expansión de Consultas en la Recuperación de Imágenes Médicas Basada en Contenido

Planteamiento del Problema
La Recuperación de Imágenes Médicas Basada en Contenido (CBMIR, por sus siglas en inglés) es crítica para la toma de decisiones clínicas; sin embargo, recuperar imágenes específicas de tejido de vejiga endoscópica de repositorios masivos sigue siendo un desafío. Las dificultades primarias surgen de las altas variaciones intra-clase, las similitudes entre diferentes clases patológicas y las diversas apariencias tisulares a través de las distintas modalidades de imagen. Los métodos tradicionales de CBMIR que dependen de características diseñadas a mano (por ejemplo, LBP, HOG) no logran capturar estructuras médicas complejas. Si bien los modelos de aprendizaje profundo como las CNN sobresalen en la extracción de características locales, a menudo tienen dificultades con las dependencias de largo alcance y la información contextual global. Por el contrario, los modelos basados puramente en Transformers capturan el contexto global, pero sufren de altos costos computacionales y pueden pasar por alto detalles estructurales locales necesarios para distinguir variaciones patológicas. Además, los sistemas existentes a menudo enfrentan una "brecha semántica", donde se recuperan imágenes visualmente similares pero que carecen de relevancia clínica, y los métodos de fusión de características frecuentemente introducen redundancia sin aprovechar eficazmente los espacios de características heterogéneos.

Metodología
Los autores proponen un novedoso marco de CBMIR que integra la extracción de características locales multiescala, el aprendizaje de contexto global, la fusión de características discriminativas y el refinamiento de consultas. La arquitectura opera en dos fases: aprendizaje de características fuera de línea (offline) y recuperación en línea (online).

Preprocesamiento: Las imágenes de entrada se someten a un redimensionamiento y a un realce de contraste adaptativo para estandarizar la iluminación y mejorar la visualización de las estructuras tisulares.
Extracción de Características de Doble Rama:
- Rama Local Multiescala (SPP-DenseNet121): Utiliza una columna vertebral (backbone) DenseNet121 con conexiones densas para facilitar la reutilización de características y mitigar el desvanecimiento del gradiente. Se integra una capa de Agrupación de Pirámide Espacial (SPP) para capturar anomalías en múltiples escalas (por ejemplo, rejillas de 1×1, 2×2, 4×4), asegurando que tanto los detalles globales de la imagen como las características locales de las lesiones se preserven independientemente del tamaño de la lesión.
- Rama de Contexto Global (CG-MViT): Emplea un Transformador de Visión Mamba Guiado por Convolución. A diferencia de los Transformers estándar que dependen de la auto-atención, esta rama utiliza un Modelo de Espacio de Estados Mamba con mecanismos de estado selectivo para capturar dependencias de largo alcance con una complejidad computacional lineal. Una capa de incrustación (embedding) convolucional ligera precede a las capas Mamba para mantener la consistencia espacial local y proporcionar un sesgo inductivo para los límites anatómicos antes de la tokenización.
Fusión de Características Híbrida (DMCCA): Los vectores de características de las ramas SPP-DenseNet121 y CG-MViT se fusionan utilizando el Análisis de Correlación Canónica Múltiple Discriminativo (DMCCA). Este método proyecta los espacios de características heterogéneos en un subespacio unificado y discriminativo, maximizando las correlaciones entre ambos conjuntos mientras minimiza la redundancia.
Recuperación en Línea y Refinamiento:
- Recuperación Inicial: Una imagen de consulta se procesa a través del mismo flujo de trabajo de doble rama. La similitud se calcula mediante una métrica compuesta que combina la distancia Euclídea y la similitud de Coseno.
- Expansión de Consulta mediante Retroalimentación de Pseudo-Relevancia (PRF): Para cerrar la brecha semántica, el sistema asume que las imágenes recuperadas con mayor rango son relevantes. Se calcula el vector de características promedio de estas $P$ imágenes superiores y se utiliza para expandir el vector de la consulta original.
- Re-clasificación (Re-ranking): El vector de consulta expandido se compara nuevamente contra la base de datos utilizando la métrica de similitud compuesta para generar un ranking final y refinado de los resultados.

Contribuciones Clave

Nuevo Paradigma de CBMIR: Introduce un marco diseñado específicamente para la recuperación de tejido de vejiga endoscópica, facilitando la toma de decisiones asistida por computadora.
Arquitectura de Doble Flujo: Combina SPP-DenseNet121 para características locales invariantes de escala y CG-MViT para el aprendizaje eficiente de contexto global, abordando las limitaciones de usar cualquiera de las dos arquitecturas por separado.
Integración de SPP: Utiliza la Agrupación de Pirámide Espacial dentro de DenseNet121 para representar eficazmente anomalías de diversos tamaños y estructuras comunes en procedimientos endoscópicos.
Modelado Global Eficiente: Implementa CG-MViT para aprender relaciones semánticas y espaciales globales con una carga computacional reducida en comparación con los modelos Transformer tradicionales.
Fusión Discriminativa: Propone DMCCA para fusionar características heterogéneas, creando un espacio de características discriminativo y libre de redundancia.
Reducción de la Brecha Semántica: Integra la expansión de consulta basada en PRF para refinar la representación de la consulta, reduciendo la ambigüedad y alineando las características visuales con la semántica clínica.
Validación Exhaustiva: Valida el marco a través de extensos estudios de ablación y evaluaciones cualitativas, confirmando la contribución de cada componente.

Resultados Experimentales
El marco fue evaluado en dos conjuntos de datos disponibles públicamente: el conjunto de datos endoscópico gastrointestinal Kvasir y el conjunto de datos de Tejido de Vejiga Endoscópica.

Conjunto de Datos Kvasir: El modelo propuesto alcanzó puntuaciones de Precisión Media Promedio (mAP) de 97.72% (P@5), 96.81% (P@10), 95.78% (P@20), 93.15% (P@50) y 91.02% (P@100). El análisis por clase mostró una alta precisión en las ocho categorías, con "Ulcerative-Colitis" y "Dyed-Lifted-Polyps" con un desempeño particularmente bueno.
Conjunto de Datos de Tejido de Vejiga Endoscópica: El modelo obtuvo puntuaciones mAP de 92.60% (P@5), 90.68% (P@10), 84.67% (P@20), 70.79% (P@50) y 66.82% (P@100). Las clases de cáncer de alto grado (HGC) y cáncer de bajo grado (LGC) demostraron una precisión de recuperación superior en comparación con las clases no tumorales.
Estudios de Ablación: Los experimentos confirmaron que el marco completo supera a los componentes individuales (SPP-DenseNet121 por sí solo, CG-MViT por sí solo) y a las configuraciones intermedias (por ejemplo, fusión sin DMCCA o sin PRF), validando la necesidad del enfoque híbrido y el refinamiento de la consulta.

Significancia y Reivindicaciones
Los autores afirman que el marco propuesto ofrece alta robustez y generalizabilidad para la recuperación de imágenes clínicas. Al combinar eficazmente las características locales multiescala con las dependencias de contexto global y refinar las consultas mediante retroalimentación, el sistema logra cerrar con éxito la brecha semántica entre la apariencia visual y la interpretación médica. Los resultados sugieren que el marco es una solución viable para el diagnóstico asistido por computadora, el razonamiento basado en casos y el soporte de decisiones clínicas. Los autores señalan que, si bien los resultados actuales son prometedores, el trabajo futuro podría explorar el entrenamiento autosupervisado, arquitecturas ligeras para sistemas hospitalarios en tiempo real y la expansión a otras modalidades como MRI, CT e histopatología.

Más como este