💻 computer science

Conv-Guided Mamba Vision Transformer and SPP-DenseNet121 based Hybrid Multi-Feature Fusion and Query Expansion in Content-Based Medical Image Retrieval

Este artigo propõe um novo framework de Recuperação de Imagens Médicas Baseada em Conteúdo que integra um Conv-Guided Mamba Vision Transformer com SPP-DenseNet121 para fusão híbrida de múltiplas características e emprega expansão de consulta para alcançar alta precisão de recuperação em conjuntos de dados de tecido da bexiga endoscópica e gastrointestinal.

Autores originais: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mathana Gopal Arulsamy, Pallikonda Rajasekaran Murugan, Md. Jakir Hossen, Wai Kit Wong, Poh Kiat Ng, Gomathy Nayagam M

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma biblioteca enorme e infinita onde cada livro é uma fotografia do interior de um corpo humano. Se você fosse um médico tentando encontrar uma foto de um tipo específico de tumor na bexiga para ajudar um paciente, você não gostaria de folhear milhões de páginas uma por uma. Você gostaria de um bibliotecário superinteligente que pudesse pegar instantaneamente as fotos exatas de que você precisa. Este é o mundo da Recuperação de Imagens Médicas Baseada em Conteúdo (CBMIR). Em vez de pesquisar por rótulos de texto como "câncer" ou "pólipo", este sistema pesquisa olhando para o conteúdo real da imagem — as cores, formas e texturas. O desafio é que as imagens médicas são complicadas; duas fotos podem parecer quase idênticas, mas significar coisas muito diferentes para um médico, ou duas fotos da mesma doença podem parecer drasticamente diferentes dependendo de como a câmera foi segurada ou da iluminação. O objetivo é construir um detetive digital que entenda tanto os detalhes minúsculos quanto o panorama geral para encontrar as imagens médicas certas de forma rápida e precisa.

Neste estudo, os pesquisadores construíram um novo tipo de detetive digital chamado um framework de Fusão de Múltiplas Características Híbridas e Expansão de Consulta. Pense nisso como uma equipe de dois detetives especialistas trabalhando juntos para resolver um caso. O primeiro detetive é um especialista em detalhes locais, usando uma ferramenta chamada SPP-DenseNet121. Este detetive é ótimo em detectar pistas minúsculas, como a textura de um tecido ou a borda de uma lesão, não importa o quão grande ou pequeno seja o ponto. O segundo detetive é um mestre do contexto global, usando uma nova e eficiente ferramenta chamada Transformer de Visão Mamba Guiado por Convolução (CG-MViT). Este detetive olha para a cena inteira para entender como diferentes partes da imagem se relacionam entre si ao longo de longas distâncias, de forma semelhante a entender o layout de um quarto inteiro em vez de apenas um único tijolo.

Normalmente, quando você combina dois conjuntos diferentes de pistas, pode acabar com uma pilha bagunçada de informações redundantes. Para corrigir isso, a equipe usou um truque matemático especial chamado Análise de Correlação Canônica Múltipla Discriminativa (DMCCA). Imagine isso como um sistema de arquivamento superorganizado que pega as notas de ambos os detetives, remove as duplicatas e as funde em um relatório único, perfeito e cristalino. Mas a equipe não parou por aí. Eles sabiam que, às vezes, o primeiro palpite não é perfeito, então adicionaram uma etapa de "segundo palpite" chamada Feedback de Relevância Pseudo (PRF). Isso é como perguntar ao computador: "Ei, as 10 primeiras fotos que você encontrou parecem boas, certo? Vamos assumir que todas elas estão corretas e usá-las para refinar nossa busca". Isso ajuda o sistema a entender melhor a intenção do médico e a encontrar imagens ainda mais relevantes.

Os pesquisadores testaram sua nova equipe de detetives em duas bibliotecas de fotos médicas do mundo real: o dataset Kvasir (que contém imagens do trato gastrointestinal) e o dataset de Tecido de Bexiga Endoscópica. Os resultados foram impressionantes. No dataset Kvasir, o sistema encontrou as imagens corretas com um alto grau de precisão, pontuando 97,72% de taxa de sucesso ao observar os 5 primeiros resultados, e mantendo ainda uma forte marca de 91,02% mesmo ao observar os 100 primeiros resultados. No dataset de tecido de bexiga, que é mais desafiador, alcançou 92,60% de precisão para os 5 primeiros resultados e 66,82% para os 100 primeiros.

Para garantir que seu novo sistema fosse realmente o herói e não apenas sortudo, os pesquisadores realizaram uma série de "estudos de ablação". Isso é como desmontar o motor de um carro para ver qual parte o faz ir mais rápido. Eles testaram o sistema apenas com o primeiro detetive, depois apenas com o segundo, depois ambos sem o sistema de arquivamento e, finalmente, a equipe completa. Eles descobriram que cada parte contribuiu para o sucesso; a equipe completa com o sistema de arquivamento e a etapa de "segundo palpite" teve o melhor desempenho. O estudo sugere que, ao combinar visões locais e globais, organizar os dados de forma inteligente e permitir que o sistema aprenda com seus próprios palpites iniciais, a recuperação de imagens médicas pode se tornar muito mais confiável. Isso pode ajudar médicos a encontrar casos passados semelhantes mais rapidamente, auxiliando no diagnóstico e no planejamento do tratamento, embora os autores observem que mais testes em imagens médicas maiores e de diferentes tipos são necessários para confirmar o quão bem isso funciona em cada ambiente hospitalar.

Resumo Técnico: Transformer de Visão Mamba Guiado por Convolução e Fusão Híbrida de Múltiplas Características Baseada em SPP-DenseNet121 e Expansão de Consulta em Recuperação de Imagens Médicas Baseada em Conteúdo

Definição do Problema
A Recuperação de Imagens Médicas Baseada em Conteúdo (CBMIR) é crítica para a tomada de decisão clínica, mas recuperar imagens específicas de tecido vesical endoscópico de repositórios massivos permanece desafiador. As principais dificuldades decorrem das altas variações intra-classe, semelhanças entre diferentes classes patológicas e diversas aparências de tecidos através de diferentes modalidades de imagem. Métodos tradicionais de CBMIR que dependem de características manuais (ex: LBP, HOG) falham em capturar estruturas médicas complexas. Embora modelos de aprendizagem profunda como CNNs se destaquem na extração de características locais, eles frequentemente têm dificuldade com dependências de longo alcance e informações de contexto global. Por outro lado, modelos puramente baseados em Transformer capturam o contexto global, mas sofrem com altos custos computacionais e podem negligenciar detalhes estruturais locais necessários para distinguir variações patológicas. Além disso, sistemas existentes frequentemente enfrentam um "gap semântico", onde imagens visualmente semelhantes são recuperadas, mas carecem de relevância clínica, e métodos de fusão de características frequentemente introduzem redundância sem aproveitar efetivamente espaços de características heterogêneos.

Metodologia
Os autores propõem um novo framework de CBMIR que integra extração de características locais em múltiplas escalas, aprendizado de contexto global, fusão de características discriminativas e refinamento de consulta. A arquitetura opera em duas fases: aprendizado de características offline e recuperação online.

Pré-processamento: As imagens de entrada passam por redimensionamento e realce de contraste adaptativo para padronizar a iluminação e melhorar a visualização das estruturas teciduais.
Extração de Características de Duas Ramificações:
- Ramificação Local de Múltiplas Escalas (SPP-DenseNet121): Utiliza uma espinha dorsal (backbone) DenseNet121 com conexões densas para facilitar o reuso de características e mitigar o desaparecimento do gradiente. Uma camada de Pooling de Pirâmide Espacial (SPP) é integrada para capturar anormalidades em múltiplas escalas (ex: grades de 1×1, 2×2, 4×4), garantindo que tanto os detalhes globais da imagem quanto as características de lesões locais sejam preservados, independentemente do tamanho da lesão.
- Ramificação de Contexto Global (CG-MViT): Emprega um Transformer de Visão Mamba Guiado por Convolução. Diferente dos Transformers padrão que dependem de auto-atenção, esta ramificação utiliza um Modelo de Espaço de Estados Mamba com mecanismos de estado seletivo para capturar dependências de longo alcance com complexidade computacional linear. Uma camada de incorporação (embedding) convolucional leve precede as camadas Mamba para manter a consistência espacial local e fornecer um viés indutivo para fronteiras anatômicas antes da tokenização.
Fusão de Características Híbrida (DMCCA): Os vetores de características das ramificações SPP-DenseNet121 e CG-MViT são fundidos usando Análise de Correlação Canônica Múltipla Discriminativa (DMCCA). Este método projeta espaços de características heterogêneos em um subespaço unificado e discriminativo, maximizando as correlações entre os dois conjuntos enquanto minimiza a redundância.
Recuperação Online e Refinamento:
- Recuperação Inicial: Uma imagem de consulta é processada através do mesmo pipeline de duas ramificações. A similaridade é computada usando uma métrica composta combinando distância Euclidiana e similaridade de Cosseno.
- Expansão de Consulta via Feedback de Relevância Pseudo (PRF): Para reduzir o gap semântico, o sistema assume que as imagens recuperadas no topo do ranking são relevantes. O vetor de característica média dessas $P$ imagens no topo é computado e usado para expandir o vetor da consulta original.
- Re-ranking: O vetor de consulta expandido é comparado contra o banco de dados novamente usando a métrica de similaridade composta para gerar um ranking final e refinado dos resultados.

Principais Contribuições

Novo Paradigma de CBMIR: Introduz um framework especificamente projetado para a recuperação de tecido vesical endoscópico, facilitando a tomada de decisão auxiliada por computador.
Arquitetura de Fluxo Duplo: Combina SPP-DenseNet121 para características locais invariantes de escala com CG-MViT para aprendizado eficiente de contexto global, abordando as limitações de usar apenas uma das arquiteturas.
Integração de SPP: Utiliza Pooling de Pirâmide Espacial dentro da DenseNet121 para representar efetivamente anormalidades de variados tamanhos e estruturas comuns em procedimentos endoscópicos.
Modelagem Global Eficiente: Implementa CG-MViT para aprender relações semânticas e espaciais globais com carga computacional reduzida em comparação com modelos Transformer tradicionais.
Fusão Discriminativa: Propõe DMCCA para fundir características heterogêneas, criando um espaço de características discriminativo e livre de redundâncias.
Redução do Gap Semântico: Integra a expansão de consulta baseada em PRF para refinar a representação da consulta, reduzindo a ambiguidade e alinhando características visuais com a semântica clínica.
Validação Abrangente: Valida o framework através de extensos estudos de ablação e avaliações qualitativas, confirmando a contribuição de cada componente.

Resultados Experimentais
O framework foi avaliado em dois conjuntos de dados públicos: o conjunto de dados endoscópico gastrointestinal Kvasir e o conjunto de dados de Tecido Vesical Endoscópico.

Dataset Kvasir: O modelo proposto alcançou pontuações de Precisão Média (mAP) de 97,72% (P@5), 96,81% (P@10), 95,78% (P@20), 93,15% (P@50) e 91,02% (P@100). A análise por classe mostrou alta precisão em todas as oito categorias, com "Ulcerative-Colitis" e "Dyed-Lifted-Polyps" apresentando desempenho particularmente bom.
Dataset de Tecido Vesical Endoscópico: O modelo obteve pontuações de mAP de 92,60% (P@5), 90,68% (P@10), 84,67% (P@20), 70,79% (P@50) e 66,82% (P@100). As classes de câncer de alto grau (HGC) e baixo grau (LGC) demonstraram precisão de recuperação superior em comparação com as classes não tumorais.
Estudos de Ablação: Experimentos confirmaram que o framework completo supera os componentes individuais (SPP-DenseNet121 sozinho, CG-MViT sozinho) e configurações intermediárias (ex: fusão sem DMCCA ou sem PRF), validando a necessidade da abordagem híbrida e do refinamento de consulta.

Significância e Alegações
Os autores alegam que o framework proposto oferece alta robustez e generalização para a recuperação de imagens clínicas. Ao combinar efetivamente características locais de múltiplas escalas com dependências de contexto global e refinar consultas através de feedback, o sistema reduz com sucesso o gap semântico entre a aparência visual e a interpretação médica. Os resultados sugerem que o framework é uma solução viável para diagnóstico auxiliado por computador, raciocínio baseado em casos e suporte à decisão clínica. Os autores observam que, embora os resultados atuais sejam promissores, trabalhos futuros poderiam explorar treinamento autossupervisionado, arquiteturas leves para sistemas hospitalares em tempo real e expansão para outras modalidades como RM, TC e histopatologia.

Mais como este