RoiMAM: Region-of-Interest Medical Attention Model for Efficient Vision-Language Understanding

Resumo Técnico: RoiMAM – Modelo de Atenção Médica de Região de Interesse

Declaração do Problema
Os Modelos Visão-Linguagem (VLMs) avançaram a Resposta a Perguntas Visuais Médicas (MedVQA) ao permitir a interpretação conjunta de imagens clínicas e texto. No entanto, as soluções existentes enfrentam duas limitações primárias que impedem sua aplicabilidade clínica:

1. Ineficiência Computacional: A maioria dos VLMs mais avançados depende de arquiteturas grandes (frequentemente excedendo 7–8 bilhões de parâmetros) e sobrecarga computacional pesada, tornando-os difíceis de escalar ou implantar em ambientes com recursos limitados.
2. Dependências de Treinamento e Dados: As abordagens atuais para guiar os modelos em direção a regiões relevantes de lesões frequentemente dependem de modelos supervisionados de detecção ou segmentação (por exemplo, Grounding DINO). Estes exigem conjuntos de dados anotados em grande escala e caros, com máscaras de verdade fundamental, que são escassos no domínio médico. Além disso, muitos sistemas limitam-se a respostas de conjunto fechado, falhando em corresponder à natureza aberta das consultas clínicas.

Metodologia
Os autores propõem o RoiMAM, um VLM ultra-leve (1,7 bilhão de parâmetros) projetado para alcançar alta precisão com custo computacional mínimo. O framework processa três fluxos de entrada: uma imagem ($I$), uma pergunta ($T$) e um prompt de modalidade ($L$). A arquitetura integra dois módulos inovadores e livres de parâmetros para aprimorar o desempenho sem aumentar o tamanho do modelo:

1. Refinador de Prompt de Texto (TPE):

   • Propósito: Compensar a capacidade de raciocínio limitada de modelos menores enriquecendo prompts de entrada com contexto semântico de alto nível.
   • Mecanismo: Construído sobre um modelo CLIP pré-treinado (compartilhando o codificador de visão com o VLM principal) e um único modelo BERT. Ele aproveita a classificação zero-shot do CLIP para identificar a modalidade da imagem (por exemplo, TC, Ressonância Magnética, Raio-X). Essa classificação é convertida em um embedding de texto ($M$) usando uma métrica de similaridade contra uma lista de modalidades possíveis. Esse prompt aprimorado guia o Modelo de Linguagem de Grande Escala (LLM) a fornecer respostas conscientes do contexto.

2. Módulo de Geração de ROI (RGMo) com Supressão Seletiva Semântica (S3):

   • Propósito: Focar a atenção visual em regiões relevantes para lesões sem exigir treinamento supervisionado ou parâmetros adicionais.
   • Mecanismo:
     • Utiliza um Gargalo de Informação Multimodal (MI) para gerar um mapa de saliência inicial ($SA_{ori}$) a partir da imagem e do texto.
     • Para refinar isso, emprega um LLM baseado em KeyBERT para extrair palavras-chave da pergunta, derivando um texto de "fundo" ($T_{back}$) subtraindo essas palavras-chave. Um mapa de saliência secundário ($SA_{back}$) é gerado a partir desse texto de fundo.
     • Mecanismo S3: Em vez de uma simples subtração, o modelo aplica uma estratégia de Supressão Seletiva Semântica. Ele aprimora ou suprime seletivamente a atenção visual com base na relevância semântica: se o valor do mapa de saliência de fundo estiver abaixo de um limiar $\delta$, a diferença é usada diretamente; se estiver acima, a diferença é amplificada por um fator $\varepsilon$. Isso afina a atenção em regiões relevantes ao texto, suprimindo pontos fixos ou áreas irrelevantes.
     • O mapa de saliência resultante é processado via OpenCV para extrair Regiões de Interesse (ROIs), que são destacadas e alimentadas no codificador de visão.

O motor de raciocínio central é um LLM Pequeno (Qwen2-1.5B), que integra os embeddings de imagem, embeddings de ROI e embeddings de texto aprimorados para gerar respostas textuais precisas.

Principais Contribuições

• Framework Eficiente: Introdução do RoiMAM, que integra RGMo e TPE para aprimorar o desempenho da MedVQA, reduzindo os parâmetros em aproximadamente 80% em comparação com modelos líderes.
• Localização de ROI Livre de Treinamento: Um módulo RGMo inovador que usa o mecanismo S3 para minimizar a atenção visual irrelevante e permitir a localização precisa de lesões sem pré-treinamento ou máscaras anotadas.
• Enriquecimento de Contexto Livre de Parâmetros: O módulo TPE aproveita codificadores de visão existentes para enriquecer o contexto de texto e melhorar a robustez cruzada de modalidades sem adicionar parâmetros treináveis.
• Escalabilidade: O modelo alcança resultados no estado da arte ou próximos ao estado da arte em conjuntos de dados de código aberto, mantendo uma contagem de parâmetros (1,7B) que é aproximadamente 20% da de concorrentes maiores, abordando privacidade de dados e restrições computacionais.

Resultados Experimentais
O modelo foi avaliado em três benchmarks: VQA-RAD, SLAKE e PMC-VQA.

• Desempenho: O RoiMAM alcançou uma precisão de 88,2% na avaliação de conjunto fechado do SLAKE (superando MedVInT-TD e FAVP) e 44,9% no PMC-VQA (superando LLaVA-Med em >2%, apesar de usar apenas ~25% dos parâmetros).
• Eficiência: Com apenas 1,7 bilhão de parâmetros, o RoiMAM superou ou igualou modelos com 5 a 8 vezes sua contagem de parâmetros (por exemplo, MedVInT-TD com 8,6B).
• Estudo de Ablação: A remoção do módulo RGMo causou uma queda de 7,9% na precisão no PMC-VQA, enquanto a remoção do TPE causou uma queda de 4,9%, confirmando que ambos os módulos são críticos, sendo a geração de ROI a que fornece o impacto mais significativo.

Significado e Alegações
O artigo afirma que o RoiMAM conecta com sucesso a lacuna entre a IA médica de alto desempenho e a implantação prática. Ao eliminar a necessidade de treinamento supervisionado caro para localização de regiões e reduzir drasticamente o tamanho do modelo, os autores argumentam que sua abordagem torna a MedVQA avançada viável para implantação em borda e ambientes com recursos computacionais limitados. O modelo demonstra que arquiteturas eficientes e leves podem alcançar precisão competitiva em tarefas de diagnóstico médico, oferecendo uma alternativa viável aos VLMs pesados e intensivos em recursos.