Resumo Técnico: Rad-VLSM

Declaração do Problema

A segmentação de imagens médicas é clinicamente mais valiosa quando apoia diretamente o diagnóstico, em vez de meramente produzir máscaras de lesões. No entanto, os modelos existentes enfrentam desafios significativos em fluxos de trabalho clínicos reais, particularmente na imagem por ultrassom. As lesões são frequentemente sutis, localizadas e acompanhadas por fronteiras fracas, baixo contraste e artefatos acústicos (por exemplo, ruído de granulação, sombras). Consequentemente, modelos que dependem de representações globais em nível de imagem frequentemente se distraem com tecidos de fundo, levando à diluição de pistas discriminativas específicas da lesão.

Além disso, embora modelos de segmentação acionáveis por prompts, como o SAM (Segment Anything Model), ofereçam promessas, sua eficácia depende fortemente da qualidade dos prompts de entrada. Prompts manuais são custosos, e prompts gerados automaticamente podem ser instáveis em fundos complexos. Adicionalmente, simplesmente injetar descrições textuais semânticas diretamente em classificadores diagnósticos pode levar a "aprendizado de atalho", onde o modelo depende de correlações textuais em vez de evidências visuais fundamentadas da morfologia e textura da lesão. Há necessidade de um framework unificado que conecte a localização da lesão, a segmentação e o diagnóstico, garantindo que o diagnóstico final seja fundamentado em evidências espaciais e radiômicas, e não em texto bruto.

Metodologia: Rad-VLSM

Os autores propõem o Rad-VLSM, um framework cruzado de duas etapas projetado para foco de lesão assistido por semântica, segmentação robusta e diagnóstico fundamentado visualmente.

Etapa I: Localização de Lesão Guiada por Linguagem e Geração Automatizada de Prompts

Esta etapa utiliza um módulo de alinhamento visão-linguagem baseado em BLIP-2 para gerar automaticamente prompts candidatos de caixa delimitadora sem anotação manual no momento da inferência.

• Estratégia de Prompt Assimétrica: Durante o treinamento, o modelo usa descrições morfológicas detalhadas do BI-RADS (por exemplo, forma, margem) para alinhar padrões visuais com texto. Durante a inferência, um único prompt fixo (por exemplo, "US Mamária: região de lesão anormal") é usado universalmente. Isso impede que o modelo dependa de atalhos linguísticos específicos de classe e força-o a fundamentar as previsões em evidências visuais.
• CAM Multi-Threshold: O modelo gera mapas de calor de probabilidade via Mapeamento de Ativação de Classe (CAM) a partir de características visuais alinhadas ao texto. Caixas delimitadoras candidatas são extraídas através de múltiplos limiares, classificadas por confiança e desduplicadas via Interseção sobre União (IoU).
• Agregação de Região Multi-Candidato (MCRA): Para abordar a instabilidade de prompts de caixa única, os autores introduzem uma estratégia de agregação em três etapas:
  1. Fusão Suave Ponderada (V1): Normaliza as pontuações de resposta do CAM para fundir máscaras, logits e embeddings de múltiplos candidatos.
  2. Filtragem Guiada por Semântica (V2): Usa similaridade de cosseno entre embeddings de região local e características textuais globais para reclassificar candidatos, suprimindo artefatos (como sombras acústicas) que carecem de alinhamento semântico.
  3. Consistência de Auto-Distilação (V3): Um mecanismo de regularização onde candidatos de alta confiança atuam como um "professor" para guiar e corrigir previsões de "aluno" de baixa confiança, estabilizando o treinamento contra prompts ruidosos.

Etapa II: Segmentação e Classificação Multi-Tarefa Baseada em SAM

Os prompts refinados da Etapa I são alimentados em uma rede multi-tarefa baseada em SAM.

• Segmentação: Os codificadores de imagem e prompt do SAM colaboram para produzir máscaras de lesão precisas.
• Fusão Visão-Radiômica para Diagnóstico: Em vez de tratar o diagnóstico como uma tarefa isolada, o framework usa as máscaras previstas como priores espaciais.
  • Agregação de Características Multi-Escala: Um mecanismo Squeeze-and-Excitation (SE) e Pooling Piramidal Espacial Atrous Adaptativo (ASPP) capturam contextos geométricos diversos.
  • Classificador Multi-Pooling: Uma estratégia de pooling especializada extrai características do núcleo da lesão, do entorno da caixa delimitadora e do contexto global, que são concatenadas para classificação.
  • Fusão de Decisão de Dupla Ramificação: Para aumentar a interpretabilidade, uma Cabeça Radiômica paralela extrai mais de 500 características radiômicas (morfológicas, de primeira ordem e de textura). Uma estratégia de seleção em cascata (mRMR e LASSO) reduz essas para 63 características discriminativas. O diagnóstico final é uma fusão sinérgica da saída de classificação visual profunda e da saída radiômica explícita.

Contribuições Principais

1. Framework Rad-VLSM: Um framework visão-linguagem assistido por semântica que aproveita o BLIP-2 para localização automática de lesões e geração de prompts de caixa, eliminando a necessidade de anotação manual de prompts durante a inferência.
2. Estratégia MCRA: Um mecanismo inovador de agregação de região multi-candidato que melhora a estabilidade da evidência da lesão sob variação de prompts e erros de localização grosseira, aumentando a robustez do diagnóstico unificado.
3. Diagnóstico Fundamentado na Lesão: Um esquema que integra representações visuais implícitas com características radiômicas explícitas. Ao usar priores semânticos apenas para localização e manter o diagnóstico final centrado em evidências visuais e radiômicas em nível de lesão, o modelo evita o aprendizado de atalho semântico.
4. Avaliação Abrangente: Avaliação rigorosa em um conjunto de dados privado de ultrassom mamário clínico e em múltiplos benchmarks públicos (ISIC, BUSI, Pólipo Colorretal, Tumor Cerebral em RM), demonstrando forte generalização.

Resultados Experimentais

O framework foi avaliado em um conjunto de dados privado de 559 imagens de ultrassom mamário (Câncer vs. Adenose Esclerosante) e vários benchmarks públicos.

• Desempenho de Segmentação: No conjunto de dados clínico de ultrassom mamário, o Rad-VLSM alcançou um mDSC de 0,9217 e um mIoU de 0,8579, superando baselines state-of-the-art como MedCLIP-SAMv2 (mDSC 0,8865) e BoxShrink (mDSC 0,8735). Também alcançou desempenho superior no ISIC 2018 (mDSC 0,9331) e em conjuntos de dados de Tumor Cerebral em RM.
• Desempenho Diagnóstico: Na classificação binária no conjunto de dados de ultrassom mamário, o Rad-VLSM alcançou 94,07% de Acurácia e 97,55% de AUC, superando significativamente a baseline mais forte (MIAFEx) em 11,77% na acurácia e 9,73% na AUC. Mantive um perfil equilibrado com 98,41% de Sensibilidade e 89,09% de Especificidade.
• Estudos de Ablação:
  • A remoção da ramificação radiômica reduziu a sensibilidade de 98,41% para 88,89%, destacando seu papel na mitigação de falsos negativos.
  • A estratégia MCRA (V1+V2+V3) mostrou-se superior ao uso de um único prompt ou caixas de verdade absoluta para diagnóstico downstream, pois preserva o contexto perilesional crítico.
  • O framework demonstrou robustez a prompts semânticos aleatórios ou incompatíveis, confirmando que o diagnóstico depende de evidências visuais/radiômicas e não de condicionamento direto de texto.
• Interpretabilidade: A análise SHAP revelou que características radiômicas baseadas em textura (por exemplo, wavelet-H glcm Idmn) foram os principais impulsionadores das previsões malignas. A análise de correlação cruzada mostrou que as características visuais profundas e as características radiômicas são complementares, e não redundantes.

Significado

O artigo afirma que o Rad-VLSM aborda a lacuna crítica entre segmentação isolada e diagnóstico confiável em imagem médica. Ao estabelecer um pipeline orientado por evidências, o framework acopla com sucesso segmentação e diagnóstico através de evidências fundamentadas na lesão. Reduz a dependência de anotação manual de prompts, mitiga o impacto da geração imperfeita de prompts através da estratégia MCRA e melhora a caracterização detalhada de lesões ao fundir aprendizado profundo com radiômica. Os autores afirmam que essa abordagem fornece uma alternativa mais transparente e clinicamente significativa aos métodos existentes de múltiplas etapas ou backbone compartilhado, oferecendo uma solução unificada que é altamente precisa e interpretável.