Bridging visual saliency and large language models for explainable deep learning in medical imaging

Resumo Técnico: Integrando Saliência Visual e Modelos de Linguagem de Grande Escala para Aprendizado Profundo Explicável em Imagens Médicas

Declaração do Problema
A adoção clínica de modelos de aprendizado profundo (DL) em imagens médicas é impedida por sua natureza "opaca". Embora as Redes Neurais Convolucionais (CNNs) demonstrem alta precisão em tarefas como classificação de tumores cerebrais, elas carecem de transparência, falhando em fornecer a justificativa e a interpretabilidade exigidas pelos profissionais de saúde. Técnicas existentes de explicabilidade, como mapas de saliência visual (por exemplo, Grad-CAM), oferecem localização espacial, mas sofrem de limitações significativas: frequentemente são grosseiras, carecem de fundamentação semântica e não articulam características radiológicas específicas ou contextos anatômicos. Além disso, explicações puramente visuais não fecham a lacuna para raciocínio clínico acionável ou relatórios narrativos.

Metodologia
Os autores propõem uma nova estrutura de explicabilidade multimodal em três estágios que integra saliência visual computacional, contextualização anatômica consciente do domínio e geração de linguagem natural. O pipeline opera da seguinte forma:

1. Treinamento de CNN Híbrida com Dupla Saída:

   • Nove arquiteturas CNN estabelecidas (incluindo variantes de DenseNet, VGG, ResNet, Inception e EfficientNet) foram estendidas com uma formulação de dupla saída.
   • Cada modelo compartilha um codificador que alimenta duas cabeças independentes: uma cabeça de classificação (softmax sobre três classes de tumor: Glioma, Meningioma, Pituitária) e uma cabeça de segmentação (produzindo um mapa de probabilidade espacial).
   • O treinamento utiliza uma função de perda combinada: entropia cruzada categórica para classificação e perda de Coeficiente de Similaridade de Dice (DSC) para segmentação. Essa otimização conjunta fortalece as representações de características, ancorando o pipeline subsequente de explicabilidade.
   • O conjunto de dados consiste em 4.834 imagens de ressonância magnética (MRI) ponderadas em T1 com contraste.

2. Saliência Visual e Segmentação Adaptativa:

   • Para garantir a interpretabilidade, os cálculos de saliência (Grad-CAM, Grad-CAM++ e ScoreCAM) são roteados explicitamente apenas através da cabeça de classificação, prevenindo a contaminação de gradientes a partir do ramo de segmentação.
   • Os mapas de calor grosseiros resultantes são refinados em máscaras binárias precisas de tumor por meio de um pipeline de limiarização percentil adaptativo. Diferentemente de limiares fixos, o percentil ótimo ($\alpha^*$) é determinado por amostra, maximizando o DSC contra a verdade fundamental dentro de uma faixa de busca de [70, 97].
   • O pós-processamento inclui a remoção de componentes conectados pequenos (<50 pixels) e fechamento morfológico para garantir regiões de tumor coerentes.

3. Mapeamento Anatômico e Geração Narrativa:

   • As máscaras binárias são sobrepostas ao atlas cortical Harvard–Oxford. Esta etapa traduz coordenadas em nível de pixel em estruturas neuroanatômicas nomeadas (por exemplo, "Córtex Insular", "Giros Cingulados") e calcula a porcentagem de sobreposição do tumor dentro de cada região.
   • Essas descobertas são codificadas em um arquivo JSON estruturado contendo a classe prevista, confiança, método de saliência e detalhes anatômicos.
   • Três Modelos de Linguagem de Grande Escala (LLMs) — Grok3, Mistral e LLaMA — são condicionados a este JSON estruturado para gerar relatórios diagnósticos coerentes, no estilo radiológico. A entrada estruturada é projetada para minimizar alucinações e garantir consistência factual.

Principais Contribuições

• Estrutura Multimodal Unificada: O artigo apresenta um pipeline que acopla estreitamente classificação, segmentação derivada de saliência, mapeamento anatômico e geração de linguagem natural, indo além de explicações visuais isoladas.
• Segmentação Derivada de Saliência: Os autores propõem o uso de mapas de calor de saliência como guias de atenção para segmentação, sem exigir dados de treinamento de segmentação anotados adicionais. Isso oferece uma alternativa computacionalmente leve e inerentemente explicável às redes de segmentação dedicadas (como UNet) em cenários onde máscaras rotuladas são escassas.
• Contextualização Anatômica: Ao mapear as saídas de segmentação para o atlas Harvard–Oxford, a estrutura fornece explicações causalmente ligadas e conscientes do domínio que se alinham ao raciocínio clínico, traduzindo dados brutos de pixels em rótulos clinicamente significativos.
• Relatórios Acionados por LLM: O sistema demonstra a viabilidade de usar LLMs para sintetizar características quantitativas de imagem e dados anatômicos em narrativas médicas profissionais, avaliadas quanto à diversidade lexical, legibilidade e coerência.

Resultados

• Desempenho de Classificação: Entre as nove arquiteturas testadas, a InceptionResNetV2 alcançou o melhor desempenho, com uma precisão de 0,96 e precisão, recall e escores F1 equilibrados de 0,95 em todas as três classes de tumor.
• Qualidade de Segmentação: O Grad-CAM++ produziu a melhor sobreposição de segmentação, alcançando um DSC médio de 0,384 e IoU de 0,259, superando o Grad-CAM e o ScoreCAM. Isso é atribuído ao seu esquema de ponderação por neurônio, que reduz a ativação difusa do fundo.
• Avaliação do Modelo de Linguagem:
  • O Grok3 demonstrou a maior diversidade lexical (TTR: 0,467) e coerência.
  • O LLaMA alcançou a maior pontuação de legibilidade (Facilidade de Leitura Flesch: 18,85).
  • Todos os modelos geraram com sucesso relatórios que integraram o tipo de tumor, envolvimento anatômico e potenciais impactos clínicos.

Significado e Alegações
O artigo afirma que, ao integrar modalidades visuais, anatômicas e linguísticas, a estrutura proposta produz explicações que são tanto tecnicamente fundamentadas quanto significativamente interpretáveis. Os autores afirmam que essa abordagem avança a transparência e a responsabilidade clínica do diagnóstico de tumores cerebrais assistido por IA. Ao alinhar as saídas do modelo com os fluxos de trabalho cognitivos e as expectativas informacionais dos profissionais de saúde, a estrutura visa fomentar maior confiança e facilitar uma integração mais suave nos caminhos diagnósticos clínicos. O trabalho enfatiza que a segmentação baseada em saliência, embora potencialmente menos precisa do que modelos de segmentação dedicados treinados em máscaras, oferece vantagens distintas em eficiência de anotação e interpretabilidade, tornando-se uma alternativa prática para ambientes clinicamente restritos.