Resumo Técnico: Fusão Multimodal de Imagens de Histopatologia e Registros Eletrônicos de Saúde para Diagnóstico Precoce de Câncer de Mama

1. Problema e Motivação

O câncer de mama é uma das principais causas de mortalidade por câncer no mundo. O diagnóstico precoce e preciso é crucial para a sobrevivência, mas permanece desafiador.

• Limitações Atuais: A maioria dos trabalhos de inteligência artificial trata as duas fontes de dados principais de forma isolada:
  1. Imagens de Histopatologia: Redes Neurais Convolucionais (CNNs) analisam lâminas de tecido (H&E) para identificar características celulares (núcleos tumorais, mitose), mas sofrem com variabilidade interobservador e falta de contexto clínico.
  2. Registros Eletrônicos de Saúde (EHR): Modelos de aprendizado de máquina analisam dados estruturados (demografia, comorbidades, laboratório), mas ignoram a evidência visual direta do tecido.
• Desafio Técnico: Integrar essas modalidades é complexo devido à disparidade de dados: imagens de alta resolução (requerendo extração de patches e milhões de exemplos) versus dados tabulares esparsos, heterogêneos e com valores ausentes.

2. Metodologia

O estudo propõe um framework sistemático de fusão intermediária (intermediate fusion) que integra características de imagens de histopatologia com dados clínicos estruturados.

2.1. Dados

• Imagens (BreCaHAD): Dataset de histopatologia de câncer de mama com anotações de nível de ponto (dot-level) por especialistas. O pipeline extraiu patches de 64x64 pixels centrados em núcleos celulares, classificando-os em três categorias: núcleos tumorais, núcleos não tumorais e mitose.
• Dados Clínicos (MIMIC-IV): Registros de pacientes de UTI com diagnósticos de câncer de mama. O pré-processamento envolveu imputação de valores ausentes, codificação one-hot para variáveis categóricas e padronização de variáveis contínuas.

2.2. Arquiteturas de Modelos

O estudo treinou e avaliou três tipos de modelos:

1. Modelos Unimodais de Imagem:
   • CNN Simples: Uma CNN de três blocos treinada do zero.
   • ResNet-18: Modelo pré-treinado no ImageNet, ajustado (fine-tuned) para classificação de três classes.
2. Modelos Unimodais Tabulares:
   • MLP (Perceptron Multicamada): Rede feed-forward compacta.
   • XGBoost: Método de gradient boosting que demonstrou superioridade em dados tabulares.
3. Modelo de Fusão Multimodal (Intermediária):
   • Ramo de Imagem: ResNet-18 extrai um vetor de embeddings de 512 dimensões (camada penúltima).
   • Ramo Tabular: MLP extrai um vetor de embeddings de 128 dimensões.
   • Fusão: Os vetores são concatenados (totalizando 640 dimensões) e passados por camadas totalmente conectadas para classificação final.

2.3. Interpretabilidade

Para garantir transparência clínica, foram utilizados:

• Grad-CAM: Para visualizar quais regiões da imagem (núcleos) influenciaram a decisão do modelo de imagem.
• SHAP (SHapley Additive exPlanations): Para atribuir importância às variáveis clínicas nos modelos tabulares e de fusão.

3. Resultados Principais

3.1. Desempenho Unimodal

• Imagem: O ResNet-18 alcançou desempenho quase perfeito, com Acurácia de 1.000 e AUC de 1.000 na classificação de patches. No entanto, ao analisar classes individuais, a classe de mitose (crítica e desbalanceada) apresentou um AUC menor (0.927) em comparação às classes majoritárias, indicando uma dificuldade residual na distinção de figuras mitóticas apenas por imagem.
• Tabular: O XGBoost superou o MLP, alcançando 98% de acurácia e AUC de 0.94 na predição baseada em EHR.

3.2. Desempenho do Modelo de Fusão

O modelo de fusão intermediária superou todos os baselines unimodais:

• AUC Macro-média: 0.997.
• Melhoria na Classe Crítica (Mitose): O AUC para a classe de mitose saltou de 0.927 (apenas imagem) para 0.994 (fusão). Isso representa um ganho de 6,7 pontos percentuais na classe mais desafiadora e clinicamente vital.
• Análise de Erros: A fusão reduziu a confusão entre "mitose" e "núcleos tumorais", sugerindo que o contexto clínico (EHR) ajudou a desambiguar casos onde a evidência visual era insuficiente.

3.3. Interpretabilidade

• Os mapas de calor Grad-CAM confirmaram que o modelo focava corretamente nas estruturas nucleares relevantes.
• As análises SHAP validaram que o modelo aprendeu relações clinicamente plausíveis, onde idade, carga de comorbidades e biomarcadores laboratoriais foram os principais preditores, alinhando-se ao conhecimento oncológico estabelecido.

4. Contribuições Chave

1. Framework de Fusão Intermediária: Demonstração de que concatenar representações latentes de imagem e dados tabulares é superior à fusão tardia ou unimodal para dados clínicos heterogêneos.
2. Superação de Limitações de Classes Minoritárias: Evidência de que a fusão multimodal traz os maiores ganhos de desempenho especificamente em classes desbalanceadas e diagnosticamente difíceis (como a mitose), onde modelos de imagem pura atingem um "teto" de desempenho.
3. Transparência Clínica: Integração de Grad-CAM e SHAP para fornecer explicações modais específicas que refletem o raciocínio integrativo de clínicos experientes.
4. Anotação de Nível Fino: Uso de anotações de nível de ponto (célula a célula) para treinamento supervisionado, permitindo representações biologicamente fundamentadas.

5. Significado e Limitações

• Significado: O trabalho demonstra que a integração de dados visuais e clínicos não apenas melhora a precisão preditiva, mas aumenta a confiança clínica ao alinhar as decisões do modelo com critérios patológicos e históricos do paciente. Sugere que métricas de avaliação em IA para saúde devem priorizar o recall de classes minoritárias em vez de apenas a acurácia global.
• Limitações:
  • Ajuste de Dados: Os datasets (BreCaHAD e MIMIC-IV) não estão pareados no nível do paciente; a fusão foi simulada como uma "aumentação contextual" em vez de dados reais pareados.
  • Generalização: Os dados vêm de instituições únicas (uma para patologia, uma para EHR), limitando a diversidade de protocolos de coloração e demografia.
  • Contexto Espacial: O uso de patches de 64x64 pode limitar a visão de contexto global do tecido, embora tenha sido suficiente para a maioria das tarefas.

Em conclusão, o estudo valida que a fusão multimodal é uma estratégia essencial para sistemas de suporte à decisão clínica robustos, especialmente para diagnósticos complexos onde a evidência visual e o contexto do paciente são complementares.