A Multimodal AI Framework for Pulmonary Embolism Detection, Segmentation, and Patient Risk Assessment

Resumo Técnico: Uma Estrutura de IA Multimodal para Detecção, Segmentação e Avaliação de Risco de Pacientes com Embolia Pulmonar

Definição do Problema
A Embolia Pulmonar (EP) é uma condição cardiovascular crítica que exige diagnóstico rápido e avaliação de risco precisa para reduzir a mortalidade. Embora a Angiotomografia Computadorizada de Artérias Pulmonares (ACAP) seja a ferramenta diagnóstica padrão, as abordagens atuais de IA focam amplamente em apenas um aspecto: ou detectam a EP ou segmentam coágulos de imagens médicas. Essas soluções existentes frequentemente falham ao não incorporar dados fisiológicos e clínicos específicos do paciente, que são essenciais para determinar a gravidade da doença, as vias de tratamento e a previsão de complicações futuras. Consequentemente, existe uma lacuna nas metodologias que integram a análise visual com dados fisiológicos longitudinais para fornecer uma ferramenta diagnóstica e prognóstica abrangente.

Metodologia
Os autores propõem uma estrutura de Inteligência Artificial multimodal que integra três módulos distintos para abordar detecção, segmentação e avaliação de risco simultaneamente. A arquitetura do sistema combina capacidades de processamento de imagem com análise de dados clínicos:

1. Módulo de Imagem (Detecção e Segmentação de Coágulos):

   • Fonte de Dados: Imagens de ACAP do conjunto de dados FUMPE (formato DICOM) com máscaras de coágulo correspondentes (formato MATLAB).
   • Pré-processamento: As imagens passam por normalização Min-Max e são convertidas para o formato pseudo-RGB (três canais) para adequação à entrada do modelo.
   • Arquitetura: Um modelo Mask R-CNN customizado é empregado. Ele utiliza um backbone ResNet-50 para extração de características, seguido por camadas de Rede de Pirâmide de Características (FPN) para aprendizado multiescala, uma Rede de Proposta de Região (RPN) para localização e ROI Align para extração precisa de características. Duas cabeças lidam com as tarefas de detecção e segmentação.
   • Treinamento: O modelo foi treinado por 20 épocas usando o otimizador Adam.

2. Módulo de Predição de Futura EP:

   • Fonte de Dados: Dados de séries temporais fisiológicas do Conjunto de Dados do Desafio PhysioNet (registros de UTI de 48 horas incluindo frequência cardíaca, saturação de oxigênio, pressão arterial, frequência respiratória e temperatura).
   • Pré-processamento: Dados ausentes são imputados usando valores médios e os dados são padronizados.
   • Arquitetura: Uma rede neural híbrida LSTM-GRU. A camada de Long Short-Term Memory (LSTM) captura tendências fisiológicas de longo prazo, enquanto a camada de Gated Recurrent Unit (GRU) aprende variações de curto prazo. Esta combinação visa modelar dependências temporais complexas indicativas de ocorrência futura de EP.

3. Módulo de Avaliação de Risco de Deterioração:

   • Engenharia de Atributos (Feature Engineering): Características estatísticas (média, máximo, mínimo, desvio padrão e quartis) são extraídas dos dados de séries temporais fisiológicas para criar um vetor de atributos que representa o estado do paciente.
   • Arquitetura: Uma Rede Neural Artificial (ANN) com camadas totalmente conectadas, ativação ReLU e regularização de dropout. Este módulo aprende correlações não lineares entre variáveis clínicas para prever a probabilidade de deterioração clínica.

4. Fusão Multimodal:

   • As saídas do Mask R-CNN (status/segmentação do coágulo), LSTM-GRU (risco de futura EP) e ANN (risco de deterioração) são fundidas para gerar um relatório de avaliação abrangente do paciente.

Principais Resultados
A estrutura foi avaliada utilizando bibliotecas de aprendizado profundo baseadas em Python (PyTorch, TensorFlow, Keras) na arquitetura de GPU do Google Colab.

• Desempenho de Segmentação: O Mask R-CNN customizado alcançou um Índice Dice de 0,88 e uma Interseção sobre União (IoU) de 0,77, indicando forte similaridade entre as regiões de coágulo previstas e as reais (ground-truth).
• Desempenho de Predição: O modelo híbrido LSTM-GRU demonstrou uma acurácia de 86,50% na predição de ocorrências futuras de EP baseadas em sinais fisiológicos.
• Acurácia Geral do Sistema: A estrutura de fusão multimodal alcançou uma acurácia geral do sistema de 91,81% para tarefas de predição futura. Isso representa uma melhoria significativa em relação a um sistema pré-treinado de base, que alcançou 82,20% de acurácia.
• Saída Qualitativa: Um painel de visualização foi desenvolvido para exibir a localização do coágulo, severidade (ex: 0,11% de severidade em um caso de amostra), risco de futura EP (ex: 9,84%) e risco de deterioração (ex: 21,55%).

Significância e Alegações
O artigo alega que a principal significância deste trabalho reside em sua abordagem multimodal, que vai além das limitações da análise baseada apenas em imagens. Ao integrar a imagem de ACAP com dados de séries temporais fisiológicas de UTI, a estrutura oferece uma visão mais holística do paciente.

• Avaliação Abrangente: Diferente das ferramentas tradicionais que apenas identificam a presença de um coágulo, este sistema fornece segmentação de coágulo, estima a severidade do coágulo, prevê a probabilidade de eventos futuros de EP e avalia o risco de deterioração clínica.
• Utilidade Clínica: Os autores postulam que o sistema serve como uma ferramenta de suporte à decisão assistida por IA, oferecendo um relatório automatizado e unificado que pode auxiliar radiologistas e clínicos no desenvolvimento de estratégias de tratamento apropriadas e planos de gestão de risco.
• Validação de Desempenho: O estudo afirma que o treinamento customizado em dados específicos do domínio e a integração de diversas modalidades de dados são responsáveis pelas melhorias de acurácia observadas em relação aos modelos de base.

Limitações e Trabalho Futuro
Os autores reconhecem que, embora os resultados sejam encorajadores, a estrutura requer validação em bancos de dados multicêntricos maiores para garantir a generalizabilidade. O trabalho futuro visa incorporar parâmetros clínicos adicionais e dados de múltiplos centros para aumentar ainda mais o desempenho do modelo.