Multi-Plane Vision Transformer for Hemorrhage Classification Using Axial and Sagittal MRI Data

Resumo Técnico: Vision Transformer Multi-Plano para Classificação de Hemorragia

Enunciado do Problema
A identificação de hemorragia intracraniana (HIC) por meio de Ressonância Magnética (RM) é crítica para o diagnóstico, particularmente para distinguir condições agudas de crônicas e evitar a exposição à radiação ionizante associada à Tomografia Computadorizada (TC). No entanto, as aquisições clínicas de RM frequentemente apresentam desafios significativos para modelos de aprendizado profundo:

1. Dados Anisotrópicos e Multi-Plano: Para acelerar a imagem, as varreduras são frequentemente adquiridas com fatias espessas, resultando em volumes anisotrópicos. Os clínicos utilizam frequentemente múltiplos planos (axial, sagital, coronal) para visualizar estruturas anatômicas de forma abrangente, pois certas hemorragias são mais visíveis em orientações específicas.
2. Perda de Informação na Remostragem: Abordagens tradicionais de aprendizado profundo (CNNs e Vision Transformers padrão) geralmente exigem que as imagens de entrada sejam remostradas para um plano isotrópico fixo (por exemplo, converter sagital para axial). Este processo envolve extensa subamostragem ou superamostragem, levando a uma perda significativa de informação e a potenciais artefatos de interpolação.
3. Modalidades Inconsistentes: Conjuntos de dados clínicos do mundo real frequentemente sofrem com informações de contraste ausentes (por exemplo, um paciente pode ter FLAIR T2 axial, mas carecer de T1 sagital), com as quais os modelos padrão lutam para lidar sem degradação de desempenho.

Metodologia
Os autores propõem o Vision Transformer Multi-Plano (MP-ViT), uma arquitetura inovadora projetada para processar dados de RM axial e sagital simultaneamente, sem remostragem ou alteração das orientações da imagem. A arquitetura é construída sobre o framework Vision Transformer (ViT) e consiste em quatro módulos principais:

1. Codificadores de Dupla Ramificação: O modelo emprega dois codificadores de transformador separados: um dedicado a entradas axiais e outro a entradas sagitais.

   • As imagens de entrada são redimensionadas para dimensões anisotrópicas fixas (por exemplo, $256 \times 256 \times 32$ para axial e $256 \times 32 \times 256$ para sagital), em vez de serem forçadas a uma grade isotrópica comum.
   • As imagens são divididas em patches 3D não sobrepostos ($16 \times 16 \times 16$), tokenizados e processados por seus respectivos codificadores.
   • Este design trata imagens axiais e sagitais como modalidades distintas, preservando a resolução nativa e as relações espaciais de cada plano.

2. Fusão por Atenção Cruzada: Para integrar informações entre as duas ramificações, o modelo utiliza um mecanismo de atenção cruzada. Especificamente, o token de Classificação (CLS) do codificador axial atende aos tokens de patch do codificador sagital (e vice-versa). Isso permite que o modelo troque informações abstratas entre os planos de forma mais eficiente do que a fusão de atenção total padrão.

3. Vetor de Indicação de Modalidade: Para abordar a questão dos contrastes ausentes (por exemplo, T1 sagital ausente ou sequências axiais específicas), os autores introduzem um vetor de indicação de modalidade.

   • Este é um vetor binário representando a presença (1) ou ausência (0) de contrastes específicos disponíveis para cada ramificação.
   • Uma Rede Perceptron Multicamada (MLP) incorpora este vetor em vetores de consulta, que então realizam atenção cruzada com a saída do transformador. Isso guia o modelo a compensar dados ausentes, aumentando a robustez em ambientes clínicos heterogêneos.

4. Cabeças de Classificação: A saída final é derivada da média de duas cabeças de classificação, uma para cada ramificação, fornecendo a classificação final de hemorragia.

Principais Contribuições

• Processamento Agnóstico à Orientação: O MP-ViT elimina a necessidade de remostragem de imagens anisotrópicas para um plano fixo, prevenindo assim a perda de informação e a distorção associadas a métodos de interpolação tradicionais.
• Integração Multi-Plano: Ao utilizar atenção cruzada entre codificadores axiais e sagitais separados, o modelo funde efetivamente informações multi-planares sem restrições arquitetônicas que forcem uma única orientação.
• Robustez a Dados Ausentes: A introdução do vetor de indicação de modalidade permite que o modelo se adapte a dados de entrada incompletos (contrastes ausentes) sem exigir imputação ou aumento de dados, um desafio comum em conjuntos de dados clínicos retrospectivos.

Resultados Experimentais
O modelo foi avaliado em um conjunto de dados clínico do mundo real composto por 10.084 sujeitos de treinamento, 1.289 de validação e 1.496 de teste de três fabricantes de scanners (GE, Philips, Siemens). O conjunto de dados incluiu vários contrastes (FLAIR, ADC, Trace, GRE, SWI, T2w e T1w sagital).

• Desempenho: A variante MP-ViT-base alcançou uma Área sob a Curva (AUC) de 0,854.
• Comparações: Este resultado superou:
  • Vision Transformer Padrão (ViT-base) em 5,5% (AUC 0,799).
  • ResNet152 em 3,7% (AUC 0,817).
  • DenseNet201 em 1,8% (AUC 0,836).
  • Outras abordagens baseadas em transformadores (Transformador Multi-estágio e classificador de HIC de Adel et al.) em 4,6% e 3,2%, respectivamente.
• Significância Estatística: Os testes de McNemar confirmaram que as melhorias do MP-ViT sobre ViT, ResNet, DenseNet e outras bases de transformadores foram estatisticamente significativas ($p < 0,05$).
• Estudo de Ablação: A remoção do vetor de indicação de modalidade resultou em uma queda de desempenho (AUC 0,842 vs. 0,854), confirmando o papel do vetor no tratamento de contrastes ausentes.
• Eficiência: Notavelmente, o MP-ViT-small (com menos parâmetros que o ViT-base) superou o ViT-base em 1,5%, sugerindo que a arquitetura multi-plano é mais eficaz do que simplesmente aumentar a profundidade ou a largura do modelo.

Significância e Afirmações
O artigo afirma que o MP-ViT oferece um avanço significativo no tratamento da variabilidade de dados clínicos de RM do mundo real. Ao evitar a remostragem de imagens anisotrópicas, o modelo retém informações diagnósticas críticas que poderiam ser perdidas. Os autores enfatizam que, embora a RM nem sempre seja a primeira escolha para detecção emergente de HIC (devido ao tempo de varredura), ela é crucial para a diferenciação de AVC e para avaliações diagnósticas não urgentes onde hemorragias incidentais são encontradas.

O método proposto é apresentado como um mecanismo para melhorar o desempenho de classificação em cenários que exigem contrastes de orientação diferentes. Os autores observam que a abordagem é particularmente relevante para ambientes clínicos onde a completude dos dados varia, pois o vetor de modalidade garante que o modelo permaneça robusto mesmo com entradas incompletas. O estudo conclui que esses mecanismos devem ser considerados para o design de sistemas que lidam com a variabilidade inerente dos dados clínicos, embora os autores reconheçam limitações, incluindo a exclusão de planos coronais (devido à indisponibilidade do conjunto de dados) e o foco na classificação em vez de segmentação.