Multimodal Brain Tumour Classification Using Feature Fusion

Resumo Técnico: Classificação de Tumores Cerebrais Multimodais Usando Fusão de Características

Definição do Problema
As abordagens atuais de aprendizagem profunda para a classificação de tumores cerebrais baseiam-se predominantemente em entradas unimodais, utilizando apenas imagens de RM ou TC. Esta limitação falha em replicar o fluxo de trabalho diagnóstico clínico, onde os profissionais sintetizam diversas fontes de informação — incluindo sintomas, histórico médico e dados de imagem quantitativos — em um julgamento unificado. Os autores argumentam que depender exclusivamente de dados de imagem brutos negligencia os benefícios potenciais da integração de características radiômicas manuais, que fornecem descritores quantitativos explícitos das características do tumor, frequentemente utilizados no raciocínio clínico.

Metodologia
O estudo propõe uma estrutura multimodal de dois ramos projetada para classificar tumores cerebrais em quatro categorias: glioma, meningioma, hipófise e ausência de tumor. A arquitetura processa dois fluxos de dados distintos:

1. Fluxo de Imagem: Scans de RM brutos (redimensionados para 224×224) são processados através de um backbone CNN pré-treinado. Três arquiteturas foram avaliadas: EfficientNet-B3, ResNet-50 e DenseNet-121. Estes backbones produzem um embedding visual de 256 dimensões via um cabeçalho composto por dropout, camadas lineares e Normalização de Camada (Layer Normalization).
2. Fluxo Radiômico: Um pipeline de segmentação não supervisionado de três estágios extrai três regiões espaciais de cada RM: uma máscara cerebral, uma ROI (região de interesse) tumoral e um anel peritumoral de 15 pixels. A partir destas regiões, 91 características radiômicas são extraídas em dez famílias, incluindo estatísticas de intensidade de primeira ordem, descritores de forma, textura GLCM, GLRLM, NGTDM, GLDM, características de gradiente/HOG, além de descritores de borda/heterogeneidade/fractal. Estas características são codificadas por um MLP de três camadas (Batch Norm, camadas Lineares, Layer Norm) em um embedding numérico correspondente de 256 dimensões.

Estratégias de Fusão de Características
Os dois embeddings de 256 dimensões são fundidos utilizando uma das três estratégias para gerar a classificação final:

• Concatenação: Concatenação simples dos dois vetores.
• Fusão com Portão (Gated Fusion): Utiliza portões sigmoides aprendidos duplos para aplicar pesos de modalidade por dimensão.
• Atenção Cross-Modal Bidirecional: Emprega mecanismos de atenção com conexões residuais para permitir a interação entre os fluxos.

Configuração Experimental e Conjunto de Dados
A estrutura foi avaliada em um conjunto de dados equilibrado de 7.200 imagens de RM cerebral (1.600 por classe para treinamento, 400 por classe para teste) compilado de múltiplos repositórios públicos (Sartaj, BRaTS, etc.). O estudo reconhece uma limitação quanto ao conjunto de dados: como os identificadores de pacientes não estavam disponíveis, a divisão foi feita ao nível da imagem e não ao nível do paciente, o que significa que a possível sobreposição de pacientes entre o treinamento e o teste não pode ser excluída.

O design experimental consistiu em uma grade de nove execuções (3 backbones CNN × 3 estratégias de fusão). O treinamento envolveu o congelamento do backbone por 8 épocas seguido pelo ajuste fino (fine-tuning) dos últimos três blocos por 12 épocas, utilizando amostragem ponderada, suavização de rótulos (label smoothing), corte de gradiente (gradient clipping) e precisão mista.

Principais Resultados

• Baselines Unimodais: Entre os modelos de modalidade única, a DenseNet-121 alcançou a maior acurácia de 95,50%, seguida pela ResNet-50 (95,37%) e EfficientNet-B3 (94,94%). A classe meningioma apresentou consistentemente o maior desafio de classificação devido à baixa revocação (recall).
• Desempenho Multimodal: Todas as configurações multimodais superaram seus respectivos baselines unimodais. O melhor desempenho foi alcançado pela ResNet-50 + Gated Fusion e DenseNet-121 + Gated Fusion, ambas atingindo uma acurácia de 96,13%. Outros desempenhos fortes incluíram DenseNet-121 + Attention (96,06%) e DenseNet-121 + Concatenation (95,81%).
• Ganhos Específicos de Classe: As classes "ausência de tumor" e "hipófise" beneficiaram-se significativamente da fusão multimodal, alcançando uma revocação quase perfeita. Embora o meningioma tenha permanecido a classe mais difícil, a estratégia de gated fusion demonstrou os ganhos mais consistentes entre as arquiteturas.
• Comparação: A estrutura proposta (96,13%) é competitiva com a literatura recente, como Aziz et al. (2024), que reportou 96,9% usando um framework baseado em DenseNet apenas com RM.

Significância e Alegações
O artigo alega que a integração de descritores radiômicos manuais com embeddings de imagem de CNN profunda via fusão multimodal proporciona uma melhoria robusta sobre os baselines unimodais de apenas imagem. O estudo destaca que a fusão com portão (gated fusion) é a estratégia mais eficaz para combinar estas modalidades.

No entanto, os autores mantêm uma postura modesta em relação à magnitude destas melhorias. Eles reconhecem explicitamente que os ganhos observados são relativamente modestos porque ambos os ramos derivam sua informação da mesma fonte de RM. Consequentemente, o grau de complementaridade real entre as "modalidades" é limitado. Os autores posicionam este trabalho como um passo preliminar, observando que pesquisas futuras focarão na substituição do ramo radiômico por fontes de dados clínicos independentes (ex: relatórios estruturados, resultados laboratoriais, histórico do paciente) para replicar melhor o raciocínio clínico multimodal real e introduzir informações inteiramente ausentes do domínio da imagem.