Multimodal Brain Tumour Classification Using Feature Fusion

Resumen Técnico: Clasificación de Tumores Cerebrales Multimodales Mediante Fusión de Características

Planteamiento del Problema
Los enfoques actuales de aprendizaje profundo para la clasificación de tumores cerebrales dependen predominantemente de entradas unimodales, utilizando únicamente imágenes de RM o TC. Esta limitación no logra replicar el flujo de trabajo diagnóstico clínico, donde los profesionales sintetizan diversas fuentes de información —incluyendo síntomas, antecedentes médicos y datos de imagen cuantitativos— en un juicio unificado. Los autores argumentan que depender únicamente de datos de imagen brutos pasa por alto los beneficios potenciales de integrar características radiómicas diseñadas manualmente, las cuales proporcionan descriptores cuantitativos explícitos de las características del tumor que suelen utilizarse en el razonamiento clínico.

Metodología
El estudio propone un marco multimodal de dos ramas diseñado para clasificar tumores cerebrales en cuatro categorías: glioma, meningioma, pituitario y sin tumor. La arquitectura procesa dos flujos de datos distintos:

1. Flujo de Imagen: Escaneos de RM brutos (redimensionados a 224×224) se procesan a través de una red neuronal convolucional (CNN) preentrenada. Se evaluaron tres arquitecturas: EfficientNet-B3, ResNet-50 y DenseNet-121. Estas arquitecturas de base producen un embedding visual de 256 dimensiones mediante una cabeza compuesta por capas de dropout, lineales y de normalización de capa (Layer Normalization).
2. Flujo Radiómico: Un flujo de segmentación no supervisado de tres etapas dedicado extrae tres regiones espaciales de cada RM: una máscara cerebral, una región de interés (ROI) del tumor y un anillo peritumoral de 15 píxeles. A partir de estas regiones, se extraen 91 características radiómicas de diez familias, que incluyen estadísticas de intensidad de primer orden, descriptores de forma, textura GLCM, GLRLM, NGTDM, GLDM, características de gradiente/HOG y descriptores de frontera/heterogeneidad/fractal. Estas características son codificadas por un MLP de tres capas (Batch Norm, capas lineales, Layer Norm) en un embedding numérico de 256 dimensiones coincidente.

Estrategias de Fusión de Características
Los dos embeddings de 256 dimensiones se fusionan utilizando una de tres estrategias para generar la clasificación final:

• Concatenación: Concatenación simple de los dos vectores.
• Fusión con Compuerta (Gated Fusion): Utiliza compuertas sigmoideas aprendidas duales para aplicar pesos de modalidad por dimensión.
• Atención Cruzada Bidireccional: Emplea mecanismos de atención con conexiones residuales para permitir la interacción entre los flujos.

Configuración Experimental y Conjunto de Datos
El marco fue evaluado en un conjunto de datos equilibrado de 7,200 imágenes de RM cerebral (1,600 por clase para entrenamiento, 400 por clase para prueba) recopiladas de múltiples repositorios públicos (Sartaj, BRaTS, etc.). El estudio reconoce una limitación respecto al conjunto de datos: dado que no se disponía de identificadores de pacientes, la división se realizó a nivel de imagen en lugar de a nivel de paciente, lo que significa que no se puede excluir la posible superposición de pacientes entre los conjuntos de entrenamiento y prueba.

El diseño experimental consistió en una cuadrícula de nueve ejecuciones (3 backbones de CNN × 3 estrategias de fusión). El entrenamiento implicó congelar el backbone durante 8 épocas seguido de un ajuste fino (fine-tuning) de los últimos tres bloques durante 12 épocas, utilizando muestreo ponderado, suavizado de etiquetas (label smoothing), recorte de gradiente (gradient clipping) y precisión mixta.

Resultos Clave

• Líneas Base Unimodales: Entre los modelos de una sola modalidad, DenseNet-121 alcanzó la mayor precisión del 95.50%, seguida de ResNet-50 (95.37%) y EfficientNet-B3 (94.94%). La clase de meningioma presentó consistentemente el mayor desafío de clasificación debido a una menor sensibilidad (recall).
• Rendimiento Multimodal: Todas las configuraciones multimodales superaron a sus líneas base unimodales correspondientes. El mejor rendimiento fue logrado por ResNet-50 + Gated Fusion y DenseNet-121 + Gated Fusion, ambos alcanzando una precisión de 96.13%. Otros de alto rendimiento incluyeron DenseNet-121 + Attention (96.06%) y DenseNet-121 + Concatenation (95.81%).
• Ganancias Específicas de Clase: Las clases "sin tumor" y "pituitario" se beneficiaron significativamente de la fusión multimodal, logrando una sensibilidad casi perfecta. Aunque el meningioma siguió siendo la clase más difícil, la estrategia de fusión con compuerta demostró las ganancias más consistentes a través de las arquitecturas.
• Comparación: El marco propuesto (96.13%) es competitivo con la literatura reciente, como Aziz et al. (2024), quienes reportaron un 96.9% utilizando un marco basado en DenseNet de solo RM.

Significancia y Reivindicaciones
El artículo sostiene que la integración de descriptores radiómicos diseñados manualmente con embeddings de imagen de CNN profunda mediante fusión multimodal proporciona una mejora robusta sobre las líneas base unimodales de solo imagen. El estudio destaca que la fusión con compuerta (gated fusion) es la estrategia más efectiva para combinar estas modalidades.

Sin embargo, los autores mantienen una postura modesta respecto a la magnitud de estas mejoras. Reconocen explícitamente que las ganancias observadas son relativamente modestas porque ambas ramas derivan su información de la misma fuente de RM. En consecuencia, el grado de verdadera complementariedad entre las "modalidades" es limitado. Los autores posicionan este trabajo como un paso preliminar, señalando que las investigaciones futuras se centrarán en reemplazar la rama radiómica con fuentes de datos clínicos independientes (por ejemplo, informes estructurados, resultados de laboratorio, historial del paciente) para replicar mejor el razonamiento clínico multimodal real e introducir información enteramente ausente en el dominio de la imagen.