MMSF: Multitask and Multimodal Supervised Framework for WSI Classification and Survival Analysis

Resumen Técnico: MMSF – Marco de Aprendizaje Supervisado Multitarea y Multimodal para la Clasificación de WSI y el Análisis de Supervivencia

Planteamiento del Problema
La patología computacional enfrenta desafíos significativos en el análisis de Imágenes de Portaobjetos Completas (WSI, por sus siglas en inglés), que son imágenes de escala gigapíxel que contienen información morfológica rica pero que imponen cargas computacionales inmensas. Los procesos tradicionales suelen segmentar las WSI en cientos de miles de parches, lo que genera requisitos computacionales masivos que dificultan su despliegue clínico. Además, los métodos existentes sufren de tres limitaciones primarias:

1. Complejidad Computacional: Los modelos de Aprendizaje de Instancias Múltiples (MIL) basados en Transformers exhiben una complejidad cuadrática con respecto a la longitud de la secuencia, lo que los hace ineficientes para el procesamiento de parches a gran escala.
2. Negligencia del Contexto Espacial: Muchos enfoques tratan los parches como instancias independientes, fallando al capturar las relaciones espaciales críticas y la arquitectura tisular inherentes a la histopatología.
3. Limitaciones Unimodales: La mayoría de los métodos dependen únicamente de datos de imágenes patológicas, ignorando los descriptores clínicos recolectados de rutina (por ejemplo, edad, estadio) que proporcionan un contexto pronóstico complementario. Si bien la integración multiómica mejora la precisión, a menudo está limitada por el costo y la disponibilidad de datos.

Metodología
Los autores proponen MMSF (Marco de Aprendizaje Supervisado Multitarea y Multimodal), un marco de complejidad lineal diseñado para la clasificación de WSI y el análisis de supervivencia simultáneos. La arquitectura integra datos multimodales a través de un flujo de trabajo estructurado:

1. Extracción de Características y Construcción de Grafos:

   • Las WSI se recortan en parches y se procesan mediante el modelo fundacional patológico UNI2 para extraer características de 1536 dimensiones.
   • Un módulo de Construcción de Grafos a Nivel de Parche construye un grafo espacial $G=(V, E)$ donde los vértices representan parches. Los bordes se establecen basándose en la proximidad espacial y la similitud tisular (similitud de coseno de los vectores de características).
   • Una Red Neuronal de Grafos (específicamente GAT, identificada como óptima en estudios de ablación) procesa estos grafos para extraer incrustaciones de contexto espacial.

2. Incrustación de Datos Clínicos (CDE):

   • Un módulo dedicado de Incrustación de Datos Clínicos gestiona datos heterogéneos a nivel de paciente (variables continuas como la edad y variables categóricas como el estadio T/N).
   • Utilizando pares codificador-decodificador separados para cada tipo de dato, el módulo emplea un objetivo de reconstrucción autosupervisado para generar un vector de incrustación clínica unificado.

3. Mecanismo de Fusión Jerárquica:

   • Fusión Temprana (Nivel de Parche): Las características de los parches extraídas y las incrustaciones de grafos se fusionan utilizando un módulo de Fusión de Características (FFM). Este módulo utiliza un mecanismo de atención Squeeze-and-Excitation (SE) sobre las características concatenadas para integrar el contexto espacial tempranamente en el proceso.
   • Fusión Tardía (Nivel de Instancia): Las representaciones agregadas a nivel de bolsa (bag-level) del codificador MIL se fusionan con las incrustaciones clínicas mediante un segundo FFM. Esto preserva la naturaleza jerárquica de los datos mientras incorpora el contexto a nivel de paciente.

4. Codificador MIL basado en Mamba:

   • Para abordar los cuellos de botella computacionales, MMSF reemplaza la autoatención cuadrática por el modelo de espacio de estados Mamba (de EfficientMIL).
   • Un Selector de Parches Adaptativo (APS) identifica los parches más informativos (los 512 superiores), que luego son procesados por bloques Mamba2. Esto reduce la complejidad de cuadrática a lineal con respecto al número de parches.

5. Predicción Multitarea:

   • Las características fusionadas finales se alimentan a cabezales específicos de la tarea: una capa lineal para la clasificación (usando Entropía Cruzada Binaria con Logits) y una capa lineal con activación sigmoide para el análisis de supervivencia (usando la pérdida de riesgos proporcionales de Cox).

Contribuciones Clave

• Primer Marco de Complejidad Lineal Multitarea: MMSF es el primer marco que combina el aprendizaje multitarea (clasificación y supervivencia) con la fusión multimodal utilizando un modelo de espacio de estados de complejidad lineal (Mamba) para el análisis de WSI.
• Nueva Incrustación Clínica: La introducción de un módulo de Incrustación de Datos Clínicos (CDE) "plug-and-play" que estandariza atributos clínicos heterogéneos para tareas posteriores sin requerir datos multiómicos.
• Estrategia de Fusión Jerárquica: Un mecanismo de fusión de dos etapas que realiza la fusión temprana de características espaciales basadas en grafos y la fusión tardía de incrustaciones clínicas, combinando eficazmente el contexto espacial local con los atributos globales del paciente.
• Módulos Plug-and-Play: El diseño de módulos específicos para la extracción de características de grafos a nivel de parche y la integración de datos clínicos que mejoran el aprendizaje de representaciones multimodales.

Resultados Experimentales
El marco fue evaluado en siete conjuntos de datos públicos: CAMELYON16 y TCGA-NSCLC para clasificación, y cinco cohortes de TCGA (BLCA, COAD, LUAD, STAD, KIRC) para el análisis de supervivencia.

• Desempeño de Clasificación: En CAMELYON16 y TCGA-NSCLC, MMSF alcanzó resultados de vanguardia (state-of-the-art), mejorando la precisión en un 2.1–6.6% y el AUC en un 2.2–6.9% sobre las líneas base competitivas (incluyendo TransMIL, Snuffy y EfficientMIL).
• Desempeño de Análisis de Supervivencia: En las cinco cohortes de supervivencia de TCGA, MMSF logró un C-index general de 0.6911. Esto representa una mejora del 7.1–9.8% sobre los métodos unimodales y una mejora del 5.6–7.1% sobre las alternativas multimodales existentes (por ejemplo, HSFSurv, MCAT).
• Estudios de Ablación: Los experimentos confirmaron que la adición de la rama de grafos, el módulo de incrustación clínica y la estrategia de fusión basada en SE contribuyeron significativamente a las ganancias de desempeño. La estrategia de fusión basada en SE superó a las líneas base de fusión lineal y de no fusión.
• Eficiencia: Al utilizar el backbone Mamba y la selección de parches adaptativa, el modelo mantiene una complejidad lineal, lo que lo hace más eficiente computacionalmente que los enfoques de MIL basados en Transformers.

Significancia y Reivindicaciones
Los autores afirman que MMSF aborda barreras críticas para la traslación clínica en patología computacional. Al lograr un desempeño de vanguardia sin requerir datos multiómicos costosos, el marco aprovecha las WSI y los registros clínicos disponibles de rutina. El diseño de complejidad lineal asegura la escalabilidad para el despliegue clínico a gran escala, mientras que el mecanismo de fusión jerárquica permite la integración efectiva de tipos de datos heterogéneos. La capacidad del modelo para realizar tanto la clasificación como el análisis de supervivencia simultáneamente, combinada con su interpretabilidad mediante la visualización de la atención a nivel de parche, lo posiciona como una solución robusta y generalizable para la patología computacional multimodal.