Bridging the Modality Bottleneck in Pathology MIL through Virtual Molecular Staining

Resumen Técnico: Superando el Cuello de Botella de Modalidad en MIL de Patología mediante Tinción Molecular Virtual

Enunciado del Problema
En la patología computacional, el Aprendizaje de Múltiples Instancias (MIL) es el marco dominante para el análisis de imágenes de diapositivas completas (WSI). Las pipelines estándar de MIL suelen constar de un codificador de parches congelado (un modelo fundacional de patología), una capa de proyección por parche y un agregador a nivel de diapositiva. Aunque los codificadores y agregadores han sido optimizados extensamente, la capa de proyección sigue siendo un cuello de botella significativo. Los modelos fundacionales actuales se preentrenan principalmente en morfología H&E e informes de patología, organizando las características de los tejidos a lo largo de ejes morfológicos. Sin embargo, muchos puntos finales clínicos críticos —como el estado de biomarcadores, la respuesta al tratamiento y la supervivencia— están gobernados por estados moleculares que no se capturan completamente por la morfología sola. Las regiones histológicamente similares pueden corresponder a programas moleculares distintos, creando un "cuello de botella de modalidad" donde los modelos basados únicamente en morfología fallan al distinguir casos molecularmente distintos. Los intentos existentes de inyectar señales moleculares a menudo requieren el ajuste fino del codificador o el re-preentrenamiento de modelos fundacionales con objetivos de visión-ómica, lo que vincula la representación a puntos de control específicos del modelo e incurre en altos costos computacionales.

Metodología: Transformación de Tinción Informada Molecularmente (MIST)
Los autores proponen MIST, un reemplazo plug-and-play para la capa de proyección estándar de MIL que cierra la brecha de modalidad transcripcional sin requerir transcriptómica espacial (ST) en la inferencia. MIST opera construyendo "tinciones moleculares virtuales" durante el entrenamiento utilizando datos emparejados de ST y H&E, los cuales luego se aplican a características solo de H&E durante la inferencia.

El método procede en cuatro etapas clave:

1. Aprendizaje de Prototipos Cross-Modal: Utilizando datos emparejados ST-H&E (del conjunto de datos HEST-1k), el método agrupa perfiles de expresión génica para identificar conceptos moleculares distintos. Crucialmente, los prototipos resultantes son centroides calculados en el espacio de características morfológicas (del modelo fundacional congelado) pero anclados por grupos de expresión génica. Esto permite que cada prototipo codifique la firma morfológica de un programa molecular específico.
2. Asignación Suave de Parches: Para cada parche en una WSI, el modelo calcula afinidades suaves hacia estos prototipos moleculares. A diferencia del agrupamiento rígido, esto permite que un parche active simultáneamente múltiples prototipos, reflejando la realidad biológica de programas moleculares co-expresados dentro de una sola región tisular.
3. Transformaciones de Baja Rango Condicionadas por Prototipos: Cada prototipo induce una "vista" específica del embebing del parche mediante una transformación residual de baja rango. Esto imita la naturaleza física de la tinción, donde un tinte se añade sobre el tejido subyacente. La transformación utiliza una base de baja rango compartida ($V$) en todos los prototipos, con matrices de modulación específicas del prototipo ($U_k$), asegurando que la transformación permanezca eficiente y fundamentada en ejes morfológicos comunes.
4. Mezcla Residual: La representación final del parche es una suma ponderada del embebing original y las vistas teñidas, donde los pesos están determinados por las afinidades de los prototipos. Esta estructura residual preserva la morfología original H&E como referencia estable mientras integra priores moleculares.

Contribuciones Clave

• Perspectiva de Cuello de Botella de Modalidad: El artículo identifica la capa de proyección de MIL como un punto de intervención modular donde pueden inyectarse priores moleculares para superar las limitaciones de los modelos fundacionales basados únicamente en morfología, distinto de los cuellos de botella enfocados en capacidad.
• Tinción Molecular Virtual: MIST introduce un mecanismo para utilizar priores de transcriptómica espacial durante el entrenamiento para reorganizar las características H&E a lo largo de ejes definidos por genes, requiriendo solo imágenes H&E en la inferencia. Esto evita la necesidad de reentrenar o ajustar fino el modelo fundacional de patología congelado.
• Adaptación Cross-Modal: Al anclar prototipos derivados de genes en el espacio morfológico, MIST crea un módulo de adaptación reutilizable que permanece efectivo a medida que evoluciona el ecosistema de modelos fundacionales de patología.

Resultados Experimentales
MIST fue evaluado en 23 tareas posteriores y 8 agregadores MIL diferentes (incluyendo ABMIL, CLAM, TransMIL y otros) utilizando un codificador UNI2-h congelado.

• Ganancias de Rendimiento: MIST mejoró 240 de 256 configuraciones en comparación con la capa de proyección lineal estándar, generando una ganancia promedio de rendimiento de +3.5%.
• Mejoras Específicas por Tarea:
  • Predicción de Supervivencia: +5.2% de ganancia promedio (Índice de Concordancia).
  • Subtipificación de Tejidos: +3.3% de ganancia promedio (Precisión Equilibrada/$\kappa$ Ponderado).
  • Predicción de Biomarcadores: +2.6% de ganancia promedio (AUROC).
• Estudios de Ablación: Reemplazar los prototipos derivados de genes con vectores aleatorios o agrupamiento solo de H&E redujo significativamente el rendimiento, confirmando que las ganancias provienen de priores moleculares cross-modales y no de un aumento en la capacidad del modelo. También se demostró que la estructura de baja rango y las conexiones residuales eran decisiones de diseño críticas.
• Interpretabilidad: La validación espacial en diapositivas HEST retenidas demostró que MIST puede inferir distribuciones moleculares biológicamente significativas directamente desde la morfología H&E. El análisis patológico confirmó que las afinidades de los prototipos se alinean con estados tisulares distintos (por ejemplo, normal vs. tumor, alveolar vs. escamoso) sin supervisión explícita de anotaciones de patología.

Significado y Afirmaciones
El artículo afirma que MIST aborda eficazmente el cuello de botella de modalidad en la patología computacional al desacoplar la supervisión molecular del proceso de entrenamiento del codificador. Al operar en la capa de proyección, MIST permite integrar priores moleculares en pipelines de modelos fundacionales congelados de manera reutilizable y computacionalmente eficiente. Los autores postulan que la capa de proyección representa tanto un cuello de botella de capacidad como de modalidad; mientras que métodos como MAMMOTH abordan la capacidad, MIST aborda la brecha de modalidad. Los resultados sugieren que los priores informados molecularmente son particularmente beneficiosos para tareas donde los estados moleculares impulsan los resultados (supervivencia, biomarcadores) y para agregadores más débiles que luchan por extraer señales suficientes de la morfología sola. El trabajo demuestra que las afinidades de prototipos cross-modales pueden capturar programas moleculares espacialmente coherentes y patológicamente significativos solo a partir de imágenes H&E, ofreciendo una vía hacia una patología informada molecularmente sin la necesidad de ensayos moleculares costosos en la inferencia.