Unifying Multiple Foundation Models for Advanced Computational Pathology

1. El Problema

A pesar de los avances significativos en la patología computacional (CPath) gracias a los modelos fundamentales (como Virchow, UNI, H-Optimus-1), estos modelos presentan limitaciones críticas:

• Variabilidad de rendimiento: El rendimiento de un modelo específico varía drásticamente según la tarea (diagnóstico, pronóstico, molecular) y el tipo de tejido, debido a las diferencias en la composición de sus datos de entrenamiento.
• Dependencia de datos propietarios: Muchos modelos de alto rendimiento se entrenan con conjuntos de datos privados y no compartibles, lo que impide que la comunidad científica expanda o mejore estos modelos de forma acumulativa.
• Limitaciones de la destilación offline: Los esfuerzos anteriores para combinar modelos (como GPFM) utilizan destilación de conocimiento offline. Esto requiere:
  • Un conjunto de datos de destilación dedicado y curado.
  • Entrenar un nuevo modelo "estudiante" desde cero cada vez que se desea integrar un nuevo modelo maestro.
  • Falta de flexibilidad para adaptarse a tareas específicas sin reentrenamiento masivo.

2. Metodología: Shazam

Los autores proponen Shazam, un modelo de integración en línea que combina múltiples modelos fundamentales de patología preentrenados dentro de un paradigma de aprendizaje de representación unificado y escalable, sin necesidad de acceder a sus datos de entrenamiento originales ni realizar preentrenamiento a gran escala.

Arquitectura Clave:

1. Extracción Multi-Nivel y Multi-Maestro:

   • Shazam utiliza cinco modelos fundamentales de última generación (UNI 2, Virchow2, H-optimus-1, Prov-Gigapath, Phikon-v2) como "maestros" congelados.
   • Extrae características visuales en tres niveles semánticos de cada modelo: bajo (detalles finos), medio (organización tisular) y alto (contexto global).

2. Fusión Adaptativa (Mixture-of-Experts - MoE):

   • En lugar de una fusión estática, Shazam emplea un mecanismo de Mezcla de Expertos (MoE) ligero.
   • Una red de "puerta" (gating network) calcula pesos adaptativos para las características de cada maestro en función de la tarea específica. Esto permite que el modelo seleccione dinámicamente qué experto es más relevante para una región de la imagen o una tarea concreta.

3. Destilación en Línea (Online Distillation):

   • A diferencia de la destilación offline, Shazam optimiza un modelo "estudiante" utilizando una función de pérdida de destilación en tiempo real durante el entrenamiento de la tarea específica.
   • El estudiante aprende a alinear sus representaciones con las de los múltiples maestros en los tres niveles semánticos, utilizando una combinación de pérdida de distancia coseno y pérdida de Huber.
   • Esto permite consolidar las fortalezas complementarias de los modelos maestros sin reentrenar los maestros ni requerir grandes corpus de datos de destilación.

4. Aggregación para WSI (Whole Slide Images):

   • Para tareas a nivel de diapositiva completa, se utiliza un módulo de Aprendizaje de Múltiples Instancias Basado en Atención (ABMIL) para agregar las características de los parches en una representación de la diapositiva antes de la fusión final.

3. Contribuciones Clave

• Integración en Línea y Escalable: Shazam permite incorporar nuevos modelos fundamentales a medida que aparecen, sin necesidad de reentrenar el sistema desde cero ni acceder a datos privados.
• Aprendizaje de Representación Unificada: Crea un espacio de características que sintetiza información morfológica y molecular complementaria de múltiples arquitecturas.
• Adaptabilidad a la Tarea: El mecanismo MoE permite que el modelo ajuste su comportamiento según la tarea (ej. priorizar detalles celulares para clasificación de tiles vs. contexto global para pronóstico de supervivencia).
• Eliminación de la Barrera de Datos: Resuelve el problema de la accesibilidad de datos al permitir la combinación de modelos entrenados en datos privados sin necesidad de compartir dichos datos.

4. Resultados Experimentales

Shazam se evaluó en 30 tareas de referencia (benchmarks) que abarcan cuatro categorías principales:

• Predicción de Transcriptómica Espacial (ST):

  • En el conjunto de datos HEST-1k (8 tipos de órganos), Shazam logró el PCC (Coeficiente de Correlación de Pearson) más alto en todos los casos, superando a los modelos individuales en un 0.08–0.17 de media.
  • Demostró una generalización robusta a través de diferentes tejidos (glándulas, estroma, neuroepitelio).

• Pronóstico de Supervivencia:

  • En 10 cohortes de TCGA, Shazam alcanzó un Índice C medio de 0.666, superando al mejor modelo individual (H-optimus-1, 0.642).
  • La diferencia fue estadísticamente significativa (p=0.007) y mostró una mejor separación entre grupos de alto y bajo riesgo en 9 de 10 tipos de cáncer.

• Clasificación a Nivel de Tile (Parche):

  • En 11 conjuntos de datos diversos (incluyendo BACH, PCAM, CRC-100K), Shazam obtuvo el puntuación de ranking promedio más baja (1.36), indicando un rendimiento superior consistente.
  • Superó a Virchow2 (el segundo mejor) en la mayoría de las tareas, demostrando una mejor capacidad para capturar patrones morfológicos finos y variaciones en la tinción.

• Respuesta a Preguntas Visuales (VQA) en Patología:

  • En el conjunto de datos PathVQA, Shazam alcanzó una precisión del 57.5%, superando al segundo mejor modelo (UNI 2) en un 1%.
  • Esto es notable dado que los modelos base no recibieron entrenamiento explícito con lenguaje, demostrando la transferibilidad de las características visuales integradas a tareas multimodales.

Resumen General: Shazam obtuvo un puntuación de ranking promedio de 1.17 en las 30 tareas, superando significativamente a Virchow2 (3.20) y UNI 2.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo propone un cambio desde modelos fundamentales monolíticos e aislados hacia sistemas modulares y composicionales.
• Viabilidad Clínica: Ofrece una estrategia práctica para mejorar la precisión diagnóstica y pronóstica en entornos clínicos reales donde los datos son heterogéneos y los modelos propietarios son comunes.
• Eficiencia de Recursos: Al evitar el preentrenamiento masivo y la destilación offline repetitiva, Shazam permite una evolución metodológica continua y escalable bajo restricciones institucionales y de privacidad.
• Limitaciones: El principal desafío es el costo computacional, que crece linealmente con el número de modelos integrados, aunque se sugiere que el uso de modelos fundamentales más ligeros en el futuro podría mitigar esto.

En conclusión, Shazam demuestra que la integración en línea de múltiples expertos preentrenados es una vía superior para consolidar el conocimiento en patología computacional, logrando un rendimiento superior y más robusto que cualquier modelo individual disponible actualmente.