MINT: Molecularly Informed Training with Spatial Transcriptomics Supervision for Pathology Foundation Models

El artículo presenta MINT, un marco de entrenamiento que mejora los modelos fundacionales de patología al integrar supervisión de transcriptómica espacial, logrando un rendimiento superior tanto en la predicción de expresión génica como en tareas generales de patología.

Lo esencial

Imagina que tienes un detective experto llamado "Modelo de Patología". Este detective ha pasado años estudiando millones de fotos de tejidos humanos (como si fueran mapas microscópicos) para aprender a reconocer enfermedades solo mirando la forma y el color de las células. Es muy bueno viendo la "arquitectura" de la ciudad (el tejido), pero tiene un problema: no sabe qué está "pensando" o "sintiendo" la ciudad a nivel químico. No sabe qué genes se están activando o apagando, que es como si el detective no supiera si los ciudadanos están felices, tristes o enfermos por dentro.

Aquí es donde entra la tecnología de Transcriptómica Espacial. Imagina que esta tecnología es como poner micrófonos invisibles en cada rincón de la ciudad para escuchar exactamente qué están diciendo los genes.

El papel que nos presentas introduce a MINT, un nuevo entrenador que ayuda a nuestro detective a mejorar sin olvidar lo que ya sabía.

¿Qué hace MINT? (La analogía del "Doble Sombrero")

El problema principal es que si le enseñas al detective a escuchar los micrófonos (los genes) directamente, podría empezar a olvidar cómo leer los mapas (la morfología). Sería como si un arquitecto, al aprender a escuchar música, olvidara cómo dibujar planos.

MINT soluciona esto con una idea brillante: No le pide al detective que cambie su forma de ver el mundo, sino que le da un "segundo sombrero".

1. El Sombrero CLS (El Arquitecto): Es el sombrero original del detective. Sigue viendo la forma de las células y recordando todo lo que aprendió antes.
2. El Sombrero ST (El Escucha): Es un nuevo sombrero especial que MINT le pone al detective. Este sombrero está diseñado exclusivamente para escuchar los micrófonos de los genes.

Al tener dos sombreros separados, el detective puede hacer dos cosas a la vez:

• Con el Sombrero CLS, sigue siendo un experto en formas y estructuras (no olvida su entrenamiento anterior).
• Con el Sombrero ST, aprende a entender la química y los genes del tejido.

¿Cómo funciona el entrenamiento? (El método de "El Espejo y el Mapa")

Para asegurarse de que el detective no se confunda, MINT usa dos trucos de entrenamiento:

• El Espejo (Distilación DINO): Imagina que el detective tiene un "gemelo mayor" que ya es un maestro. Mientras el detective practica, el gemelo le dice: "Oye, mira cómo lo hacía yo antes, no cambies tanto tu estilo". Esto asegura que el detective no pierda sus habilidades originales mientras aprende lo nuevo.
• El Mapa Fijo (Anclaje de características): Hay una copia congelada del modelo original que sirve como un mapa de referencia. El detective siempre compara su trabajo con este mapa para asegurarse de que no se está desviando demasiado de la realidad visual.

Además, MINT le enseña al detective de dos maneras:

1. A nivel de "barrio" (Spot-level): Le muestra grupos de células y le pide que adivine los genes promedio de ese grupo.
2. A nivel de "callejón" (Patch-level): Le muestra detalles muy pequeños (células individuales) y le pide que identifique genes específicos en lugares muy concretos.

Los Resultados (El Detective se vuelve un Genio)

Cuando probaron a este nuevo detective (MINT) en dos tipos de pruebas:

1. Prueba de Genes (HEST-Bench): ¿Puede predecir qué genes hay en el tejido? ¡Ganó el primer lugar! Mejoró mucho más que los modelos anteriores.
2. Prueba General (EVA): ¿Sigue siendo bueno diagnosticando enfermedades, contando células y clasificando tejidos? ¡Sí! Incluso mejoró un poco.

La conclusión mágica:
Antes, pensábamos que para mejorar en una cosa (genes) teníamos que sacrificar la otra (formas). MINT demuestra que no es un juego de suma cero. Al darle al modelo un canal separado para la información molecular (el Sombrero ST), conseguimos un sistema que es mejor en todo: entiende mejor la química del cuerpo sin dejar de ser un experto en la anatomía.

En resumen, MINT es como darle a un médico un nuevo par de gafas que le permiten ver la "voz" de las células, sin que tenga que quitarse las gafas con las que veía su "cuerpo". ¡Y así, el médico se vuelve mucho más sabio!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "MINT: Molecularly Informed Training with Spatial Transcriptomics Supervision for Pathology Foundation Models" en español:

1. Planteamiento del Problema

Los modelos fundacionales de patología actuales (como UNI, Virchow, H-optimus) se entrenan mediante preentrenamiento auto-supervisado a gran escala en imágenes de diapositivas completas (WSI). Aunque estos modelos aprenden representaciones morfológicas robustas, no capturan explícitamente el estado molecular subyacente del tejido (expresión génica, composición celular, vías de señalización).

La histopatología visual codifica implícitamente esta información molecular, pero extraerla requiere una supervisión directa. Las tecnologías de transcriptómica espacial (ST) ofrecen mediciones in situ de la expresión génica, cerrando esta brecha. Sin embargo, un desafío crítico existe: ajustar finamente (fine-tuning) un modelo preentrenado para predecir la expresión génica corre el riesgo de provocar el olvido catastrófico de las representaciones morfológicas aprendidas durante el preentrenamiento masivo.

2. Metodología: MINT

Los autores proponen MINT (Entrenamiento Informado Molecularmente), un marco de ajuste fino multi-tarea diseñado para integrar la supervisión de transcriptómica espacial en Vision Transformers (ViT) preentrenados sin sacrificar el rendimiento morfológico.

Diseño Clave: Token ST Dedicado

En lugar de modificar el token CLS (que codifica características morfológicas globales), MINT introduce un token ST aprendible ($t_{st}$) en la secuencia de entrada del ViT, junto con el token CLS y los tokens de parche.

• Token CLS: Mantiene su rol original para características morfológicas.
• Token ST: Se especializa en codificar información transcriptómica.
• Ventaja: Esto permite que el modelo aprenda señales moleculares sin sobrescribir las representaciones morfológicas existentes. En la inferencia, se pueden concatenar ambos tokens $[z_{cls} \parallel z_{st}]$ para obtener una representación multimodal completa.

Objetivos de Entrenamiento (Función de Pérdida)

El marco utiliza cuatro objetivos complementarios para equilibrar el aprendizaje molecular y la estabilidad morfológica:

1. Regresión de Expresión Génica a Nivel de Punto (Spot-Level - $L_{ST}$):

   • Utiliza datos de plataformas como Visium.
   • Predice la expresión génica (transformada logarítmica) a partir del token ST.
   • Incluye selección estocástica de genes altamente variables (HVG) para enfocarse en genes informativos.

2. Regresión de Expresión Génica a Nivel de Parche (Patch-Level - $L_{pST}$):

   • Utiliza datos de alta resolución (Xenium) que detectan transcritos individuales a nivel subcelular.
   • Predice la expresión génica a partir de los tokens de parche individuales, permitiendo una supervisión a escala espacial más fina.

3. Distilación Self-DINO ($L_{DINO}$):

   • Mantiene la dinámica de aprendizaje auto-supervisado original utilizando aumentos de múltiples recortes (global y local) y un maestro que sigue al estudiante mediante un promedio móvil exponencial (EMA).

4. Anclaje de Características ($L_{distill}$):

   • Minimiza la distancia $L_2$ entre las representaciones del token CLS del modelo estudiante y las del modelo preentrenado congelado.
   • Actúa como una regularización explícita para prevenir el olvido catastrófico de las características morfológicas.

La pérdida total es una suma ponderada de estos cuatro componentes.

3. Contribuciones Clave

1. Marco MINT: Un nuevo enfoque de ajuste fino que incorpora supervisión de transcriptómica espacial en ViTs de patología preentrenados, utilizando un token dedicado y mecanismos de distilación dual para evitar el olvido catastrófico.
2. Especialización de Tokens: Demostración de que los tokens ST y CLS capturan información complementaria: el token ST se especializa en señales moleculares, mientras que CLS retiene la transferibilidad morfológica. La combinación de ambos mejora el rendimiento de manera agnóstica al modelo base.
3. Rendimiento Superior: Logro del mejor rendimiento global en dos benchmarks estándar (HEST-Bench y EVA) simultáneamente, validando que la supervisión multimodal complementa al preentrenamiento centrado en la morfología.

4. Resultados Experimentales

El modelo fue ajustado finamente en 577 muestras del conjunto de datos público HEST (histología + transcriptómica), utilizando H-optimus-0 como base.

• HEST-Bench (Predicción de Expresión Génica):

  • MINT alcanzó una correlación de Pearson media de 0.440, superando a todos los modelos comparados (el siguiente mejor fue H-optimus-0 con 0.415).
  • Ocupó el primer lugar en las 9 categorías de cáncer evaluadas.

• EVA (Transferencia a Tareas Generales de Patología):

  • MINT obtuvo un promedio de 0.803, superando a modelos de vanguardia como Virchow2 (0.798) y UNI2-h (0.795).
  • Mantuvo o mejoró el rendimiento en tareas de clasificación y diapositivas completas, demostrando que la adición de información molecular no degrada la capacidad de transferencia morfológica.

• Análisis de Representación:

  • El uso exclusivo del token ST mejoró la predicción génica, mientras que el token CLS solo mantuvo el rendimiento morfológico.
  • La concatenación de ambos tokens $[CLS \parallel ST]$ logró el mejor rendimiento global, confirmando que la información es verdaderamente complementaria y no redundante.
  • Las ablativas mostraron que intentar predecir genes directamente sobre el token CLS (incluso con distilación) resultó en un rendimiento inferior al diseño de tokens separados de MINT.

5. Significado e Impacto

El trabajo demuestra que la supervisión cruzada de modalidades (imagen + transcriptómica) ofrece un eje de mejora distinto y complementario al simple escalado de datos de imágenes mediante auto-supervisión.

• Eficiencia de Datos: MINT logra mejoras significativas utilizando solo 577 muestras emparejadas, en lugar de requerir millones de imágenes adicionales.
• Sinergia: Resuelve el dilema tradicional de "elegir entre morfología o molecularidad", demostrando que se pueden optimizar ambas simultáneamente mediante un diseño arquitectónico adecuado (tokens separados).
• Futuro: Sugiere que la expansión de conjuntos de datos de histología-transcriptómica emparejados podría impulsar aún más el desarrollo de modelos fundacionales de patología más completos y biológicamente informados.