Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

Resumen Técnico: Sondeo, Fusión y Confiabilidad de las Representaciones de Modelos Fundacionales para el Análisis Multimodal del Cáncer

Planteamiento del Problema
Los modelos fundacionales (FM, por sus siglas en inglés) han surgido como potentes extractores de representaciones para datos médicos, sin embargo, su capacidad de generalización ante conjuntos de datos del mundo real bajo cambios de distribución sigue siendo poco explorada. Aunque las evaluaciones previas de los FM de patología y transcriptómica (p. ej., CONCH, UCE) muestran resultados prometedores, estas suelen realizarse en evaluaciones de referencia públicas que pueden solaparse con el corpus de preentrenamiento. Los conjuntos de datos industriales del mundo real, como los de fuentes oncológicas comerciales, suelen seguir procesos de recolección de datos y distribuciones diferentes. Este artículo aborda tres brechas críticas: (1) si las representaciones de los FM se transfieren de manera confiable a datos clínicos fuera de la distribución (OOD); (2) si la fusión multimodal de datos de imagen y ómicas genera ganancias consistentes sobre las líneas base unimodales; y (3) la confiabilidad de estos procesos, específicamente en cuanto a la cuantificación de la incertidumbre y la calibración en entornos de diagnóstico de alto riesgo.

Metodología
El estudio utiliza dos cohortes comerciales internas (IH) del mundo real: IH-BC (cáncer de mama) e IH-NSCLC (cáncer de pulmón de células no pequeñas). Estos conjuntos de datos, derivados de la base de datos clínico-molecular Flatiron Health-Caris Life Sciences, proporcionan imágenes de H&E de portaobjetos completos emparejadas con perfiles transcriptómicos (expresión génica TPM RNA). Los datos se dividen en conjuntos de entrenamiento, calibración, validación y prueba (proporción 7:3:1:1).

El flujo de trabajo experimental consta de tres etapas:

1. Sondeo Unimodal:

   • Representaciones de Imagen: Se evalúan cuatro modelos fundacionales de patología a nivel de tesela: CONCH, UNI, MUSK y Virchow.
   • Representaciones de Ómicas: Se comparan tres métodos: un FM transcriptómico (UCE), un autoencoder variacional (scVI) y una línea base clásica de reducción de dimensionalidad (PCA).
   • Tareas de Diagnóstico (Downstream): Se definen ocho tareas de clasificación, incluyendo la predicción del sitio de la biopsia, identificación de subtipos moleculares, estado de biomarcadores (PR, PIK3CA, LOH, TMB) e identificación del sitio tumoral.
   • Aprendizaje: El rendimiento unimodal se evalúa mediante Aprendizaje de Múltiples Instancias (HEMIL) para imágenes y Perceptrones Multicapa (GeneMLP) para ómicas.

2. Fusión Multimodal:

   • Se implementan tres estrategias de fusión para combinar las representaciones emparejadas de imagen y ómicas:
     • CONTACT: Concatenación de características de ómicas con cada incrustación (embedding) de tesela de imagen, seguida de un codificador de fusión.
     • MCAT: Un transformador de co-atención que intercambia información entre los tokens de imagen y ómicas antes del agrupamiento (pooling) de MIL.
     • LateMIL: Un enfoque de fusión tardía que combina los logits independientes de WSI y los logits de ómicas mediante una suma ponderada.

3. Análisis de Confiabilidad:

   • Predicción Conforme (CP): Se aplica la predicción conforme dividida a todos los procesos seleccionados para generar conjuntos de predicción con garantías de cobertura marginal ($\alpha = 0.10$).
   • Métricas: La evaluación incluye cobertura empírica, tamaño de conjunto promedio, tasa de singleton y "tasa de rescate" (la frecuencia con la que se recupera la etiqueta real en el conjunto de predicción cuando la predicción de punto único top-1 es incorrecta).

Resultados Clave

• Rendimiento Unimodal:

  • Los FM de imagen logran un rendimiento competitivo en datos OOD, aunque los resultados varían significamente según la dificultad de la tarea (p. ej., AUC alto >0.9 en el sitio de biopsia de IH-BC frente a ~0.64 en el sitio de biopsia de IH-NSCLC).
  • Las representaciones de ómicas proporcionan señales complementarias. Notablemente, la línea base clásica de PCA suele superar a los modelos fundacionales transcriptómicos aprendidos (UCE, scVI) en varias tareas, logrando el AUC más alto en las tareas de LOH, PR, PIK3CA, Subtipo y TMB. Esto sugiere que construir FMs transcriptómicos efectivos sigue siendo un desafío abierto en comparación con los métodos estadísticos clásicos para capturar perturbaciones biológicas.

• Fusión Multimodal:

  • La fusión no es universalmente beneficiosa. Los métodos multimodales (LateMIL, MCAT, CONTACT) superan a las líneas base unimodales solo cuando ninguna modalidad domina la señal predictiva.
  • Cuando una modalidad porta la señal dominante (p. ej., GeneMLP/PCA en NSCLC-TMB), la fusión puede de hecho degradar el rendimiento en comparación con el mejor modelo unimodal.
  • LateMIL demuestra el rendimiento más consistente en todas las tareas en comparación con CONTACT y MCAT.

• Confiabilidad e Incertidumbre:

  • La predicción conforme logra una cobertura media igual o superior al objetivo nominal de 0.90 en todas las tareas.
  • La Dificultad de la Tarea Impulsa el Tamaño del Conjunto: Las tareas de NSCLC (Sitio de Biopsia, Sitio Tumoral) exhiben sobrecobertura (0.93–0.94) con tamaños de conjunto promedio grandes (2.5+) y tasas de singleton cercanas a cero, lo que refleja la dificultad intrínseca de distinguir las subregiones pulmonares. Por el contrario, las tareas de BC muestran una cobertura más ajustada al objetivo con conjuntos de tamaño menor (~2.0).
  • Agnosticismo de Arquitectura: El comportamiento de la predicción conforme (cobertura y tamaño de conjunto) es ampliamente robusto a la elección del modelo de base; la dificultad de la tarea, más que la arquitectura del modelo, gobierna las características del conjunto de predicción.
  • Tasa de Rescate: En los casos donde la predicción de punto único falla, el diagnóstico real se recupera dentro del conjunto de predicción en el 72.6% al 87.3% de los casos, validando la red de seguridad proporcionada por la inferencia consciente de la incertidumbre.

Significancia y Reivindicaciones
El artículo afirma que las representaciones de los modelos fundacionales pueden transferirse razonablemente bien a datos oncológicos comerciales no vistos del mundo real, pero su utilidad depende altamente de la tarea. Una contribución primaria es el hallazgo de que la fusión multimodal no garantiza ganancias de rendimiento y puede ser perjudicial si una modalidad ya proporciona una señal dominante. Además, el estudio destaca que los métodos clásicos como PCA pueden superar a los modelos fundacionales transcriptómicos modernos en contextos clínicos específicos.

Respecto a la confiabilidad, los autores argumentan que pasar de las predicciones de punto único a los conjuntos de predicción conforme es crítico para el soporte clínico. Este enfoque asegura que, incluso cuando la predicción top-1 de un modelo es errónea, el diagnóstico correcto rara vez se descarta, reduciendo así el riesgo de errores silenciosos en la colaboración humano-IA. El trabajo subraya que, si bien la arquitectura del modelo importa, la dificultad inherente de la tarea clínica es el principal motor de la incertidumbre y el tamaño del conjunto de predicción.