Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

Resumen Técnico: Más allá de la clasificación: Modelos fundacionales de patología como codificadores de detección para figuras mitóticas

Planteamiento del problema
Los modelos fundacionales (FM) de patología, como UNI, Virchow y H-Optimus, han demostrado un sólido rendimiento en tareas de clasificación a nivel de imagen y de parche mediante el aprovechamiento del aprendizaje autosupervisado en vastos conjuntos de datos de histopatología no etiquetados. Sin embargo, su utilidad en tareas de detección de objetos densos sigue siendo incierta. Específicamente, se desconoce si los espacios latentes de estos FM —entrenados principalmente mediante autosupervisión a nivel de imagen— contienen características lo suficientemente discriminativas y con resolución espacial para servir como espinas dorsales (backbones) para la detección de figuras mitóticas (MF). La detección de MF es una tarea crítica en oncología para la estratificación pronóstica, pero exige una localización espacial de grano fino en lugar de una sumarización semántica. Intentos previos de integrar FM en procesos a nivel de célula (por ejemplo, CellViT++) han demostrado que las representaciones de clasificación fuertes no se transfieren automáticamente a la detección, a menudo rindiendo por debajo de los modelos entrenados desde cero. Este estudio investiga si las espinas dorsales congeladas de los FM pueden competir con las líneas base convolucionales entrenadas de extremo a extremo para la detección de MF.

Metodología
Los autores realizaron una evaluación sistemática comparando los FM de patología congelados contra una línea base convolucional convencional en el conjunto de datos multidominio MIDOG++ y el conjunto de datos fuera de dominio (OOD) TUPAC16.

• Espinas dorsales (Backbones): Se evaluaron seis FM basados en ViT como extractores de características estrictamente congelados: UNI, UNI2-h, Virchow, Virchow2, H-Optimus-0 y H-Optimus-1. Estos se compararon contra dos líneas base de ResNet-50: una totalmente ajustada de extremo a extremo (fine-tuned) y otra congelada.
• Cabezales de detección: Cada espina dorsal se emparejó con tres arquitecturas de detección distintas que representan diferentes paradigmas:
  • De una sola etapa: RetinaNet
  • De dos etapas: Faster R-CNN
  • Predicción de conjuntos basada en transformadores: Deformable DETR
• Adaptación de la arquitectura: Dado que las espinas dorsales ViT producen mapas de características de una sola escala mientras que los detectores requieren jerarquías multiescala, se insertó un cuello de pirámide de características ligero (basado en el diseño ViTDet) entre la espina dorsal congelada y el cabezal de detección. Este cuello fue el único componente aprendible en las configuraciones de espina dorsal congelada, responsable de adaptar las representaciones de escala única a la predicción densa multiescala.
• Protocolo de entrenamiento: Todos los modelos se entrenaron utilizando el marco MMDetection con el mismo aumento de datos (giros, transformaciones afines, fluctuación de tinción o stain jittering) y configuraciones de optimización (AdamW, programas de tasa de aprendizaje de coseno/paso). Las métricas de evaluación incluyeron F1 micro-promediado, precisión, exhaustividad (recall) y el Área Bajo la Curva de Característica Operativa de Rango Libre (FROC-AUC).

Resultos clave
El estudio arrojó los siguientes resultados de rendimiento en el conjunto de prueba MIDOG++ y el conjunto OOD TUPAC16:

1. Competitividad de los FM congelados: La mejor configuración de FM congelado (H-Optimus-0 con RetinaNet) alcanzó una puntuación F1 de 0.7718 en MIDOG++, acercándose estrechamente a la línea base de ResNet-50 totalmente ajustada (F1 0.7917). Notablemente, los FM congelados superaron significativamente a la línea base de ResNet-50 congelada (mejor F1 0.7498), lo que indica que la ventaja proviene del preentrenamiento específico de patología y no del mero acto de congelar una espina dorsal.
2. Impacto de los cabezales de detección: El rendimiento varió significativamente según el cabezal de detección. RetinaNet fue el cabezal más fiable, logrando las puntuaciones F1 más altas para la línea base de ResNet-50, H-Optimus-0 y Virchow. Faster R-CNN y Deformable DETR mostraron resultados más variables dependiendo de la espina dorsal.
3. Robustez fuera del dominio (OOD): En el conjunto de datos TUPAC16, el orden de rendimiento se invirtió. La mejor puntuación F1 general (0.7349) fue alcanzada por un FM congelado (H-Optimus-0 con RetinaNet), superando a la mejor configuración de ResNet-50 (0.7193). Esto sugiere que las características de los FM congelados pueden ser ligeramente más robustas a los cambios de dominio que las redes convolucionales totalmente ajustadas entrenadas en el dominio de origen.
4. Clasificación de las espinas dorsales: Entre los FM, los modelos de patología específica H-Optimus (0 y 1) lideraron generalmente el rendimiento, seguidos de cerca por la familia Virchow. UNI y UNI2-h quedaron rezagados.

Significado y afirmaciones
El artículo concluye que los espacios latentes congelados de los actuales FM de patología son suficientemente ricos y con resolución espacial suficiente para soportar la detección densa de figuras mitóticas sin ninguna adaptación específica de la tarea de los pesos de la espina dorsal. Los autores afirman que:

• La información espacial está presente: A pesar de haber sido entrenados únicamente mediante autosupervisión a nivel de imagen, estos modelos codifican la información espacial necesaria para localizar objetos pequeños como las figuras mitóticas, recuperable mediante un cuello y un cabezal ligeros.
• Robustez: Los FM congelados demuestran un grado de robustez ante cambios de dominio que excede al de las líneas base totalmente ajustadas en este ajuste específico de detección.
• Implicaciones de diseño: El estudio destaca que la elección del cabezal y el cuello de detección es crítica, superando a menudo las diferencias entre modelos fundacionales específicos.

Los autores mantienen la cautela, señalando que estos resultados caracterizan la información presente en las representaciones congeladas. Sugieren que el ajuste fino con parámetros eficientes (por ejemplo, LoRA) podría potencialmente cerrar la brecha restante con los modelos entrenados de extremo a extremo, aunque sigue siendo una pregunta abierta si tal adaptación preservaría la robustez observada fuera del dominio. El trabajo establece que los modelos fundacionales son bases viables para tareas de detección de patología densa, yendo más allá de su rol establecido en la clasificación.