Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?

Resumen Técnico: ¿Son los Modelos de Visión Fundacionales la Base para la Segmentación de Imágenes de Microscopía Electrónica?

Planteamiento del Problema
Aunque los Modelos de Visión Fundacionales (VFM, por sus siglas en inglés) preentrenados en conjuntos de datos de imágenes naturales a gran escala se aplican cada vez más al análisis de imágenes biomédicas, no está claro si sus representaciones latentes son lo suficientemente generales como para soportar una transferencia efectiva a través de conjuntos de datos de microscopía heterogéneos. Específicamente, los autores investigan si los VFM actuales pueden superar los sustanciales cambios de distribución que ocurren incluso dentro de la misma modalidad de imagen (Microscopía Electrónica, o EM). El estudio se centra en la tarea de segmentación de mitocondrias, una tarea crítica en el análisis de EM, para determinar si los VFM pueden servir como una base "fundacional" para entrenar un único modelo robusto a través de diferentes conjuntos de datos de EM, o si siguen siendo fuertemente dependientes del dominio.

Metodología
Los autores llevaron a cabo un benchmark controlado utilizando dos conjuntos de datos de EM públicos ampliamente adoptados: Lucchi++ y VNC. Estos conjuntos de datos fueron seleccionados por su uso establecido en la literatura, lo que permite una comparación directa con métodos existentes. El estudio evaluó tres VFM representativos: DINOv2, DINOv3 y OpenCLIP.

El diseño experimental se centró en dos regímenes prácticos de adaptación de modelos que preservan la mayoría de los pesos preentrenados, evitando el ajuste fino (fine-tuning) completo de extremo a extremo:

1. Adaptación de Espalda Congelada (Frozen-Backbone Adaptation): Los pesos de la espalda del VFM se mantienen fijos (incluyendo las capas de normalización), y solo se entrena una cabeza de segmentación convolucional ligera.
2. Ajuste Fino de Parámetros Eficientes (PEFT) mediante LoRA: La cabeza de segmentación se entrena como en el caso anterior, pero se inyectan adaptadores de Adaptación de Bajo Rango (LoRA) en la espalda para permitir actualizaciones dirigidas y ligeras de los pesos preentrenados.

Los autores evaluaron el rendimiento bajo dos regímenes de entrenamiento:

• Entrenamiento de un Solo Conjunto de Datos: Modelos entrenados y probados individualmente en Lucchi++ o VNC.
• Entrenamiento de Conjuntos de Datos Pareados: Modelos entrenados en la unión de ambos conjuntos de datos para evaluar la capacidad de aprender una representación unificada para fuentes de EM heterogéneas.

Para diagnosticar las causas subyacentes de las diferencias de rendimiento, los autores emplearon diagnósticos del espacio de representación, incluyendo el Análisis de Componentes Principales (PCA) de los embeddings agrupados, el cálculo de la Distancia Fréchet DINOv2 (FD-DINOv2) para cuantificar el desajuste de la distribución, y sondas lineales (regresión logística) para probar la separabilidad lineal de las etiquetas del conjunto de datos.

Resultos Clave

• Rendimiento de un Solo Conjunto de Datos: Los tres VFM lograron un sólido rendimiento de segmentación (medido por la Intersección sobre Unión de primer plano, IoUfg) cuando se entrenaron y probaron en un solo conjunto de datos. LoRA-PEFT mejoró consistentemente el rendimiento in-domain en aproximadamente 10 puntos porcentuales sobre la línea de base de la espalda congelada en todas las espaldas.
• Fallo de los Conjuntos de Datos Pareados: Al entrenar en la unión de Lucchi++ y VNC, el rendimiento colapsó para todos los modelos, cayendo a niveles cercanos al azar (IoUfg < 0.06). LoRA proporcionó solo mejoras marginales en este escenario, fallando en recuperar un rendimiento robusto.
• Análisis de Desajuste de Dominio: Los diagnósticos del espacio de representación revelaron un desajuste de dominio pronunciado y persistente entre Lucchi++ y VNC. Incluso después de la adaptación con LoRA, los dos conjuntos de datos ocupaban regiones disjuntas en el espacio de características (la distancia FD-DINOv2 disminuyó de 79.32 a 45.02 pero siguió siendo alta), y las sondas lineales aún podían distinguir el origen del conjunto de datos con una precisión casi perfecta (1.0). Esto indica que el fallo del entrenamiento pareado es impulsado por cambios de dominio intrínsecos dentro de la modalidad EM que la adaptación ligera no puede cerrar.
• Comparación con el Estado del Arte: Aunque las líneas de base totalmente supervisadas de extremo a extremo (por ejemplo, variantes de U-Net) siguieron siendo los mejores ejecutores, los modelos basados en VFM con LoRA fueron competitivos en escenarios de un solo conjunto de datos. Sin embargo, no pudieron igualar el rendimiento de los modelos especializados en el escenario pareado.

Contribuciones Clave

1. Benchmarking: Proporcionó un benchmark controlado de tres importantes VFM (DINOv2, DINOv3, OpenCLIP) en una tarea de segmentación de EM bajo adaptación de espalda congelada y LoRA-PEFT.
2. Evidencia Empírica de Fallo: Demostró que el entrenamiento pareado a través de conjuntos de datos heterogéneos de la misma modalidad de microscopía (EM) falla severamente, a pesar de la similitud visual de las imágenes.
3. Análisis de Desajuste de Dominio: Vinculó este fallo a la persistente separación de la representación entre los conjuntos de datos, mostrando que PEFT reduce pero no elimina la brecha de dominio.
4. Contexto de Rendimiento: Reportó comparaciones de rendimiento contra líneas de base representativas de no-VFM de la literatura de segmentación de EM.

Significancia y Reivindicaciones
El artículo concluye que, si bien los VFM pueden ofrecer resultados competitivos para la segmentación de EM dentro de un único dominio utilizando la adaptación ligera, aún no son lo suficientemente "fundacionales" como para soportar un único modelo robusto a través de conjuntos de datos de EM heterogéneos sin mecanismos adicionales de alineación de dominio. Los autores argumentan que el cambio sustancial de dominio intra-modalidad dentro de la imagen de EM es un factor dominante que impide la generalización, y que las estrategias actuales de PEFT son insuficientes para alinear estas distribuciones distintas.

El estudio sugiere que el cuello de botella para la adopción de los VFM en la microscopía no es solo el cambio de imágenes naturales a imágenes biomédicas, sino la variabilidad inherente dentro de los propios conjuntos de datos de microscopía. En consecuencia, los mecanismos de alineación de dominio existentes, desarrollados mayoritariamente para imágenes naturales, pueden ser inadecuados para los dominios de imagen más variables que se encuentran en la microscopía. Los autores hacen un llamado a nuevos desarrollos metodológicos para permitir que los VFM se generalicen efectivamente sobre las modalidades de imagen y dentro de ellas.