Resumen Técnico: MorphoHELM

Enunciado del Problema

La perfilación morfológica basada en microscopía, particularmente el ensayo Cell Painting, es una piedra angular del descubrimiento de fármacos y la genómica funcional, capturando respuestas celulares holísticas ante perturbaciones. Aunque el aprendizaje profundo se ha proliferado como método para extraer representaciones de imágenes, la evaluación de estas representaciones sigue siendo fragmentada. Los estudios existentes suelen evaluar modelos en tareas personalizadas, utilizando pipelines de preprocesamiento y métricas dispares, lo que impide una comparación justa entre estudios. Además, los benchmarks anteriores a menudo se centran en configuraciones estrechas, sin cuantificar sistemáticamente cómo se degrada la calidad de la representación bajo diversos grados de ruido técnico (efectos de lote). Esta falta de estandarización oscurece las compensaciones entre métodos, como si un modelo sobresale en la detección de perturbaciones químicas pero falla en las genéticas, o si funciona bien dentro de un solo laboratorio pero falla entre instituciones.

Metodología

Los autores introducen MorphoHELM (Evaluación Holística de Representaciones Morfológicas Aprendidas), un benchmark abierto y exhaustivo diseñado para estandarizar la evaluación de los métodos de extracción de características para datos de Cell Painting.

Diseño del Benchmark

MorphoHELM evalúa las representaciones en tres tareas principales de recuperación de señales biológicas:

1. Enriquecimiento del Mecanismo de Acción (MoA): Recuperar compuestos con mecanismos de acción similares dado un compuesto de consulta.
2. Enriquecimiento de Vías Génicas: Recuperar genes con funciones similares (por ejemplo, misma vía o complejo proteico) dado un knockout de gen de consulta.
3. Consistencia en la Recuperación de Réplicas: Recuperar réplicas biológicas de la misma perturbación.

Una innovación central es la evaluación de estas tareas a través de cuatro niveles de rigor en el efecto de lote para cuantificar la robustez:

• Sin Restricción (NR): Línea base; los candidatos pueden ser cualquier muestra.
• No Mismo Lote (NSB): Se excluyen candidatos del mismo lote experimental.
• No Mismo Origen (NSS): Se excluyen candidatos de la misma institución (probando cambios de dominio como diferencias de hardware).
• No Mismo Diseño (NSL): Se excluyen candidatos que comparten la misma posición en la placa (probando efectos de lote inducidos por la posición).

Métricas

El benchmark armoniza y corrige las métricas existentes para garantizar la robustez:

• Tareas de Enriquecimiento: Los autores informan tanto la Fracción Significativa (porcentaje de consultas con enriquecimiento estadísticamente significativo mediante pruebas de permutación) como la Mediana Geométrica de la Razón de Probabilidades (OR). Sustituyen la media aritmética de la OR por la media geométrica y aplican una corrección modificada de Haldane-Anscombe para evitar que los valores infinitos sesguen los resultados cuando las clases biológicas tienen pocos miembros.
• Recuperación de Réplicas: Los autores utilizan Recall@1 del Vecino k-Nearest (kNN) y la Precisión Media (mAP). Evitan explícitamente las métricas de agrupamiento (como Leiden ARI/NMI) para pantallas a gran escala, demostrando que tales métricas son frágiles y están impulsadas por la dimensionalidad latente en lugar de la señal biológica cuando el número de perturbaciones únicas es alto en relación con las réplicas.

Datos y Modelos

El benchmark agrega datos de la Colección de Referencia de Bioimágenes del Broad (BBBC) y del consorcio JUMP-Cell Painting (JUMP-CP). Evalúa un conjunto diverso de estrategias de representación:

• Clásicos: Características hechas a mano de CellProfiler.
• Aprendizaje por Transferencia: Modelos fundamentales de imágenes naturales (ResNet101 entrenado en ImageNet, DINOv2).
• Específicos del Dominio: Modelos fundamentales de microscopía preentrenados en Cell Painting (OpenPhenom), conjuntos de datos de microscopía distintos (SubCell) y datos multimodales de estructura química (CLOOME).

Preprocesamiento

Para garantizar la equidad, se aplica un pipeline de postprocesamiento estandarizado a todos los métodos: escalado por placa, Análisis de Componentes Principales (PCA) para reducir la dimensionalidad y eliminar ruido, y estandarización robusta mediante la Desviación Absoluta Mediana (MAD). Los autores señalan que este pipeline beneficia desproporcionadamente a las características hechas a mano de alta dimensionalidad y redundantes (CellProfiler), corrigiendo las subestimaciones anteriores de su rendimiento.

Resultados Clave

• No hay un Ganador Universal: Ningún modelo existente supera a las estrategias analíticas clásicas de visión por computadora (CellProfiler) en todas las configuraciones y tareas. Las características de CellProfiler siguen siendo las representaciones de uso general más fuertes, particularmente para la consistencia en la recuperación de réplicas.
• Rendimiento de Modelos Fundamentales: Los modelos fundamentales de imágenes naturales (específicamente DINOv2) generalmente superan a los modelos fundamentales específicos de microscopía en tareas de enriquecimiento de MoA, probablemente debido a sus extensos datos de entrenamiento auto-supervisados. Sin embargo, los modelos específicos de microscopía no superan consistentemente a los modelos de imágenes naturales.
• Compensaciones Específicas de la Tarea: Los modelos exhiben compensaciones distintas. Por ejemplo, CLOOME sobresale en el enriquecimiento de vías génicas pero tiene un rendimiento deficiente en el enriquecimiento de MoA y la recuperación de réplicas. Por el contrario, los modelos de imágenes naturales pueden capturar una amplia gama de MoAs pero pierden asociaciones específicas encontradas por otros modelos.
• Sensibilidad al Efecto de Lote: El rendimiento se degrada significativamente a medida que aumenta el rigor del efecto de lote. En la configuración "No Mismo Origen", todos los modelos funcionan por debajo del umbral estadístico de significancia en el enriquecimiento de MoA, lo que indica que recuperar compuestos biológicamente similares entre diferentes instituciones sigue siendo un problema sin resolver.
• Recuperación de Réplicas: En las tareas de recuperación de réplicas, las características de CellProfiler son superiores a las estrategias de aprendizaje de representaciones en la mayoría de las configuraciones. Los autores atribuyen esto a la robustez de las características hechas a mano cuando se combinan con la reducción de dimensionalidad, mientras que los incrustamientos de aprendizaje profundo pueden ser más sensibles al ruido de muestras individuales sin un promediado extenso.

Significado y Afirmaciones

El artículo afirma que MorphoHELM proporciona el primer marco exhaustivo y estandarizado para evaluar representaciones morfológicas, revelando compensaciones críticas que anteriormente estaban ocultas por estándares de evaluación fragmentados.

• Corrección de Conceptos Erróneos: Al estandarizar el postprocesamiento (específicamente PCA y escalado), el benchmark demuestra que las características de CellProfiler han sido subestimadas en la literatura anterior.
• Robustez sobre el Rendimiento Pico: El benchmark destaca que, aunque algunos modelos alcanzan puntuaciones altas en configuraciones permisivas, a menudo fallan bajo condiciones estrictas entre laboratorios. Esto sugiere que los enfoques actuales de aprendizaje profundo aún no han resuelto el problema de detectar señales biológicas en entornos de alto ruido y entre dominios.
• Rigor Metodológico: Los autores argumentan que la elección de métricas y preprocesamiento altera significativamente las conclusiones del benchmark. Advierten específicamente contra el uso de métricas de agrupamiento para pantallas a gran escala y abogan por el uso de medias geométricas de OR para manejar clases biológicas dispersas.

En última instancia, MorphoHELM sirve como una herramienta para guiar el desarrollo futuro de modelos, enfatizando que el objetivo no es solo obtener puntuaciones más altas en tablas de clasificación en condiciones ideales, sino representaciones robustas y generalizables capaces de funcionar a través de diversas realidades experimentales. Los autores ponen sus conjuntos de datos, código y herramientas de evaluación a disposición del público para facilitar este progreso.