Deep Learning for BioImaging: What Are We Learning?

1. El Problema

Aunque el aprendizaje de representaciones ha impulsado avances masivos en el análisis de imágenes naturales (como ImageNet), su aplicación en la microscopía biológica presenta interrogantes fundamentales. A pesar del auge de los modelos fundacionales (foundation models) entrenados en grandes volúmenes de datos de microscopía (como Cell Painting o histopatología), no está claro qué es lo que estos modelos realmente aprenden.

El problema central es que las métricas de evaluación estándar en biología a menudo pueden estar sesgadas por:

• Efectos de lote y artefactos experimentales: Los modelos pueden aprender patrones técnicos (iluminación, disposición de placas) en lugar de la biología subyacente.
• Atajos (Shortcuts): Los modelos podrían estar aprovechando correlaciones superficiales en los datos en lugar de adquirir abstracciones biológicas de alto nivel.
• Falta de diagnósticos: Las puntuaciones de rendimiento actuales no distinguen si un modelo ha aprendido morfología celular real o simplemente está explotando sesgos estructurales del conjunto de datos.

2. Metodología

Los autores realizaron un estudio sistemático comparando modelos fundacionales de última generación contra un conjunto de líneas base (baselines) simples pero reveladoras, diseñadas para aislar qué tipo de información es suficiente para resolver las tareas.

Datos y Escalas

Se evaluaron dos escalas biológicas críticas:

1. Cultivo celular (Cell Culture): Utilizando los conjuntos de datos RxRx3-core y JUMP-CP (Cell Painting).
2. Tejido (Tissue): Utilizando HEST-1k (transcriptómica espacial acoplada a imágenes de histología H&E).
3. Referencia: Imágenes naturales (ImageNet-1k) para contrastar el comportamiento de los modelos.

Líneas Base Propuestas

Para diagnosticar qué aprenden los modelos, introdujeron tres familias de baselines:

1. Estadísticas de píxeles: Promedios, desviaciones estándar y asimetría por canal. Ignoran la estructura espacial y la morfología.
2. Modelos no entrenados (Untrained Models): Redes neuronales profundas (ResNet, ViT) con pesos inicializados aleatoriamente. Sirven para medir cuánto contribuyen los sesgos inductivos arquitectónicos (como la localidad en CNNs o la tokenización en Transformers) frente al aprendizaje real de contenido biológico.
3. Estructura de tejido desentrelazada (Disentangled Tissue Structure): Representaciones que conservan la organización espacial de las células (centroides de núcleos) pero eliminan completamente la apariencia, textura y tinción. Esto se logra mediante:
   • Imágenes binarias de grafos celulares.
   • Nubes de puntos (point clouds) de coordenadas de células.

Protocolo de Evaluación

• Se extrajeron embeddings congelados de modelos fundacionales (OpenPhenom, H-Optimus, DINOv2, UNI, etc.) y se compararon con las líneas base.
• Se evaluaron tareas de recuperación (retrieval) de genes y compuestos químicos, así como la predicción de expresión génica a partir de imágenes de tejido.
• Se analizó el rendimiento a través de diferentes capas intermedias de las redes para observar la evolución de las representaciones.

3. Contribuciones Clave

1. Demostración de la insuficiencia de las métricas actuales: Se muestra que las puntuaciones altas en benchmarks de microscopía no garantizan la adquisición de características biológicas de alto nivel.
2. Líneas base diagnósticas: La introducción de modelos no entrenados y representaciones de estructura pura como herramientas obligatorias para interpretar el rendimiento de los modelos fundacionales.
3. Análisis de sesgos arquitectónicos: Evidencia de que en tareas de microscopía, los sesgos arquitectónicos (especialmente en ViTs) pueden dominar el rendimiento tanto como el aprendizaje supervisado.
4. Nuevas direcciones para la evaluación: Propuesta de que el progreso requiere benchmarks más diagnósticos que midan qué se aprende realmente, no solo la precisión final.

4. Resultados Principales

A. Nivel Celular (RxRx3-core y JUMP-CP)

• Rendimiento sorprendente de modelos no entrenados: En la tarea de recuperación de relaciones gen-gen en RxRx3-core, los ViTs no entrenados (con pesos aleatorios) rindieron de manera comparable a los modelos fundacionales preentrenados (como OpenPhenom y DINOv3).
• Límites de las CNNs: Las representaciones de ResNet (entrenadas o no) tuvieron un rendimiento pobre en estas tareas, sugiriendo que la arquitectura ViT es intrínsecamente mejor para capturar ciertas correlaciones en datos de microscopía, incluso sin entrenamiento.
• Correlación de rankings: Los rankings de similitud entre genes generados por modelos preentrenados y no entrenados estaban altamente correlacionados, indicando que ambos explotan esencialmente la misma señal relacional (probablemente basada en atajos de bajo nivel o estructura del dataset) en lugar de abstracciones biológicas profundas.
• Comportamiento de capas: A diferencia de ImageNet, donde el rendimiento mejora monótonamente con la profundidad, en microscopía el rendimiento a menudo se estanca o disminuye en las capas más profundas para modelos no entrenados, mientras que los modelos preentrenados muestran mejoras solo en tareas específicas (como ciertos compuestos en JUMP-CP).

B. Nivel de Tejido (HEST-1k)

• La estructura es una señal fuerte: En subconjuntos de tejidos (como COAD y PRAD), los modelos basados solo en la estructura (grafos de coordenadas de células) compitieron e incluso superaron a los codificadores de visión fuera de dominio (OOD).
• El papel de la morfología: Sin embargo, en otros tejidos (como CCRCC y SKCM), los modelos fundacionales entrenados en histología (in-domain) superaron a las líneas base de estructura, demostrando que la morfología celular y la textura aportan información biológica adicional que la mera organización espacial no captura.
• Correlación con el conteo celular: Se observó que el rendimiento de los modelos basados en estructura a menudo se correlaciona fuertemente con el simple conteo de células, lo que sugiere que parte del "éxito" de estos modelos podría deberse a estimar densidad celular en lugar de patrones organizativos complejos.

5. Significado e Implicaciones

El trabajo concluye que el progreso en el aprendizaje de representaciones para imágenes de microscopía no se logra únicamente con modelos más grandes o potentes, sino que requiere:

1. Benchmarking más riguroso: Las métricas actuales a menudo enmascaran limitaciones. Es necesario incluir líneas base simples (no entrenadas, estadísticas de píxeles, estructura pura) para calibrar qué parte del rendimiento proviene del aprendizaje biológico real y qué parte de sesgos o atajos.
2. Reevaluación de los modelos fundacionales: Muchos modelos actuales pueden estar aprendiendo "atajos" específicos del conjunto de datos o aprovechando sesgos arquitectónicos en lugar de adquirir abstracciones biológicas universales.
3. Nuevas direcciones de investigación: Se necesita desarrollar métodos que disuelvan explícitamente la morfología, la textura y la organización espacial para entender qué contribuye realmente a la generalización biológica. Además, se debe investigar cómo integrar niveles de abstracción interpretables en el entrenamiento.

En resumen, el artículo actúa como una llamada de atención para la comunidad de IA en biología: no asumamos que un modelo con alta puntuación en un benchmark ha aprendido biología; primero debemos descartar que esté simplemente contando células o explotando la arquitectura de la red.