Resumen Técnico: Efectos del Cosido y la Dimensionalidad en Grandes Conjuntos de Datos de Volúmenes Generados Artificialmente

Planteamiento del Problema

La generación de imágenes basada en aprendizaje profundo, particularmente para tareas de transferencia de estilo, enfrenta restricciones computacionales inherentes al procesar conjuntos de datos científicos a gran escala (por ejemplo, volúmenes de criomicroscopía electrónica). Los límites de hardware actuales para el tamaño de los datos procesables en una sola pasada hacia adelante (forward pass) obligan a dividir los grandes volúmenes en parches más pequeños, procesarlos individualmente y reensamblarlos, un proceso denominado "cosido" (stitching).

Este proceso de ensamblaje introduce artefactos de cosido, donde los parches vecinos no logran alinearse perfectamente en sus bordes debido al procesamiento independiente, la normalización o el uso de convoluciones con relleno (padding) que introducen información de píxeles no inherente. Si bien se sabe que estos artefactos impactan las tareas de segmentación, su influencia específica en modelos generativos para transferencia de estilo y análisis científico posterior sigue siendo poco comprendida. Además, los investigadores se enfrentan a una decisión crítica respecto a la dimensionalidad del parche: si ensamblar volúmenes a partir de cortes 2D (rebanada por rebanada) o parches 3D. Aunque los enfoques 3D ofrecen una mayor información contextual, incurren en costos computacionales significativos y limitaciones de memoria, lo que a menudo obliga a utilizar tamaños de lote (batch sizes) más pequeños que pueden desestabilizar el entrenamiento.

Metodología

Los autores investigaron estos problemas utilizando modelos CycleGAN entrenados en conjuntos de datos de criomicroscopía electrónica (cryoEM), específicamente traduciendo entre volúmenes mitocondriales de rata y humanos (conjunto de datos MitoEM) y validando en el conjunto de datos openorganelle.

Diseño Experimental

El estudio evaluó sistemáticamente tres variables principales:

1. Estrategias de Cosido:
   • Tile-and-Stitch (Tesela y Cosido): Utiliza convoluciones válidas (sin relleno) durante el entrenamiento e inferencia. Los parches de salida se recortan de acuerdo con el factor de submuestreo para eliminar los artefactos de borde, y los parches vecinos se desplazan para coincidir con el tamaño del recorte, asegurando que no haya solapamiento.
   • Convoluciones con Relleno con Promedio de Solapamiento: Utiliza relleno de ceros durante la inferencia con un "halo" de relleno reflectante. Los parches se ensamblan con solapamiento, y las regiones superpuestas se promedian para mitigar las costuras.
   • Convoluciones Válidas sin Solapamiento: Utiliza convoluciones válidas pero mantiene el tamaño original del parche de entrada para el paso (step size), lo que resulta en la ausencia de solapamiento y de recorte en la salida.
2. Dimensionalidad del Parche: Comparación de modelos 2D (procesando rebanada por rebanada) frente a modelos 3D (procesando parches volumétricos). Se probó un tercer enfoque, Orthoslice (Corte Ortogonal), que realiza un ensamble de predicciones desde tres direcciones 2D ortogonales.
3. Métricas de Evaluación:
   • Calidad Perceptual: Medida mediante la Distancia de Fréchet Inception (FID) entre los volúmenes generados y el dominio objetivo.
   • Desempeño en Tareas Posteriores (Downstream): Medido mediante la Intersección sobre la Unión (IoU) en una tarea de segmentación semántica (segmentación de mitocondrias) utilizando una U-Net 3D entrenada con los volúmenes generados.

Arquitectura del Modelo y Entrenamiento

• Generadores: Arquitecturas tipo UNet con 5 pasos de submuestreo mediante convoluciones con salto (strided convolutions).
• Ajustes de Entrenamiento: Las estadísticas de la normalización de instancia se congelaron durante la inferencia para prevenir artefactos de normalización específicos de cada parche. Se incorporó una pérdida adicional de Similitud Estructural (SSIM) para preservar las características estructurales.
• Manejo de Datos: Se excluyeron durante el entrenamiento los parches con baja varianza (mayormente fondo). Las estadísticas de normalización global se recolectaron durante el entrenamiento y se congelaron para la inferencia para asegurar la consistencia entre parches.

Resultados Clave

1. Limitaciones de las Métricas Perceptuales (FID)

El estudio encontró que las puntuaciones FID son insuficientes para evaluar la calidad de los volúmenes científicos generados en el contexto de tareas posteriores.

• El FID no logró detectar artefactos de cosido sutiles que impactaron significativamente el desempeño de la segmentación posterior.
• Los volúmenes con las mejores puntuaciones de FID (más cercanos al dominio objetivo perceptualmente) no necesariamente produjeron los mejores resultados de segmentación. Por el contrario, los volúmenes con FID deficientes a veces correlacionaron con un menor desempeño de segmentación, pero la métrica no fue un predictor confiable de la utilidad específica de la tarea.

2. Impacto del Cosido en Tareas Posteriores

• Propagación de Artefactos: Incluso los artefactos de cosido sutiles, invisibles al ojo humano en los mapas de probabilidad, se propagaron a las máscaras de segmentación finales, causando errores a lo largo de los límites de los parches.
• Cosido Óptimo: El enfoque Tile-and-Stitch (convoluciones válidas con recorte) produjo consistentemente los resultados de segmentación más robustos, superando a los métodos de promedio de solapamiento y de sin solapamiento.
• Cosido 2D vs. 3D: El impacto negativo de los artefactos de cosido (por ejemplo, en los métodos de promedio de solapamiento) fue más pronunciado en los modelos 3D que en los 2D.

3. Dimensionalidad y Estabilidad del Entrenamiento

• Estabilidad del Entrenamiento: Los modelos 2D entrenados con tamaños de lote más grandes fueron significativamente más estables que los modelos 3D, los cuales se vieron limitados a un tamaño de lote de 1 debido a las restricciones de memoria. Esta estabilidad resultó en puntuaciones de FID más consistentes y menos valores atípicos extremos en el entrenamiento 2D.
• Compromiso de Desempeño: Los modelos 3D con cosido libre de artefactos (Tile-and-Stitch) superaron marginalmente a los modelos 2D en las tareas de segmentación 3D, pero la mejora fue pequeña (las diferencias aparecieron a menudo solo en el tercer o cuarto decimal de la IoU). Los autores concluyen que esta ganancia marginal apenas justifica el costo computacional adicional de entrenar y almacenar modelos 3D.
• Ensamble (Orthoslice): El ensamble de predicciones desde tres direcciones ortogonales mejoró la calidad de los volúmenes de baja calidad (aquellos con artefactos iniciales), pero no proporcionó ningún beneficio para los resultados que ya eran de alta calidad.

Significancia y Reivindicaciones

El artículo afirma ser el primero en investigar sistemáticamente la interacción entre las estrategias de cosido, la dimensionalidad del parche y su efecto combinado tanto en las métricas perceptuales como en las tareas científicas posteriores en la transferencia de estilo para grandes conjuntos de datos biomédicos 3D.

Los autores enfatizan tres contribuciones principales:

1. Validez de la Métrica: Demuestran que las métricas perceptuales como FID son inadecuadas para evaluar la adaptación de dominio en imágenes biomédicas cuando el objetivo final es una tarea analítica posterior. La evaluación debe incluir métricas de desempeño de la tarea posterior.
2. Mejores Prácticas: Establecen que el cosido libre de artefactos (mediante convoluciones válidas y recorte) es crítico para maximizar el desempeño en tareas posteriores, incluso si los artefactos visuales son imperceptibles. También recomiendan el uso de estadísticas de normalización global para prevenir artefactos específicos de los parches.
3. Guía Práctica: El estudio sugiere que, aunque los modelos 3D ofrecen una ventaja teórica mediante un mayor contexto, los beneficios prácticos suelen verse negados por la inestabilidad del entrenamiento causada por los pequeños tamaños de lote. Para la mayoría de las aplicaciones, los modelos 2D estables con protocolos de cosido rigurosos pueden ser la opción más eficiente, a menos que la ganancia marginal de los modelos 3D sea estrictamente requerida.

Finalmente, los autores lanzaron un código de CycleGAN revisado y eficiente en memoria, capaz de manejar conjuntos de datos arbitrariamente grandes mediante el formato Zarr, diseñado para facilitar un cosido transparente y libre de artefactos para la comunidad de bioimagen.