Transformation Behavior of Images in Latent Space

Resumen Técnico: Comportamiento de Transformación de Imágenes en el Espacio Latente

Planteamiento del Problema
El entrenamiento de redes neuronales para la clasificación de histopatología a menudo depende de la codificación de datos en un espacio latente para reducir la complejidad y mejorar el rendimiento. Si bien las transformaciones de datos (por ejemplo, volteo, recorte, aumentación de color) son una práctica estándar para ampliar artificialmente los conjuntos de datos, y las redes "embedder" (codificadoras) no supervisadas se utilizan cada vez más para crear representaciones compactas e informativas, el comportamiento específico de estos espacios latentes bajo transformación sigue siendo poco investigado.

Idealmente, una red embedder perfecta entrenada con datos infinitos haría que el espacio latente fuera invariante a las transformaciones irrelevantes para la etiqueta, lo que significa que el vector latente para una imagen y su versión transformada serían idénticos. Sin embargo, dados los recursos finitos, tales redes perfectas no existen. La pregunta de investigación central es: ¿Cómo se comportan las redes embedder no supervisadas bajo las transformaciones de datos comúnmente aplicadas? Específicamente, los autores buscan cuantificar la varianza de los embeddings resultantes de transformaciones estándar y evaluar si estas redes logran una verdadera invariancia o simplemente robustez.

Metodología
El estudio llevó a cabo un análisis sistemático de 392 experimentos involucrando ocho conjuntos de datos distintos, siete redes embedder diferentes y siete transformaciones de imagen específicas.

• Conjuntos de Datos: Se utilizaron dos conjuntos de datos de Imágenes de Portaobjetos Completos (WSI):

  1. TCGA: La colección de Adenocarcinoma de Colon de código abierto (1,330 WSIs).
  2. CAD: Un conjunto de datos no público de adenomas de colon del Hospital Universitario de Heidelberg y el Hospital Universitario de Bonn (520 WSIs).
  • Las imágenes se procesaron en teselas de 256x256 píxeles a resoluciones de 0.25, 0.5, 1.0 y 2.0 micras por píxel (mpp). Las teselas de fondo fueron excluidas mediante la detección de bordes de Canny.

• Redes: Se evaluaron siete modelos pre-entrenados no supervisados, que representan diferentes arquitecturas y metodologías de entrenamiento:

  • Basadas en ResNet50: Meta SwAV (200 épocas, línea base de ImageNet), Lunit Barlow Twin, Lunit MoCoV2 y Lunit SwAV (entrenada en datos de patología).
  • Basadas en Vision Transformer (ViT): Lunit DINO (08 y 16), y el modelo de gran escala H-Optimus-0 (H0) de Bioptimus (1.1 mil millones de parámetros, entrenado con 500k diapositivas de patología utilizando DINOv2).
  • Métodos de Entrenamiento: Barlow Twin (BT), Momentum Contrast v2 (MoCoV2), Swapping Assignment between Views (SwAV) y Auto-destilación sin etiquetas (DINO).

• Transformaciones: El estudio aplicó siete transformaciones a las teselas de imagen: volteo horizontal, volteo vertical, recorte aleatorio, jitter de color, conversión a escala de grises, normalización de color y una "imagen de comparación aleatoria" (que sirve como línea base para embeddings no relacionados).

• Métricas y Análisis:

  1. Distancia de Norma L2: Se calculó la distancia euclidiana entre el vector latente original y el transformado. Estas distancias se normalizaron contra la distancia promedio entre embeddings aleatorios y no relacionados (Distancia Aleatoria Promedio, ARD) para permitir la comparación entre redes.
  2. Distribución Dimensional: El estudio analizó qué dimensiones específicas en el espacio latente contribuyeron más al cambio de distancia, ordenando las dimensiones de mayor a menor afectación.
  3. Índice de Jaccard Generalizado (GJI): Para cuantificar el solapamiento de las dimensiones más afectadas a través de diferentes transformaciones, los autores desarrollaron una métrica GJI. Esta mide la similitud de los conjuntos de dimensiones que más cambian, evaluando el grado de desenredamiento de características (es decir, si las diferentes transformaciones afectan a las mismas o a distintas dimensiones).

Resultos Clave

• Robustez vs. Invariancia: Los embeddings de las imágenes originales y transformadas estuvieron consistentemente más cerca entre sí que de los embeddings aleatorios, lo que indica un grado de robustez. Sin embargo, las distancias no fueron cero, demostrando que las redes no son totalmente invariantes a las transformaciones. Esto respalda la utilidad de la aumentación de datos mediada por transformaciones, ya que las redes no neutralizan completamente los efectos de la transformación.
• Impacto de la Transformación: Las transformaciones basadas en el color (por ejemplo, jitter de color, escala de grises) indujeron cambios mayores en el espacio latente en comparación con las transformaciones espaciales (por ejemplo, volteo, recorte). Esto sugiere que las variaciones de color, que a menudo derivan de diferencias entre escáneres, impactan significativamente la representación latente.
• Comparación de Redes:
  • General vs. Específica de Patología: Las redes entrenadas específicamente en imágenes de histopatología (modelos Lunit y Bioptimus) exhibieron generalmente una mayor invariancia a las transformaciones espaciales (como los volteos verticales) en comparación con la línea base de Meta entrenada en ImageNet. La red Meta mostró cambios mayores para el volteo vertical, probablemente porque la orientación vertical conlleva un significado semántico en imágenes naturales pero no en histopatología.
  • Desenredamiento (Disentanglement): La red H-Optimus-0 (H0) demostró el mejor desenredamiento de características, evidenciado por el Índice de Jaccard Generalizado más bajo (0.091). Esto indica que las diferentes transformaciones afectaron a conjuntos distintos de dimensiones en la red H0. Por el contrario, las redes Lunit SwAV y Meta SwAV mostraron un mayor solapamiento (GJI > 0.39), lo que sugiere un desenredamiento menos efectivo.
• Comportamiento Dimensional: Ninguna dimensión fue enteramente invariante. Aunque unas pocas dimensiones contribuyeron más al cambio para cualquier transformación dada, los cambios se distribuyeron a través del espacio latente en lugar de estar localizados en características específicas.

Significancia y Reivindicaciones
El artículo afirma que medir la invariancia proporciona un método directo e interpretable para evaluar la calidad de los espacios latentes y comparar diferentes redes embedder sin depender únicamente del rendimiento en tareas posteriores (downstream).

• Implicaciones Prácticas: Los hallazgos subrayan la importancia continua de las aumentaciones de imagen clásicas en los procesos de preprocesamiento, particularmente la normalización de color, para mitigar el impacto significativo de las variaciones de color inducidas por el escáner en los embeddings latentes.
• Perspectiva Teórica: El estudio revela que las redes no supervisadas de vanguardia actuales no logran un desenredamiento ni una invariancia perfectos. La observación de que las diferentes transformaciones a menudo afectan a las mismas dimensiones latentes sugiere que las redes no separan completamente las características subyacentes de la imagen.
• Perspectiva Futura: Los autores postulan que, si bien estas desviaciones de la invariancia ideal son esperadas dado los recursos de entrenamiento finitos, sigue siendo una pregunta abierta si la alta sensibilidad a las transformaciones impacta negativamente el rendimiento de la clasificación posterior. La metodología propuesta ofrece una herramienta para la comparación sistemática de las estructuras de los espacios latentes, ayudando en la búsqueda de espacios latentes mejor estructurados en el aprendizaje de representaciones.