Mitigating Pretraining-Induced Attention Asymmetry in 2D+ Electron Microscopy Image Segmentation

Este trabajo demuestra que los modelos preentrenados en imágenes RGB introducen un sesgo de atención asimétrica en la segmentación de imágenes de microscopía electrónica 2D+ debido a la asignación desigual de importancia a las capas vecinas, y propone una inicialización uniforme de los canales que restaura la simetría en la atribución de características sin comprometer la precisión de la segmentación.

Lo esencial

¡Hola! Imagina que estás intentando enseñarle a un robot a ver y entender el mundo. Este robot es muy inteligente y ya ha visto millones de fotos de gatos, coches, paisajes y frutas (estas son las "imágenes naturales" en color RGB). Ahora, quieres que ese mismo robot ayude a los científicos a ver cosas microscópicas, como células o fibras de materiales, que solo se ven en blanco y negro y en capas, como las páginas de un libro.

Aquí es donde surge el problema que resuelve este paper, y te lo explico con una analogía sencilla:

1. El Problema: El Robot con "Gafas de Color"

Imagina que el robot tiene unas gafas especiales que le enseñaron a usar cuando vio fotos de gatos y frutas. En esas fotos, el color verde es muy importante para ver la hierba, el rojo para las manzanas y el azul para el cielo. El robot aprendió que cada "canal" de color (rojo, verde, azul) tiene una tarea diferente y muy específica.

Ahora, le das al robot un libro de imágenes en blanco y negro (microscopía electrónica). Para usarlo, le dices: "Oye, toma la página anterior, la actual y la siguiente, y ponlas en los canales rojo, verde y azul de tus gafas".

El error: El robot, sin saberlo, sigue usando sus viejas gafas. Le dice: "¡Ah! Esta página es el 'canal verde', así que debo prestarle el doble de atención porque en las fotos de gatos el verde es muy importante". Pero en realidad, todas las páginas del libro son iguales; la página anterior y la siguiente deberían tener el mismo peso para entender la página central.

El robot está sesgado: le da más importancia a una página que a otra solo por el "color" (o canal) en el que la colocaste, aunque en la realidad no haya diferencia. Esto hace que el robot no sea justo y que, si alguien le pregunta "¿Por qué decidiste esto?", el robot te miente porque su explicación está basada en sus viejas gafas de color, no en la realidad.

2. La Solución: Ponerle "Lentes de Cristal Puro"

Los autores del paper descubrieron esto y dijeron: "¡Espera! Si todas las páginas son iguales, ¡tratémoslas por igual!".

Propusieron una solución muy simple pero genial:
En lugar de darle al robot las gafas de color originales (donde el rojo, verde y azul son diferentes), cogieron solo las lentes del canal verde (que suelen ser las más equilibradas en fotos normales) y las copiaron tres veces.

Ahora, el robot tiene tres lentes idénticas.

• Antes: Canal 1 (Rojo) = 10% de atención, Canal 2 (Verde) = 80%, Canal 3 (Azul) = 10%.
• Ahora: Canal 1 = 33%, Canal 2 = 33%, Canal 3 = 33%.

3. ¿Qué pasó después?

Hicieron las pruebas y descubrieron algo increíble:

1. El robot sigue siendo igual de inteligente: La precisión para cortar o detectar las células no bajó. De hecho, a veces mejoró un poco.
2. El robot ahora es justo: Ya no le da más importancia a una página que a otra por capricho. Sus "mapas de atención" (donde mira el robot) son simétricos y honestos.
3. Es más fácil de entender: Ahora, cuando los científicos miran por qué el robot tomó una decisión, pueden confiar en que es porque vio la estructura de la célula, no porque su cerebro estaba programado para amar el color verde.

En resumen

Este paper nos enseña que copiar y pegar modelos entrenados en fotos de colores a imágenes en blanco y negro tiene un truco oculto: el modelo sigue teniendo prejuicios de color.

La solución es tan sencilla como igualar las reglas del juego para todas las capas de información. Es como si, en un equipo de tres jugadores donde todos hacen lo mismo, dejaras de tratar a uno como al "capitán" solo porque lleva una camiseta de otro color. Al ponerles la misma camiseta a todos, el equipo funciona mejor, es más justo y todos entienden mejor qué está pasando.

¡Y eso es todo! Un pequeño ajuste en la "ropa" del robot hace que vea el mundo microscópico con mucha más claridad y justicia.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Mitigating Pretraining-Induced Attention Asymmetry in 2D+ Electron Microscopy Image Segmentation" (Mitigación de la Asimetría de Atención Inducida por el Preentrenamiento en la Segmentación de Imágenes de Microscopía Electrónica 2D+), traducido y adaptado al español.

---

1. Planteamiento del Problema

La segmentación de imágenes de microscopía electrónica (ME) a menudo utiliza datos volumétricos adquiridos como secciones seriadas, que se procesan como pilas de cortes adyacentes en escala de grises. Para aprovechar el aprendizaje por transferencia, la estrategia común consiste en mapear estas pilas de cortes a entradas pseudo-RGB (asignando cortes vecinos a los canales Rojo, Verde y Azul) para utilizar modelos preentrenados en grandes conjuntos de datos de imágenes naturales (como ImageNet).

El problema central identificado es:

• Asimetría de Canales Inducida: Los modelos preentrenados en imágenes RGB naturales han aprendido sesgos inductivos basados en la estadística del color humano (donde el canal verde contribuye desproporcionadamente a la percepción de luminancia).
• Incompatibilidad Estructural: En la microscopía electrónica, los canales de entrada representan cortes espaciales adyacentes de una misma estructura 3D. Estos cortes son homogéneos en modalidad y simétricos en su papel predictivo (el corte anterior y el posterior aportan contexto equivalente).
• Consecuencia: Al aplicar pesos preentrenados de RGB a datos de ME, los modelos asignan importancias desiguales a los canales de entrada (cortes), violando la simetría intrínseca de los datos. Esto compromete la interpretabilidad del modelo (los mapas de saliencia no reflejan la realidad estructural) y puede propagar interpretaciones biológicas sesgadas, incluso si la métrica de precisión de segmentación (Dice/IoU) se mantiene alta.

2. Metodología

El estudio se diseñó para caracterizar sistemáticamente esta asimetría y proponer una mitigación sin sacrificar el rendimiento predictivo.

A. Conjuntos de Datos y Configuración

Se utilizaron tres conjuntos de datos de imágenes en escala de grises convertidos a entradas de 3 canales (estrategia 2D+):

1. SNEMI: Imágenes de tejido cerebral (neuronas).
2. Lucchi: Segmentación de mitocondrias en tejido cerebral.
3. GF-PA66: Tomografía computarizada de rayos X de materiales compuestos (para verificar la generalización fuera del dominio biomédico).

B. Arquitecturas de Modelos

Se evaluaron tres arquitecturas de segmentación semántica 2D con diferentes paradigmas:

• DeepLabV3+ (Convolutional, con pooling piramidal espacial).
• U-Net (Encoder-Decoder con conexiones de salto).
• SegFormer (Basado en Transformers, con mecanismos de atención).
• Se probaron diferentes backbones (ResNet18, ResNet34, ResNet50).

C. Estrategias de Inicialización Comparadas

Para aislar el efecto de los pesos preentrenados, se compararon varias inicializaciones:

1. ImageNet (Estándar): Pesos originales de los canales R, G, B.
2. No Preentrenado (Non-pretrained): Inicialización aleatoria.
3. Inicialización Uniforme (Mitigación):
   • Uniform-Green: Copiar los pesos del canal verde de ImageNet a los tres canales de entrada.
   • Uniform-Blue / Uniform-Red: Copiar pesos de otros canales individuales.
   • Average: Promediar los pesos de los tres canales de ImageNet.
4. Preentrenamiento de Dominio: Entrenar primero en Lucchi y transferir a SNEMI.

D. Métricas de Evaluación

• Rendimiento de Segmentación: Dice Score, IoU, Precisión, Recall.
• Análisis de Asimetría (Salencia): Se calcularon mapas de saliencia (GradCAM++, occlusion, backpropagation) para medir la importancia atribuida a cada canal.
• Métricas de Disimetría: Se utilizó la Distancia de Wasserstein Simétrica (SWd) como métrica principal para cuantificar la diferencia de distribución de atención entre los canales laterales (ignificando la magnitud global, enfocándose en la simetría relativa). También se usó la Distancia de Wasserstein Completa (FWd).

3. Contribuciones Clave

1. Caracterización del Sesgo: Demostración empírica de que los modelos preentrenados en RGB introducen una asimetría sistemática y persistente en la atención a los canales de entrada de datos de microscopía electrónica, independientemente de la arquitectura (CNN o Transformer) o la métrica de saliencia utilizada.
2. Propuesta de Mitigación Simple: Introducción de una estrategia de inicialización de pesos llamada "Uniform-Green" (y variantes), donde se homogeneizan los pesos de entrada copiando un solo canal preentrenado a todos los canales.
3. Validación de la Simetría sin Pérdida de Rendimiento: Evidencia de que esta mitigación restaura la simetría en la atribución de características (haciendo que el modelo sea más interpretable) sin degradar la precisión de la segmentación, e incluso mejorando ligeramente el equilibrio entre precisión y recall en algunos casos.
4. Generalización del Fenómeno: Demostración de que el problema no es exclusivo de la biología, sino que afecta a cualquier dominio de imágenes en escala de grises procesado como pilas 2D+ (ej. materiales compuestos).

4. Resultados Principales

• Rendimiento de Segmentación:
  • Los modelos no preentrenados tuvieron un rendimiento significativamente inferior.
  • Los modelos preentrenados con ImageNet y las estrategias de mitigación (Uniform-Green, Average) lograron resultados estadísticamente equivalentes en métricas de superposición (Dice, IoU). Esto confirma que la mitigación no sacrifica la capacidad predictiva.
• Asimetría de Saliencia (Hallazgo Crítico):
  • Los modelos con pesos de ImageNet mostraron una alta asimetría (alta SWd), favoreciendo desproporcionadamente el canal central o uno de los laterales, dependiendo de la arquitectura.
  • Los modelos con inicialización Uniform-Green redujeron drásticamente la asimetría (SWd cercana a cero), logrando una distribución de atención casi simétrica entre los canales laterales.
  • La estrategia "Average" (promedio) fue menos efectiva que "Uniform-Green" en la reducción de la asimetría.
• Independencia del Modelo:
  • La asimetría se observó consistentemente en DeepLabV3+, U-Net y SegFormer, así como en diferentes profundidades de ResNet. Esto indica que el sesgo proviene de la inicialización de los pesos de los canales, no de la arquitectura en sí.
• Robustez de la Métrica:
  • La asimetría persistió a través de diferentes métodos de cálculo de saliencia (GradCAM++, occlusion, etc.), confirmando que es una propiedad intrínseca del modelo entrenado y no un artefacto de la técnica de visualización.

5. Significado e Impacto

Este trabajo es significativo por varias razones para la comunidad de visión por computadora y bioinformática:

1. Fiabilidad Interpretativa: En aplicaciones biomédicas, la interpretabilidad es crucial. Si un modelo asigna más importancia a un corte "izquierdo" que a uno "derecho" solo por un sesgo de entrenamiento en color, las conclusiones biológicas derivadas de los mapas de atención pueden ser engañosas. La mitigación propuesta asegura que la atención del modelo refleje la estructura real de los datos.
2. Mejora de Transfer Learning: Proporciona una guía práctica y de bajo costo computacional para adaptar modelos fundacionales (Foundation Models) a dominios especializados donde la simetría de los canales es fundamental.
3. Reutilización de Pesos: Sugiere que los pesos preentrenados específicos de dominio (como los entrenados en Lucchi) o las inicializaciones uniformes pueden servir como mejores puntos de partida que los pesos genéricos de ImageNet para datos 2D+.
4. Recomendación Práctica: Para investigadores que trabajan con datos de microscopía electrónica en formato 2D+, se recomienda encarecidamente utilizar inicializaciones uniformes (específicamente Uniform-Green o promedios) en lugar de los pesos RGB estándar para evitar sesgos de atención no deseados.

En conclusión, el artículo demuestra que la simple adaptación de la inicialización de los canales puede alinear los sesgos inductivos de los modelos preentrenados con la simetría estructural de los datos científicos, mejorando la transparencia y la fiabilidad de los sistemas de IA en la ciencia de materiales y la biología.