Resumen Técnico: SAFViT – Fusión de Atención Espacial con Compuerta para la Segmentación y Clasificación de Núcleos Basada en Vision Transformers

Planteamiento del Problema

La segmentación y clasificación precisas de células son críticas para la patología digital, permitiendo el análisis cuantitativo de tejidos para el diagnóstico y la planificación del tratamiento. Aunque las arquitecturas de codificador-decodificador con conexiones de salto (e.g., U-Net, CellViT) se han convertido en el paradigma dominante, estas dependen de conexiones de salto directas estándar que tratan todas las ubicaciones espaciales y canales como igualmente informativos. Este enfoque suele propagar información redundante o conflictiva desde las etapas tempranas del codificador hacia el decodificador.

Los mecanismos de compuerta existentes (e.g., Puertas de Atención, Squeeze-and-Excitation) intentan filtrar la información del codificador, pero típicamente operan de manera unilateral, tratando las características del decodificador simplemente como señales de compuerta fijas. Este filtrado unidireccional ignora el beneficio potencial de la información contextual global proveniente del decodificador y no logra aprender conjuntamente dónde los detalles de los bordes locales (del codificador) frente al contexto global (del decodificador) son más fiables para cada píxel específico.

Metodología

Los autores proponen SAFViT (Spatial Attention Fusion Vision Transformer), una arquitectura basada en CellViT que reemplaza las conexiones de salto convencionales con un novedoso módulo de Compuerta de Fusión de Atención Espacial (SAF).

Descripción de la Arquitectura

• Backbone: El modelo utiliza un codificador transformer Swin-Tiny preentrenado en ImageNet, procesando parches de imágenes teñidas con H&E (224×224) a través de cuatro etapas jerárquicas.
• Decodificador: Una vía ascendente (bottom-up) aumenta progresivamente la resolución de las características más profundas del codificador.
• Cabezales (Heads): El tensor de características final alimenta tres cabezales específicos para la tarea:
  1. Presencia de Núcleos (NP): Máscara binaria para la detección de núcleos.
  2. Horizontal–Vertical (HV): Mapas de distancia para la separación de instancias (vía watershed).
  3. Tipo de Núcleo (NT): Clasificación multiclase (Neoplásico, Inflamatorio, Conectivo, Muerto, Epitelial).

El Mecanismo de Compuerta SAF

A diferencia de las puertas de atención estándar que filtran solo el flujo del codificador, el módulo SAF trata las características de salto del codificador ($F_{local}$) y las características upsampled del decodificador ($F_{global}$) como candidatos duales e iguales para la fusión.

1. Concatenación: Los dos flujos se concatenan a lo largo del eje de canales.
2. Compresión: La representación conjunta pasa a través de dos convoluciones de punto por punto (1×1) con una activación ReLU intermedia, creando una estructura de cuello de botella (bottleneck).
3. Generación del Mapa de Calor de Confianza: Una convolución final de 1×1 proyecta las características a dos canales, seguida de un softmax por canal. Esto produce un "mapa de calor de confianza" por píxel ($w_{local}, w_{global}$) donde los pesos suman la unidad en cada ubicación espacial.
4. Fusión: Los pesos combinan adaptativamente los flujos: $F_{blend} = w_{local} \odot F_{local} + w_{global} \odot F_{global}$.
5. Refinamiento: Una convolución de 3×3 con normalización por lote (batch normalization) y ReLU suaviza las características fusionadas antes de pasarlas a la siguiente etapa.

Este mecanismo permite que la red aprenda espacialmente dónde confiar en los detalles de los bordes locales (e.g., en los límites nucleares) frente al contexto global (e.g., en regiones de tejido homogéneas).

Contribuciones Clave

1. Estrategia de Compuerta Novedosa: Introducción de la Compuerta SAF, un mecanismo de doble flujo por píxel que utiliza un "mapa de calor de confianza" basado en softmax para modular conjuntamente las características del codificador y del decodificador, en lugar de filtrar un solo flujo.
2. Implementación: Integración de la Compuerta SAF en un marco de trabajo CellViT con cabezales especializados para segmentación y clasificación.
3. Evaluación Exhaustiva: Una comparación controlada contra seis estrategias de compuerta alternativas (skip estándar, Puertas de Atención, SE, CBAM, Cross-Attention y Fusión de Características Atencional) en los conjuntos de datos PanNuke y MoNuSeg bajo idénticas condiciones de entrenamiento.
4. Rendimiento en Clases Minoritarias: Demostración de que la Compuerta SAF mejora significativamente la detección de la clase de células "Muertas" subrepresentada sin comprometer el rendimiento de las clases mayoritarias.

Resultados Experimentales

Conjunto de Datos PanNuke (Segmentación Multiclase)

Evaluado mediante validación cruzada de 3 pliegues (3-fold cross-validation) en el conjunto de datos PanNuke (7,901 parches, 5 clases de células).

• Calidad Panóptica Multiclase (mPQ): SAFViT alcanzó la mPQ más alta de 0.471, superando a la línea base de CellViT sin compuerta (0.453) y a todas las variantes de compuerta.
• Rendimiento de la Clase Muerta: La ganancia en mPQ fue impulsada principalmente por una mejora de 14.5 puntos en la puntuación F1 para la clase "Muerta" (SAFViT: 0.518 vs. CellViT: 0.373). Notablemente, dos métodos competidores (Puertas de Atención y Fusión de Características Atencional) fallaron completamente en esta clase (F1 = 0.000).
• Clases Mayoritarias: SAFViT se mantuvo competitivo con las mejores variantes en las clases mayoritarias (Neoplásica, Inflamatoria, Conectiva, Epitelial), con puntuaciones F1 dentro de 1.1 puntos de la línea base.
• Métricas Binarias: En métricas agnósticas de clase (Dice, AJI, bPQ), todas las variantes de compuerta se comportaron de manera comparable, confirmando que la estrategia de fusión impacta principalmente en la detección de clases raras más que en la segmentación general de bordes.

Conjunto de Datos MoNuSeg (Generalización Fuera de Dominio)

Evaluado en el conjunto de prueba de MoNuSeg (solo máscaras de instancia binarias) sin ajuste fino (fine-tuning).

• Todos los modelos se agruparon estrechamente en rendimiento (Dice: 0.737–0.745; AJI: 0.539–0.544).
• SAFViT se desempeñó a la par con la línea base, confirmando que la estrategia de ponderación espacial aprendida se generaliza a tipos de tejido y condiciones de tinción no vistos sin sobreajustarse a las distribuciones de clase específicas de PanNuke.

Eficiencia Computacional

• El tiempo de inferencia para SAFViT fue de 5.7 ms por imagen, virtualmente idéntico al de la línea base CellViT (5.8 ms). El módulo SAF añade una sobrecarga computacional insignificante.

Significancia y Reivindicaciones

El artículo afirma que SAFViT aborda una limitación específica en las arquitecturas codificador-decodificador existentes: la incapacidad de aprender conjuntamente la fiabilidad de las características locales frente a las globales a nivel de píxel. Al generar un "mapa de calor de confianza", el modelo preserva pistas morfológicas sutiles para las clases minoritarias que a menudo son suprimidas por los mecanismos de compuerta de un solo flujo.

Los autores enfatizan que, si bien la mejora en la puntuación F1 de la clase "Muerta" es sustancial, esta se basa en una clase que comprende menos del 2% de las instancias anotadas en PanNuke. Por consiguiente, aunque los resultados son consistentes a través de las pliegues de validación cruzada, los autores señalan que la evaluación en un conjunto de datos con una mayor prevalencia de la clase "Muerta" fortalecería aún más estos hallazgos. El trabajo posiciona a la Compuerta SAF como un módulo computacionalmente eficiente y agnóstico a la arquitectura que mejora la calidad panóptica multiclase, particularmente para tipos de células subrepresentados en la patología digital.