Better than Average: Spatially-Aware Aggregation of Segmentation Uncertainty Improves Downstream Performance

Resumen Técnico: Agregación Espacialmente Consciente de la Incertidumbre en Segmentación

1. El Problema

En dominios críticos para la seguridad como la biomedicina y la conducción autónoma, la Cuantificación de la Incertidumbre (UQ) es vital para garantizar la fiabilidad de las segmentaciones de imágenes automatizadas. Los métodos de UQ generan puntuaciones de incertidumbre a nivel de píxel. Sin embargo, para tareas de toma de decisiones posteriores (como la detección de datos fuera de distribución - OoD - o la detección de fallos - FD), estas puntuaciones deben agregarse en un único valor escalar a nivel de imagen.

El problema central identificado por los autores es que la estrategia de agregación por defecto, el Promedio Global (AVG), es subóptima. El AVG ignora la estructura espacial y las características estructurales de la incertidumbre. Por ejemplo, no distingue entre una incertidumbre uniforme de bajo nivel y regiones compactas de alta incertidumbre (como bordes de objetos o clases no vistas). Además, las estrategias existentes (basadas en parches, clases o umbrales) carecen de una comparación sistemática, lo que lleva a prácticas inconsistentes y a que no se sepa cuál es la mejor estrategia para un caso de uso específico.

2. Metodología

Los autores proponen un marco integral que abarca el análisis teórico, la propuesta de nuevas estrategias y una evaluación empírica rigurosa.

• Análisis de Estrategias Existentes:
  Se identifican y analizan formalmente las propiedades de las estrategias comunes (AVG, Promedio Máximo a Nivel de Parche - PLM, Promedio por Encima del Umbral - ATA, Promedio por Encima del Cuantil - AQA, y promedios basados en clases). Se demuestran sus limitaciones teóricas:

  • Falta de sensibilidad a la estructura espacial.
  • Falta de invarianza de proporción (el puntaje cambia si se recorta el fondo).
  • No monotonicidad (un aumento global de incertidumbre puede reducir el puntaje agregado).

• Nuevas Estrategias Espaciales (Spatial AggS):
  Para abordar la falta de conciencia espacial, proponen tres nuevas estrategias que utilizan medidas espaciales establecidas para imágenes en escala de grises:

  1. Moran's I (MOR): Mide la autocorrelación espacial (agrupamiento de incertidumbre).
  2. Densidad de Bordes (EDS): Captura la presencia de límites espaciales.
  3. Entropía (ENT): Refleja la heterogeneidad local de los valores.

  Estas medidas se utilizan para calcular un Ratio de Masa Espacial (SMR), que pondera la incertidumbre en función de su estructura local, generando un puntaje entre 0 y 1 que indica cuánto de la incertidumbre total se concentra en regiones estructuralmente significativas.

• Meta-Agregación (GMM-All):
  Reconociendo que ninguna estrategia única funciona mejor en todos los conjuntos de datos, proponen una estrategia de meta-agregación.

  • Se modelan los puntajes agregados de múltiples estrategias (intensidad y espacio) como vectores de características.
  • Se ajusta un Modelo de Mezcla Gaussiana (GMM) a las características de los datos dentro de la distribución (iD).
  • La puntuación final de incertidumbre es la negativa log-verosimilitud (NLL) de la probabilidad de un nuevo vector de características bajo el GMM. Esto permite detectar desviaciones complejas y no lineales en la distribución de la incertidumbre.

3. Contribuciones Clave

1. Benchmarks Sistemáticos: La primera comparación exhaustiva de estrategias de agregación (AggS) en 10 conjuntos de datos diversos (médicos, urbanos, sintéticos) para tareas de detección OoD y detección de fallos.
2. Estrategias Espaciales: Introducción de AggS basados en la estructura espacial (MOR, EDS, ENT) que capturan patrones que las métricas de intensidad pura ignoran.
3. Meta-Estrategia Robusta (GMM-All): Propuesta de un agregador universal que combina enfoques de intensidad y espacio, demostrando un rendimiento robusto y superior en la mayoría de los escenarios sin necesidad de conocimiento previo específico del conjunto de datos.
4. Librería de Código Abierto: Lanzamiento de la librería Python aggrigator para facilitar la implementación y el uso de estas estrategias.

4. Resultados Experimentales

El estudio se evaluó en 10 conjuntos de datos que cubren segmentación semántica e instanciada en patologías, CTs de pulmones, microscopía, escenas urbanas y agricultura.

• Rendimiento en Detección OoD:

  • El Promedio Global (AVG) rindió mal en el 60% de los escenarios, acercándose a una adivinanza aleatoria.
  • Las estrategias basadas en predicción (como el Promedio de Clase Balanceado - BCA) y la meta-estrategia GMM-All formaron la categoría superior estadísticamente significativa.
  • Las estrategias espaciales (como EDS) fueron cruciales para separar datos sintéticos de reales (ej. GTA vs. Cityscapes), donde la incertidumbre se vuelve más difusa en los datos reales.

• Rendimiento en Detección de Fallos (FD):

  • Se utilizó la métrica E-AURC (Excess Area Under the Risk-Coverage Curve).
  • La estrategia QFR (Ratio de Foreground por Encima del Cuantil) y GMM-All superaron consistentemente a los baselines.
  • Se observó que el AVG a menudo subestima la incertidumbre en muestras completamente mal clasificadas, mientras que las estrategias espaciales y de meta-agregación filtran eficazmente las predicciones erróneas.

• Robustez de GMM-All:

  • La meta-agregación demostró ser robusta frente a la variabilidad de los conjuntos de datos. En la mayoría de los casos, combinar todas las estrategias (GMM-All) igualó o superó el rendimiento de las estrategias individuales, mitigando el riesgo de elegir una estrategia subóptima para un dataset específico.

5. Significado e Impacto

Este trabajo cambia el paradigma en la cuantificación de incertidumbre para segmentación:

• Desmitifica el "Promedio Global": Demuestra que el AVG no debe ser la opción por defecto, ya que oculta información crítica sobre la estructura de los errores.
• Importancia de la Estructura Espacial: Establece que la ubicación y la forma de la incertidumbre (bordes, agrupamientos) son tan importantes como su magnitud para detectar fallos o datos anómalos.
• Solución Práctica: Ofrece una solución "a prueba de fallos" mediante la meta-agregación (GMM-All), permitiendo a los investigadores y profesionales de la salud implementar sistemas más seguros sin necesidad de ajustar manualmente la estrategia de agregación para cada nuevo dominio.

En conclusión, el artículo demuestra que una agregación de incertidumbre informada espacialmente y combinada mediante modelos probabilísticos mejora significativamente la fiabilidad de los sistemas de visión por computadora en aplicaciones críticas.