Open-World Semantic Segmentation with Sensitivity Modeling

Resumen Técnico: Segmentación Semántica de Mundo Abierto con Modelado de Sensibilidad

Declaración del Problema
Los sistemas de visión modernos suelen operar bajo un supuesto de "mundo cerrado", entrenados en conjuntos de clases fijos y predefinidos. En escenarios de "mundo abierto" de la vida real, los modelos encuentran contenido fuera de la distribución (OOD), como escombros inesperados en la carretera, tipos de vehículos novedosos o anomalías dependientes del contexto. Los modelos de segmentación semántica convencionales tienden a producir clasificaciones erróneas excesivamente confiadas sobre dicho contenido novedoso, lo que plantea riesgos de seguridad en aplicaciones como la navegación autónoma. El desafío central es la segmentación semántica de mundo abierto: la tarea conjunta de segmentar clases conocidas mientras se detecta y agrupa el contenido novedoso o anómalo sin supervisión adicional. Esto requiere que un modelo sea simultáneamente discriminativo para las clases conocidas y apropiadamente incierto para el contenido desconocido, objetivos que a menudo entran en conflicto bajo los paradigmas de entrenamiento estándar.

Los enfoques de doble decodificador existentes intentan resolver esto combinando una rama semántica (que modela las distribuciones de clases conocidas en el espacio de los logits) y una rama contrastiva (que estructura las normas de los embeddings para separar las características conocidas de las desconocidas globalmente). Sin embargo, estos métodos dependen de señales agregadas de forma gruesa (distancia de prototipos y normas de embedding). A menudo no logran capturar pistas locales sutiles indicativas de anomalías, como patrones de textura irregulares, frecuencias de activación atípicas o inconsistencias en los límites de los objetos, que pueden verse diluidas por el agrupamiento global (global pooling) y el upsampling jerárquico.

Metodología
Los autores proponen una arquitectura de tres decodificadores construida sobre un diseño de codificador-decodificador compartido. El marco extiende la línea base de doble decodificador (ContMAV) mediante la introducción de un tercer objetivo ortogonal: el modelado de sensibilidad.

1. Codificador Compartido: Un codificador basado en ResNet-34 (modificado con bloques NonBottleneck-1D, módulos de Squeeze-and-Excitation y Pyramid Pooling) extrae mapas de características multiescala. Las características intermedias se pasan a los decodificadores mediante conexiones de salto (skip connections).
2. Decodificador Semántico ($f_{sem}$): Realiza la segmentación de conjunto cerrado utilizando prototipos gaussianos para las categorías conocidas. Utiliza un objetivo de pérdida múltiple que combina pérdida focal, pérdida soft dice y una pérdida de alineación de características ($L_{feat}$) que penaliza las desviaciones de los prototipos gaussianos por clase, normalizadas por la desviación estándar por clase.
3. Decodificador Contrastivo ($f_{con}$): Separa los píxeles conocidos de los desconocidos en el espacio de características. Emplea una pérdida contrastiva para alinear las medias de los rasgos normalizados por clase con los prototipos históricos en una hiperesfera unitaria, y una pérdida de "objectosphere" para forzar la separación radial (empujando los píxeles conocidos lejos del origen y atrayendo los desconocidos hacia él). La norma del embedding no normalizado sirve como un proxy global de "desconocimiento".
4. Decodificador de Sensibilidad ($f_{sen}$): Esta es la contribución clave del artículo. Diseñado para capturar la incertidumbre local y detallada derivada de irregularidades en la activación y anomalías de textura, procesa de forma independiente los mapas de características del codificador de tres niveles de la pirámide. Cada nivel utiliza una cabeza ligera (tres capas convolucionales de $1\times1$ con normalización de capa y ReLU). Los mapas de sensibilidad resultantes por escala se reescalan (upsampling), se fusionan mediante suma elemento a elemento y se pasan a través de una función sigmoide para producir un mapa de incertidumbre por píxel.
   • Señal de Entrenamiento: $f_{sen}$ se entrena mediante entropía cruzada binaria contra "etiquetas de proxy desconocido". Estas etiquetas se generan a partir de anotaciones de vacío en el conjunto de datos y parches OOD sintetizados mediante la aumentación CutPaste.
   • Complementariedad: A diferencia de las otras ramas, $f_{sen}$ no predice la pertenencia a una clase ni la distancia de las características; específicamente aprende dónde el modelo debería tener incertidumbre basándose en la inestabilidad de la activación local.

Inferencia y Fusión
El puntaje de desconocimiento final se deriva de la fusión de las señales de los tres decodificadores:

• El desconocimiento semántico se deriva de la verosimilitud gaussiana de los logits semánticos.
• El puntaje de anomalía contrastiva y el mapa de sensibilidad se promedian.
• El puntaje final es el promedio de los puntajes de la semántica y de la sensibilidad contrastiva.
• Antes de la fusión, todos los puntajes se normalizan mediante min-max por imagen para evitar el dominio de la escala. Los píxeles que exceden un umbral ($\delta=0.99$) se etiquetan como desconocidos; otros adoptan la etiqueta del decodificador semántico.

Contribuciones Clave

1. Decodificador de Sensibilidad: Un módulo novedoso para el modelado de incertidumbre de grano fino, conceptualmente distinto de la incertidumbre basada en prototipos y en normas, diseñado específicamente para detectar límites ambiguos y anomalías de textura.
2. Arquitectura Unificada: Una arquitectura de tres decodificadores totalmente convolucional entrenada de extremo a extremo en una sola GPU de consumo, que no requiere pipelines de múltiples etapas ni supervisión adicional para clases novedosas.
3. Evaluación Exhaustiva: Demostración de mejoras consistentes sobre la línea base utilizando tanto métricas de conjunto cerrado (mIoU) como métricas dedicadas de mundo abierto (AUROC, AUPR, FPR@95TPR).

Resultados Experimentales
El método fue evaluado en Cityscapes (conjunto cerrado) y BDD-Anomaly (mundo abierto).

• Rendimiento de Conjunto Cerrado: En Cityscapes, el método propuesto logró un mIoU del 69.88%, superando a la línea base reproducida ContMAV (69.28%) y a otros métodos de mundo abierto como DMLNet y RAML.
• Rendimiento de Mundo Abierto: En BDD-Anomaly, el método mejoró significativamente las métricas de detección de anomalías:
  • AUROC: Aumentó de 63.4% (línea base) a 65.8%.
  • AUPR: Aumentó de 41.8% a 44.3%.
  • FPR@95TPR: Se redujo de 67.4% a 64.9% (menor es mejor).
• Eficiencia: El decodificador de sensibilidad añade menos de 1M de parámetros (<3.6% del modelo total) e introduce una sobrecarga computacional insignificante, manteniendo una velocidad de inferencia de 24 fps (frente a los 23 fps de la línea base) en una GPU NVIDIA L40s.

Significancia y Reivindicaciones
El artículo sostiene que los tres decodificadores proporcionan señales genuinamente complementarias: la distancia de OOD a nivel de clase en el espacio de los logits, la energía de la característica global en el espacio de los embeddings y la inestabilidad de la activación local a través de las escalas del codificador. Los estudios de ablación confirman que cada componente aborda un aspecto distinto del problema del mundo abierto, siendo el decodificador de sensibilidad capaz de beneficiar la detección de regiones desconocidas sin degradar la precisión del conjunto cerrado. Los autores posicionan su enfoque como una solución ligera de una sola etapa que evita los backbones pesados y los complejos esquemas de entrenamiento de múltiples etapas de trabajos anteriores (por ejemplo, RAML), logrando al mismo tiempo un rendimiento superior en la detección de anomalías sutiles que las señales globales pasan por alto. Se señala como trabajo futuro la exploración de estrategias de fusión aprendidas y una síntesis de OOD más rica para la rama de sensibilidad.