Resumen Técnico: Prisma Semántico mediante una Interfaz de Imagen-Semántica Observable y Alineación de Evidencia del Generador Jerárquico

Planteamiento del Problema

La segmentación semántica generativa busca exponer predicciones estructuradas como imágenes visibles, ofreciendo un resultado evaluable de forma independiente. Sin embargo, los enfoques existentes enfrentan un compromiso fundamental:

1. Decodificación de Color Directa: Aunque mantiene una relación transparente entre la imagen renderizada y la predicción, este método es susceptible al desvío de color (color drift), la mezcla de bordes y el desenfoque, lo que corrompe las asignaciones de clase, particularmente en transiciones semánticas y estructuras delgadas.
2. Decodificadores de Características Latentes: Estos pueden recuperar detalles locales, pero a menudo relegan la imagen semántica renderizada a una visualización intermedia. Cuando la distribución final se predice a través de un camino separado de la interfaz definida por la imagen, se pierde la naturaleza explícita e independientemente evaluable de la imagen semántica.

El desafío central es preservar la imagen semántica como una interfaz probabilística explícita e independientemente evaluable, logrando simultáneamente una precisión espacial de grano fino mediante el refinamiento jerárquico.

Metodología: Prisma Semántico

Los autores proponen Prisma Semántico, un marco de generación y refinamiento de imágenes semánticas condicional con inferencia determinista de un solo paso. El pipeline consta de tres componentes principales:

1. Generación de Imagen-Semántica de un Solo Paso

Un traductor de imágenes destilado por difusión (basado en pix2pix-Turbo) renderiza una imagen RGB semántica ($s$) a partir de una imagen de entrada ($x$).

• Código Fijo: Se construye un código de color-clase de alta separación fija ($C$) utilizando una selección de máximo-mínimo codiciosa sobre una cuadrícula RGB saturada.
• Interfaz Observable: El valor RGB renderizado en cada píxel se mapea a una distribución completa de probabilidad de clase ($p_I$) utilizando un decodificador basado en distancia fijo. La probabilidad se deriva de la distancia euclidiana al cuadrado entre el color renderizado y los prototipos de clase en el código.
• Recuperabilidad: Esta interfaz es "observable" porque el valor de la etiqueta top-1, la probabilidad máxima de clase y los log-odds de clase por pares son directamente recuperables de la imagen renderizada utilizando el código fijo, sin acceso a las características latentes del generador.

2. Alineación de Evidencia del Generador Jerárquico (HGEA)

Para corregir los errores en la interfaz inicial (por ejemplo, bordes desenfocados, estructuras delgadas faltantes) sin establecer un camino de predicción separado, HGEA alinea características de múltiples niveles del generador congelado.

• Residuos Aditivos: En lugar de predecir una nueva distribución de salida, HGEA predice un residuo aditivo ($\Delta z_H$) en el mismo espacio de logits que la interfaz.
• Mecanismo: Las características de tres niveles del generador son proyectadas, normalizadas y remuestreadas. Estas se concatenan con la imagen de entrada, la imagen semántica renderizada y la distribución de la interfaz ($p_I$) para predecir el residuo de logit.
• Inicialización Cero: La proyección de salida está inicializada en cero, asegurando que, en la inicialización, la distribución refinada ($p_H$) sea igual a la distribución de la interfaz ($p_I$). La predicción final se obtiene aplicando el residuo a los logits de la interfaz: $p_H = \text{softmax}(z_I + \Delta z_H)$.

3. Desacuerdo Contextual Interfaz–Jerarquía (C-IHD)

C-IHD es un mecanismo de lectura fijo diseñado para clasificar errores de píxeles sin un predictor auxiliar o una pasada hacia adelante adicional. Combina:

• Incertidumbre Puntual: El complemento de la Probabilidad Máxima de Softmax (MSP) de la distribución refinada.
• Contexto Local: Un promedio local de la incertidumbre puntual.
• Desacuerdo Distribucional: Una divergencia de Jensen–Shannon ponderada por $\rho$ y normalizada entre la distribución de la interfaz ($p_I$) y la distribución refinada ($p_H$).
  Estos componentes se combinan en una única puntuación de incertidumbre para identificar errores remanentes.

Contribuciones Clave

1. Interfaz de Imagen-Semántica Observable: La formulación de una interfaz donde un decodificador de código basado en distancia fija mapea los valores RGB renderizados a distribuciones completas de clase. Esto permite recuperar etiquetas top-1 y log-odds por pares en forma cerrada directamente desde la imagen.
2. Alineación de Evidencia del Generador Jerárquico (HGEA): Un método que alinea espacialmente las características del generador de múltiples niveles para refinar aditivamente los logits de la interfaz. Este enfoque mejora la media de la Intersección sobre Unión (mIoU) en 11.39 puntos sobre la decodificación de interfaz directa en Cityscapes, demostrando que la alineación conjunta multinivel supera al refinamiento de nivel único o sin jerarquía.
3. Desacuerdo Contextual Interfaz–Jerarquía (C-IHD): Una lectura fija que reutiliza las distribuciones existentes para mejorar la clasificación de errores de píxeles (medida por el Área Bajo la Curva de Precisión–Recall, AUPR) en relación con MSP, sin alterar las predicciones de segmentación ni requerir entrenamiento adicional.

Resultados Experimentales

El marco fue evaluado en tres conjuntos de datos: Cityscapes (dentro del dominio), BDD100K (dentro del dominio) y ACDC (transferencia con la fuente congelada a condiciones adversas).

• Cityscapes (val500): Prisma Semántico logró un 72.07% de mIoU, una mejora de 11.39 puntos sobre la línea base de decodificación directa de la interfaz (60.68%). También redujo el Error de Calibración Esperado (ECE) del 5.69% al 0.41%. En la localización de errores de píxeles, C-IHD alcanzó el AUPR más alto (0.4812) en comparación con otras líneas base.
• BDD100K (val1000): Un modelo entrenado por separado logró un 62.22% de mIoU, ocupando el segundo lugar en precisión de segmentación, pero logrando el ECE y el puntaje de Brier más bajos entre los métodos comparados. C-IHD mejoró el AUPR de 0.4395 (MSP) a 0.4481.
• ACDC (Transferencia con Fuente Congelada): Sin adaptación al dominio objetivo, el modelo entrenado en Cityscapes logró un 46.89% de mIoU y el ECE más bajo (8.48%) entre las líneas base generativas y discriminativas. C-IHD mejoró significativamente el AUPR de 0.6580 a 0.7557.
• Estudios de Ablación: Las ablaciones de capacidad coincidente confirmaron que el HGEA multinivel supera al refinamiento de un solo nivel y a los refinadores planos. HGEA corrigió el 48.68% de los errores de la interfaz mientras dejó sin cambios el 93.48% de las predicciones correctas de la interfaz.

Significado y Reivindicaciones

El artículo afirma que Prisma Semántico logra cerrar la brecha entre los resultados de imagen de forma generativa y la precisión discriminativa de grano fino. Al definir una interfaz probabilística observable, el método asegura que la imagen semántica siga siendo una referencia evaluable de forma independiente. El módulo HGEA demuestra que la evidencia jerárquica puede utilizarse para corregir aditivamente los logits, preservando el rol de la interfaz mientras se refina la precisión espacial. Finalmente, C-IHD proporciona un mecanismo ligero y fijo para clasificar errores que aprovecha el desacuerdo entre la interfaz inicial y la jerarquía refinada, mejorando las métricas de fiabilidad sin sobrecarga computacional.

Los autores señalan limitaciones, incluyendo la dependencia de un código de conjunto cerrado, el costo computacional del generador y la evidencia limitada de dominios cruzados, pero concluyen que la segmentación generativa de forma de imagen puede preservar eficazmente una interfaz de probabilidad cuantitativamente evaluable mientras mejora la precisión espacial mediante el refinamiento jerárquico.