Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

1. El Problema

La aplicación de modelos de segmentación semántica en dominios críticos para la seguridad, como vehículos autónomos, robótica e interacción humano-computadora, requiere capacidades predictivas en tiempo real. Sin embargo, estos sistemas deben operar en hardware con recursos limitados (dispositivos embebidos).

El desafío principal identificado es que, aunque existen métodos de segmentación en tiempo real, la mayoría carece de la capacidad de razonar sobre la incertidumbre (específicamente la incertidumbre epistémica y aleatoria) de manera eficiente.

• Los métodos tradicionales de cuantificación de incertidumbre, como la inferencia bayesiana completa o el Monte Carlo Dropout, requieren múltiples pasadas forward (muestreo) que son computacionalmente costosas y no viables en tiempo real.
• Otros métodos deterministas o que requieren entrenamiento específico a menudo no pueden inferir incertidumbre epistémica (incertidumbre del modelo) adecuadamente durante la predicción.
• Existe una brecha en la literatura para estimar incertidumbre epistémica en tiempo real en dispositivos embebidos sin sacrificar el rendimiento predictivo.

2. Metodología Propuesta

Los autores proponen un marco ligero que combina la extracción de características determinista con un módulo de regresión probabilística y propagación de momentos. La arquitectura se divide en tres componentes clave:

A. Extracción de Características Determinista

Se utiliza una red neuronal pre-entrenada $f(x; \theta)$ (como ENet, BiSeNet, PIDNet, etc.) con parámetros fijos $\theta$. Esta red actúa como un extractor de características determinista, generando un diseño de matriz $\Phi(x)$ para la entrada. Esto permite aprovechar modelos existentes sin reentrenar toda la red.

B. Módulo de Regresión Probabilística (Capa Final)

En lugar de una capa lineal final determinista, se reemplaza por una capa probabilística parametrizada por variables latentes $\omega$ (pesos y sesgos).

• Se asume una distribución a priori conjugada (Gaussiana) sobre $\omega$.
• Para evitar el costo de la inferencia bayesiana completa, se utiliza el método SWAG (Stochastic Weight Averaging-Gaussian) con una aproximación diagonal.
• En lugar de calcular la media empírica de las iteraciones de SWAG, los autores utilizan los pesos pre-entrenados de la última capa convolutiva como la media ($\bar{\omega}$) y calculan la varianza empírica diagonal ($\Sigma_{diag}$) basándose en las iteraciones de SGD.
• Esto permite aproximar la posterior de los parámetros como una distribución Gaussiana factorizada, reduciendo drásticamente la complejidad computacional y el uso de memoria.

C. Propagación de Momentos y EPSoftmax

Dado que la inferencia se realiza en el espacio de los logits (antes del softmax), y la función softmax no es biyectiva, no se puede obtener una solución analítica exacta para la distribución de probabilidad categórica.

• Los autores emplean Propagación de Momentos (inspirada en Expectation Propagation - EP).
• Aprovechan las propiedades de la distribución Log-Normal para aproximar la transformación de los logits Gaussianos a través de la función exponencial.
• Utilizan una aproximación de Taylor para la distribución de la razón (ratio distribution) en el softmax, derivando la EPSoftmax. Esto permite calcular analíticamente la media y la varianza de las probabilidades de clase finales sin necesidad de muestreo.

D. Métricas de Incertidumbre

El modelo permite calcular dos tipos de incertidumbre:

1. Incertidumbre Epistémica: Representa la incertidumbre reducible del modelo. Se calcula utilizando la entropía de la distribución Gaussiana sobre los logits o la varianza en el espacio de predicción. Indica dónde el modelo "no sabe" (ej. regiones no vistas durante el entrenamiento).
2. Incertidumbre Aleatoria: Representa la incertidumbre inherente a los datos (ruido, ambigüedad). Se aproxima mediante la entropía de la distribución categórica final.

3. Contribuciones Clave

1. Método Ligero para Incertidumbre: Propone una técnica que combina métodos bayesianos dentro de la propagación de momentos, permitiendo inferencia analítica sin muestreo Monte Carlo.
2. Métricas en Tiempo Real: Desarrolla y demuestra métricas significativas para incertidumbre aleatoria y epistémica que pueden informar a los usuarios finales y protocolos de decisión en tiempo real.
3. Adaptabilidad a Hardware Embebido: Demuestra que estos métodos pueden adaptarse fácilmente a modelos pre-entrenados, permitiendo la cuantificación de incertidumbre en tiempo real en dispositivos con recursos limitados (como la NVIDIA Jetson AGX Xavier).

4. Resultados Experimentales

Los experimentos se realizaron en la plataforma NVIDIA Jetson AGX Xavier utilizando los conjuntos de datos CityScapes, CamVid, ADE20k y CoCoStuff. Se probaron arquitecturas como ENet, BiSeNetV1/V2, PIDNet y PPLiteSeg.

• Rendimiento Predictivo: Los modelos probabilísticos ("Bayes-") mostraron un rendimiento comparable a sus equivalentes deterministas (puntos de estimación) en términos de mIOU y F1-score. Por ejemplo, en CityScapes, Bayes-BiSeNetV1 logró un mIOU de 0.7408 frente a 0.7426 del modelo original.
• Velocidad (FPS): Aunque hubo una disminución en la velocidad de inferencia debido al cálculo de la varianza, los modelos mantuvieron tasas de cuadros por segundo (fps) adecuadas para aplicaciones en tiempo real (ej. Bayes-PIDNet alcanzó ~69 fps en CityScapes).
• Visualización de Incertidumbre:
  • La incertidumbre epistémica (medida por entropía) se concentró en objetos de interés y regiones donde el modelo tiene menos confianza.
  • La incertidumbre aleatoria se concentró en los bordes de los objetos y áreas ambiguas.
  • La incertidumbre condicional por clase permitió identificar específicamente la confianza del modelo para clases críticas (ej. "peatón", "coche"), mostrando mayor varianza en los bordes de dichos objetos.
• Eficiencia: El enfoque evitó la necesidad de múltiples pasadas forward, logrando una inferencia de incertidumbre en una sola pasada, lo cual es crucial para el hardware embebido.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la teoría de la incertidumbre bayesiana y la práctica en sistemas embebidos de tiempo real.

• Seguridad: Permite que sistemas críticos (como vehículos autónomos) no solo clasifiquen objetos, sino que también "sepan lo que no saben", facilitando la toma de decisiones más seguras (ej. frenar si la incertidumbre sobre un peatón es alta).
• Viabilidad Computacional: Demuestra que la cuantificación de incertidumbre no requiere necesariamente supercomputadoras, sino que puede lograrse mediante aproximaciones analíticas inteligentes (EP y SWAG diagonal) en hardware de borde.
• Futuro: Abre la puerta a la integración de estas métricas en protocolos de decisión automatizados, aunque los autores señalan que el procesamiento adicional de estas métricas para la toma de decisiones sigue siendo un área de investigación futura para optimizar la sobrecarga computacional en sistemas en tiempo real.

En resumen, el paper presenta una solución práctica y eficiente para dotar a redes de segmentación semántica en tiempo real de la capacidad de cuantificar su propia incertidumbre, un requisito fundamental para la seguridad en aplicaciones del mundo real.