Resumen Técnico: Cuantificación de la Incertidumbre a Nivel de Instancia Post Hoc en la Detección de Objetos

1. Formulación del Problema

La detección de objetos es un componente crítico para la seguridad en la conducción autónoma, donde la cuantificación precisa de la incertidumbre de las predicciones de las cajas delimitadoras (bounding boxes) es esencial para el aseguramiento de la seguridad. Los modelos de detección actuales suelen carecer de la capacidad de cuantificar la incertidumbre de las cajas delimitadoras durante el entrenamiento. Una vez ajustados para la seguridad, estos modelos no pueden ser alterados, lo que requiere métodos de cuantificación de la incertidumbre post hoc que no requieran reentrenar ni modificar la red original.

El artículo aborda el desafío de estimar la incertidumbre para cada caja delimitadora individual (a nivel de instancia) cumpliendo con cuatro restricciones clave:

• No intrusivo/Post Hoc: El método debe aplicarse a modelos preentrenados sin alterar su comportamiento.
• A nivel de instancia: La incertidumbre debe estimarse al nivel de las cajas delimitadoras individuales, no solo la incertidumbre global del modelo.
• Velocidad de inferencia: La estimación debe ser computacionalmente eficiente para sistemas de conducción autónoma en línea.
• Incertidumbre Epistémica: El método debe capturar la incertidumbre derivada de la falta de conocimiento del modelo (incertidumbre de los parámetros), en lugar de la incertidumbre aleatoria (aleatoric noise).

Las soluciones existentes enfrentan compromisos significativos:

• Métodos basados en muestreo (ej., MC Dropout, Deep Ensembles): Aunque son potentes, no son estrictamente post hoc, ya que a menudo requieren entrenar múltiples modelos o producen distribuciones predictivas que se desvían del modelo de Máxima A Posteriori (MAP) original.
• Métodos linealizados (ej., Modelo Lineal Generalizado - GLM con Aproximación de Laplace): Estos son estrictamente post hoc y preservan la predicción MAP, pero son computacionalmente prohibitivos para la incertidumbre a nivel de instancia. Calcular el Jacobiano $J(x)$ para cada componente escalar de salida requiere una pasada de retropropagación (backpropagation) separada por cada salida. Un detector que predice $m$ cajas con 9 parámetros cada una requiere $9m$ retropropagaciones, lo cual es demasiado lento para aplicaciones en tiempo real.

2. Metodología: Modelo Lineal Generalizado de Monte Carlo (MC-GLM)

Los autores proponen MC-GLM, un método de inferencia aproximada que combina las garantías post hoc de la aproximación de Laplace con la eficiencia del muestreo de Monte Carlo.

Concepto Central

El método aproxima la covarianza predictiva $\Sigma_z(x)$ de la salida de la red $z = f(x; \theta)$ utilizando la aproximación de Laplace alrededor de la estimación MAP $\theta^*$:
$$\Sigma_z(x) \approx J(x) \Sigma_\theta J(x)^\top$$
donde $J(x)$ es el Jacobiano y $\Sigma_\theta$ es la covarianza posterior de los parámetros (computada offline mediante KFAC).

En lugar de calcular el Jacobiano completo $J(x)$ mediante $d$ retropropagaciones (donde $d$ es la dimensión de salida), MC-GLM estima la covarianza mediante muestreo de Monte Carlo. Reconoce que $J(x)\Sigma_\theta J(x)^\top$ es equivalente a la covarianza de las derivadas direccionales $J(x)\eta$, donde $\eta \sim \mathcal{N}(0, \Sigma_\theta)$.

Pasos del Algoritmo

1. Fase Offline: Calcular la aproximación de la matriz de información de Fisher mediante KFAC (Aproximación de la Curvatura Factorizada por Kronecker) para obtener la covarianza de los parámetros $\Sigma_\theta$. Este paso se realiza una sola vez sobre los datos de entrenamiento.
2. Fase Online (Por cada entrada $x$):
   • Calcular la predicción base $z_0 = f(x; \theta^*)$.
   • Muestrear $k$ perturbaciones de peso $\eta_i \sim \mathcal{N}(0, \Sigma_\theta)$. El muestreo aprovecha la estructura de bloque diagonal y de Kronecker de KFAC para ser eficiente.
   • Realizar $k$ pasadas hacia adelante (forward passes) con pesos perturbados: $z_i = f(x; \theta^* + \epsilon \eta_i)$.
   • Aproximar las derivadas direccionales mediante diferencias finitas: $u_i \approx (z_i - z_0) / \epsilon$.
   • Construir una matriz $A(x)$ de estas $k$ derivadas direccionales.
   • Centrar las columnas de $A(x)$ para obtener $\tilde{A}(x)$ y calcular la covarianza de la muestra:
     $$\hat{\Sigma}_{z, MC-GLM}(x) = \frac{1}{k-1} \tilde{A}(x) \tilde{A}(x)^\top$$
3. Agregación a Nivel de Instancia: Para la detección de objetos, el vector de salida se reorganiza para agrupar los parámetros por caja delimitadora. El método calcula un tensor de covarianza por caja $\hat{\Sigma}_i(x) \in \mathbb{R}^{9 \times 9}$, capturando las correlaciones dentro de una caja mientras ignora las correlaciones entre cajas para mayor eficiencia.

Característica Clave de Eficiencia

El costo computacional de MC-GLM es de $k+1$ pasadas hacia adelante, donde $k$ es un hiperparámetro constante pequeño (ej., 10). Crucialmente, este costo es independiente del número de instancias detectadas ($m$). En contraste, el GLM exacto requiere $9m$ retropropagaciones. Esto permite que MC-GLM sea paralelizable y escalable a cualquier número de detecciones sin aumentar el tiempo de inferencia.

3. Contribuciones Clave

• Marco de Trabajo MC-GLM: Un método novedoso que proporciona cuantificación de la incertidumbre post hoc a nivel de instancia para la detección de objetos.
• Eficiencia Computacional: Al reemplazar el costoso cálculo del Jacobiano por un número fijo de pasadas hacia adelante ($k$), el método logra una complejidad de tiempo lineal con respecto al número de muestras en lugar del número de instancias de salida.
• Compatibilidad Post Hoc: El método garantiza que la media predictiva coincida con la salida del modelo preentrenado original ($f(x; \theta^*)$), a diferencia de los métodos bayesianos de muestreo que desplazan la media.
• Integración de KFAC: El método aprovecha KFAC para el cálculo eficiente de la covarianza de los parámetros y el muestreo estructurado, lo que lo hace viable para detectores a gran escala.

4. Resultados Experimentales

El método fue evaluado en el conjunto de datos nuScenes utilizando el detector de objetos 3D CenterPoint.

• Métricas: El rendimiento se midió mediante la Probabilidad de Precisión dado Certeza ($P(A|C)$), la Probabilidad de Incertidumbre dado Inexactitud ($P(U|I)$) y la Precisión vs Incertidumbre ($AvU$).
• Líneas Base de Comparación:
  • MCI (Integración de Monte Carlo): Utiliza MC Dropout.
  • GLM: Aproximación de Laplace exacta con cálculo de Jacobiano completo.
• Hallazgos:
  • Calidad de la Incertidumbre: MC-GLM supera significativamente al GLM exacto en $P(U|I)$ (0.40 vs 0.14 para IoU), lo que indica una mejor identificación de predicciones inexactas. Logra un $P(A|C)$ comparable al de GLM y MCI.
  • Velocidad: MC-GLM es sustancialmente más rápido que GLM. En promedio, GLM requirió 10,636 ms por entrada (debido a las $9m$ retropropagaciones), mientras que MC-GLM requirió solo ~542 ms (11 pasadas hacia adelante). MCI fue ligeramente más rápido (525 ms) pero falló en el requisito post hoc.
  • Estudios de Ablación:
    • Profundidad de Fisher: El uso de la información de Fisher de capas más profundas de la red mejora el $AvU$ pero aumenta el uso de memoria; la aproximación solo de la "cabeza" (head) ofrece un buen equilibrio.
    • Submuestreo de Datos: Estimar la matriz de Fisher con el 5-10% de los datos de entrenamiento produce una calidad de incertidumbre comparable, reduciendo los costos offline.
    • Hiperparámetros: Un paso de diferencia finita pequeño ($\epsilon = 10^{-7}$) y un número modesto de muestras ($k=10$) son suficientes para obtener estimaciones de alta calidad.

5. Significado y Reivindicaciones

El artículo afirma que MC-GLM llena un vacío crítico en los sistemas de conducción autónoma que requieren seguridad. Proporciona una herramienta práctica de cuantificación de la incertidumbre a nivel de instancia que cumple con las estrictas restricciones post hoc (sin reentrenamiento, preservando el comportamiento del modelo original) manteniendo velocidades de inferencia adecuadas para el despliegue en tiempo real.

Los autores enfatizan que, a diferencia de los métodos anteriores que son o demasiado lentos (GLM exacto) o alteran la distribución predictiva del modelo (MC Dropout/Ensembles), MC-GLM ofrece una solución equilibrada. Permite la cuantificación de la incertidumbre epistémica para cada objeto detectado con un costo computacional que es constante e independiente del número de detecciones, lo que lo hace viable para la seguridad en línea en vehículos autónomos.