Resumen Técnico: GEM-FI: Mezclas Evidenciales con Puerta y Modulación de Fisher

Enunciado del Problema

La estimación fiable de la incertidumbre predictiva es crítica para aplicaciones de seguridad crítica donde los modelos operan fuera de su distribución de entrenamiento. Aunque las Redes Neuronales Bayesianas (BNN) y los conjuntos profundos (deep ensembles) ofrecen una cuantificación de la incertidumbre fundamentada, a menudo incurrir en costos prohibitivos de entrenamiento o inferencia debido a la necesidad de múltiples pasadas hacia adelante. El Aprendizaje Profundo Evidencial (EDL) proporciona una alternativa de una sola pasada prediciendo parámetros Dirichlet para representar la "evidencia". Sin embargo, los modelos EDL estándar a menudo permanecen sobreconfiados bajo desplazamientos de distribución, fallan en representar la incertidumbre epistémica multimodal cerca de fronteras de decisión complejas y carecen de una calibración robusta.

Las variantes existentes sensibles a la densidad, como el Aprendizaje Profundo Evidencial Sensible a la Densidad (DAEDL), intentan reescalar las salidas evidenciales utilizando verosimilitudes fuera de línea en el espacio de características (por ejemplo, Análisis Discriminante Gaussiano). Aunque esto mejora la calibración, crea un desacoplamiento donde la señal de densidad es estática y no se optimiza conjuntamente con el mecanismo evidencial. Esto conduce a fragilidad cuando las representaciones de características se desvían y falla en abordar la multimodalidad epistémica, a menudo causando que el modelo colapse en asignaciones sobreconfiadas cerca de fronteras complejas. Además, los métodos basados en energía, que a menudo producen una mejor separabilidad de Fuera de Distribución (OOD), se aplican típicamente post-hoc y no intervienen durante la producción de la confianza evidencial.

Metodología

Los autores introducen GEM (Mezclas Evidenciales con Puerta), una familia de modelos de una sola pasada que integra una noción dependiente de los datos de "soporte" de representación directamente en el mecanismo evidencial. El marco consta de tres componentes progresivos:

1. GEM-CORE: Aprendizaje Evidencial de Energía a Puerta

GEM-CORE reemplaza los sustitutos de densidad estáticos con una señal de energía aprendible dentro del modelo.

• Energía a Nivel de Características: Una Red Neuronal Multicapa (MLP) ligera, $E_\psi$, aprende una energía escalar $E(x)$ a partir de las características de la red base $z$. Una energía más alta corresponde a un menor soporte a nivel de representación (anti-correlacionada con la densidad de características).
• Puerta de Integración Acotada: La energía se mapea a través de una sigmoide a un escalar intermedio $\hat{s}(x)$. Esto se concatena con las características $z$ y se alimenta a una red de "puerta de integración" $G_\eta$. Esta red produce puertas por clase $s(x) \in [s_{min}, s_{max}]^C$.
• Puerta en el Espacio de Probabilidades: Las puertas $s(x)$ se aplican multiplicativamente a la media predictiva $p(x)$ en el espacio de probabilidades, seguida de una renormalización. Crucialmente, la red aprende un mapeo inverso: una energía más alta (menor soporte) resulta en puertas más pequeñas, suprimiendo la evidencia para entradas OOD o atípicas.
• Escalado de Densidad: Un escalador de densidad ligero suplementario $\rho(z)$, derivado de un Modelo de Mezcla Gaussiana (GMM) preajustado, actúa como una "barrera" de seguridad "dura" para suprimir la evidencia en regiones de densidad extremadamente baja, mientras que la puerta aprendida maneja la modulación fina.

2. GEM-MIX: Mezcla de Creencias (Una Sola Pasada)

Para capturar la estructura epistémica multimodal sin el ensamble de múltiples pasadas, GEM-MIX extiende GEM-CORE con $K$ cabezas evidenciales que comparten una red base común.

• Enrutamiento Aprendido: Una red enrutadora $h_\omega$ toma las características y la señal de energía para producir pesos de mezcla $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$.
• Media Predictiva de Mezcla: La predicción final es un promedio ponderado de las medias predictivas de las $K$ cabezas. Esto permite que el modelo represente la incertidumbre a través de múltiples modos cerca de fronteras de decisión complejas.

3. GEM-FI: Regularización Informada por Fisher

GEM-FI estabiliza las asignaciones de mezcla para prevenir el "colapso de cabezas" (donde el enrutador asigna todo el peso a una sola cabeza) y asegura una incertidumbre de frontera más suave.

• Proxy de Fisher: Un proxy ligero para la sensibilidad de Fisher, $\tilde{FI}_k(x)$, se calcula como la norma $L_2$ al cuadrado del gradiente de la verosimilitud logarítmica con respecto a los logits para cada cabeza.
• Regularización FI: Un término de pérdida $L_{FI}$ penaliza asignaciones donde las cabezas seleccionadas frecuentemente son altamente sensibles (inestables).
• Modulación Basada en FI: Durante el entrenamiento, los pesos de mezcla se reponderan para aumentar el peso de las cabezas con menor sensibilidad de Fisher (predicciones más estables). Esta modulación se aplica solo durante el entrenamiento; la inferencia utiliza la salida cruda del enrutador.
• Pérdidas Auxiliares: El marco incluye un término basado en energía (fomentando alta energía para muestras negativas sintéticas mediante Síntesis de Outliers Virtuales, VOS) y un término de descomposición de incertidumbre (pérdida contrastiva para minimizar la entropía para Dentro de Distribución (ID) y maximizarla para OOD).

Contribuciones Clave

1. Puerta Aprendible Dentro del Modelo: Los autores proponen aprender una energía a nivel de características y mapearla a una puerta acotada que modula directamente la evidencia Dirichlet. Esto reduce la sobreconfianza para características atípicas mientras preserva las predicciones ID confiables, reemplazando sustitutos de densidad estáticos y desacoplados.
2. Epistémica Multimodal de Una Sola Pasada: Introducen una mezcla ligera de cabezas evidenciales con pesos de enrutamiento aprendidos, capturando la estructura epistémica multimodal sin el costo computacional de ensambles o múltiples pasadas hacia adelante.
3. Estabilización Informada por Fisher: Se añade un regularizador novedoso informado por FI y un esquema de modulación para estabilizar las asignaciones de mezcla, previniendo el colapso de cabezas y produciendo una incertidumbre de frontera más suave.
4. Validación Empírica: El artículo demuestra mejoras en la calibración y la separación ID/OOD en benchmarks estándar de clasificación de imágenes y detección OOD, proporcionando estudios de ablación que aíslan los roles de la puerta de energía, el tamaño de la mezcla y la regularización FI.

Resultados Experimentales

Los autores evaluaron GEM en MNIST, CIFAR-10 y varios pares OOD (SVHN, CIFAR-100, KMNIST, FMNIST).

• Calibración y Precisión: En CIFAR-10, GEM-FI mejoró la precisión de prueba del 91.11% (DAEDL) al 93.75%. Redujo significativamente la puntuación Brier (de 14.27 a 6.81) y mejoró el AUPR de detección de clasificación errónea (de 99.08 a 99.94).
• Detección OOD: GEM-FI logró un rendimiento de vanguardia en varios escenarios.
  • CIFAR-10 $\to$ SVHN: El AUPR epistémico mejoró del 85.54% (DAEDL) al 92.59%.
  • CIFAR-10 $\to$ CIFAR-100: El AUPR epistémico mejoró del 88.19% (DAEDL) al 90.20%.
  • El modelo superó consistentemente a EDL, DAEDL y otros baselines recientes (por ejemplo, Re-EDL, I-EDL) tanto en puntuación de incertidumbre aleatoria como epistémica.
• Estudios de Ablación: Los autores confirmaron que la combinación de normalización espectral (SN), el módulo de puerta de energía (CORE), la mezcla (MIX) y la regularización/modulación FI (FI-Reg, FI-Mod) es necesaria para un rendimiento óptimo. Específicamente, se encontró que los componentes basados en FI son más efectivos cuando se emparejan con el mecanismo basado en energía y la descomposición de incertidumbre, en lugar de operar como módulos independientes.

Significado y Afirmaciones

El artículo afirma que GEM-FI integra con éxito una señal de soporte aprendible directamente en el mecanismo evidencial, abordando las limitaciones de los métodos estáticos sensibles a la densidad y los costos computacionales de los ensambles. Al aprender una señal de confianza informada por la distancia y estabilizar las mezclas de múltiples cabezas mediante información de Fisher, el modelo logra:

• Mejora en la Calibración: Los modelos son confiables solo en regiones bien soportadas y se abstienen apropiadamente en otros lugares.
• Separación OOD Robusta: El método distingue efectivamente entre entradas ID y OOD, particularmente en escenarios desafiantes cercanos a OOD donde existe superposición semántica.
• Eficiencia: El enfoque mantiene la inferencia de una sola pasada, haciéndolo adecuado para entornos con restricciones de latencia mientras ofrece una diversidad similar a la de un ensamble.

Los autores reconocen limitaciones, señalando que la alineación entre la energía aprendida y los proxies de soporte es empírica y no garantizada, y que el método requiere un ajuste cuidadoso de los hiperparámetros relacionados con la mezcla. Enfatizan que sus afirmaciones se limitan a benchmarks estándar (MNIST/CIFAR) y no se extienden a evaluaciones a escala ImageNet sin una validación adicional. El trabajo sugiere que una mejor calibración y una detección OOD fiable pueden impactar positivamente en despliegues de seguridad crítica al permitir que los sistemas se abstengan de realizar predicciones cuando las entradas no están soportadas.