Resumen Técnico: Estimación de Incertidumbre Calibrada Sin Muestreo en Aprendizaje Profundo Bayesiano

1. Planteamiento del Problema

Los modelos modernos de aprendizaje profundo, particularmente aquellos basados en arquitecturas de transformadores, son notoriamente propensos al exceso de confianza, lo que limita su fiabilidad en aplicaciones de alto riesgo como la detección de enfermedades, el razonamiento legal y la asistencia visual para usuarios ciegos. Aunque las Redes Neuronales Bayesianas (BNN) ofrecen una ruta fundamentada para la cuantificación de la incertidumbre mediante el aprendizaje de una distribución sobre los parámetros del modelo, un cuello de botella significativo persiste en el momento de la inferencia.

La inferencia bayesiana estándar requiere promediar las predicciones a través de muchas pasadas hacia adelante con pesos muestreados de la distribución posterior (muestreo de Monte Carlo o MC), lo cual es computacionalmente prohibitivo para arquitecturas a gran escala. Por el contrario, utilizar solo la red media (ignorando la varianza) es eficiente pero no logra capturar la incertidumbre. Los métodos de propagación de varianza existentes, que propagan analíticamente la media y la varianza a través de las capas en una sola pasada, han estado históricamente limitados a Perceptrones Multicapa (MLP). Su extensión a arquitecturas modernas (Transformers, CNN con ResNets) ha sido un desafío debido al aumento de la profundidad y la presencia de capas de normalización. Intentos previos, como "Streamlining" [30], linealizan las capas de normalización y las funciones de activación, resultando en medias propagadas idénticas a la red media hasta la última capa, lo que impide mejorar la predicción selectiva a pesar del costo computacional añadido.

2. Metodología: Propagación de Varianza Calibrada (CVP)

Los autores proponen la Propagación de Varianza Calibrada (CVP), un marco integral diseñado para entregar estimaciones de incertidumbre precisas en una sola pasada hacia adelante para arquitecturas modernas, incluyendo Transformers y CNNs. CVP opera reemplazando la pasada hacia adelante determinista estándar por una cadena de operadores que propagan pares media-varianza $(\mu, \Sigma)$ a través de la red.

La metodología aborda tres brechas técnicas específicas:

A. Momentos Exactos para Funciones de Activación

A diferencia del método Delta (linealización de Taylor de primer orden) utilizado en trabajos previos, que deja la media propagada independiente de la varianza de entrada, CVP emplea el ajuste de momentos exactos para activaciones no lineales. Asumiendo entradas gaussianas, CVP utiliza expresiones de forma cerrada para la media y la varianza de las activaciones GELU, sigmoid, tanh y ReLU. Esto asegura que la media propagada diverja de la predicción de la red media en cada no linealidad, capturando la incertidumbre dependiente de la entrada.

B. Regla Basada en la Esperanza para Capas de Normalización

Una contribución central es una nueva regla de propagación para las capas de normalización (p. ej., LayerNorm). Los métodos anteriores linealizan el término de varianza $s^2(x)$ como $s^2(\mu_x)$, reduciendo la operación a una transformación afín determinista de la media. CVP reemplaza $s^2(x)$ con su esperanza bajo la distribución de entrada:
$$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$$
donde $\bar{\Sigma}_x$ es la media de las varianzas diagonales de entrada. Esto convierte la operación de LayerNorm en una transformación afín con respecto a los momentos de entrada, permitiendo la propagación exacta de la incertidumbre a través de las capas de normalización, las cuales son centrales en las arquitecturas Transformer.

C. Calibración por Capa

Para contrarrestar la acumulación de errores de aproximación (derivados de las suposiciones de covarianza diagonal e ingresos gaussianos) a medida que aumenta la profundidad, CVP introduce factores de escala aprendibles por capa ($\alpha_i$). Estos factores reescalan multiplicativamente la varianza propagada después de capas clave (específicamente antes de las capas de activación y normalización). Los parámetros $\alpha_i$ se ajustan en una fase de calibración ligera minimizando la Log-Verosimilitud Negativa (NLL) en un conjunto de validación excluido, de forma análoga al escalado de temperatura pero aplicado por capas.

3. Contribuciones Clave

1. Regla de Propagación de Varianza para Capas de Normalización: Los autores desarrollan una nueva regla para las capas de normalización que ofrece una fidelidad sustancialmente mejorada respecto al muestreo MC en comparación con la linealización, validada tanto en datos sintéticos como en activaciones de modelos reales.
2. Etapa de Calibración por Capa: La introducción de factores de escala aprendibles corrige la acumulación sistemática de errores, mejorando significativamente la calibración y, crucialmente, el rendimiento de la predicción selectiva.
3. Implementación Optimizada: La implementación de CVP se ejecuta en una sola pasada hacia adelante con un costo computacional aproximadamente 2–3 veces mayor que una pasada determinista, entregando ganancias sustanciales de fiabilidad sin la sobrecarga de muestreo repetido de los métodos MC.

4. Resultados Experimentales

CVP fue evaluado en benchmarks unimodales (Clasificación de Imágenes: CIFAR-10, CIFAR-100, ImageNet) y multimodales (VQA: VQAv2; Razonamiento Visual: NLVR2) utilizando modelos entrenados mediante el optimizador variacional IVON.

• Compromiso Eficiencia-Fiabilidad: CVP domina consistentemente en el frente de Pareto tanto a la red media como al muestreo MC. Logra una calidad de incertidumbre comparable al muestreo MC (p. ej., 4 muestras) a una fracción del costo (aprox. 2.3–2.9x el costo de una sola pasada frente a 4x para 4 muestras).
• Predicción Selectiva: CVP muestra mejoras marcadas en la Cobertura en Riesgo (C@R). Por ejemplo, en el benchmark NLVR2 con BEiT-3, CVP mejora la cobertura al 0.5% de riesgo del 8.2% (Streamlining) al 14.6%. En VQAv2 con ViLT, mejora del 2.6% al 10.8%.
• Comparación con Streamlining: Mientras que Streamlining mejora ligeramente la calibración sobre la red media, falla en mejorar la predicción selectiva porque su media propagada sigue siendo idéntica a la de la red media. La divergencia temprana de la media en CVP y su calibración por capa le permiten superar significativamente a Streamlining.
• Estudios de Ablación: Eliminar cualquier componente de CVP (momentos de activación exactos, regla de normalización o calibración por capa) degrada el rendimiento, confirmando que los tres elementos son necesarios para las ganancias observadas.

5. Significado y Reivindicaciones

El artículo afirma que CVP llena un vacío crítico en el Aprendizaje Profundo Bayesiano al permitir la estimación de la incertidumbre sin muestreo para arquitecturas modernas y a gran escala. Su significancia radica en:

• Practicidad: Proporciona una alternativa viable al muestreo MC para sistemas de tiempo real y críticos para la seguridad donde la inferencia repetida no es factible.
• Generalidad Arquitectónica: Es el primer marco de propagación de varianza que logra extenderse con éxito a Transformers multimodales y ResNets, superando las limitaciones de métodos previos que estaban restringidos a estructuras tipo MLP.
• Rendimiento: Entrega mejoras consistentes en el frente de Pareto, ofreciendo métricas de fiabilidad (calibración y predicción selectiva) que igualan o superan a los costosos métodos de muestreo MC manteniendo una baja latencia.

Los autores reconocen las limitaciones, señalando que CVP incurre en aproximadamente el doble de la huella de memoria de una pasada determinista (para almacenar las varianzas) y requiere un conjunto excluido para la calibración. Además, los experimentos actuales se limitan a arquitecturas de tipo codificador con cabezales de clasificación o VQA, dejando la generación autorregresiva para trabajos futuros. Sin embargo, el método establece una nueva base para la cuantificación de la incertidumbre eficiente y fiable en el aprendizaje profundo.