Resumen Técnico: Sobre la Incertidumbre Epistémica de las Redes Neuronales Sobredimensionadas

Enunciado del Problema

La incertidumbre epistémica en el aprendizaje automático se define tradicionalmente como una incertidumbre reducible que desaparece a medida que aumenta el tamaño de los datos, a menudo equiparada con la variabilidad predictiva. Esta perspectiva se basa en la suposición de la identificabilidad de los parámetros, donde la distribución posterior se concentra alrededor de un único vector de parámetros (o una masa puntual) a medida que $n \to \infty$. Sin embargo, en las redes neuronales sobredimensionadas, los parámetros suelen ser no identificables debido a simetrías (por ejemplo, invarianza de permutación) y representaciones redundantes.

El problema central abordado es que, aunque la función subyacente $f^*$ pueda estar completamente identificada, el espacio de parámetros contiene una incertidumbre sustancial que persiste incluso con datos infinitos. Las descomposiciones clásicas de la incertidumbre, que se centran en la varianza predictiva, no logran capturar esta incertidumbre "residual" porque son invariantes ante variaciones de parámetros que dejan la función inalterada. En consecuencia, existe una discrepancia entre las propiedades estructurales de los modelos sobredimensionados (donde la posterior no colapsa a un punto en el espacio de parámetros) y los métodos estándar de cuantificación de la incertidumbre.

Metodología

Los autores analizan la incertidumbre epistémica a través de la lente de la no identificabilidad utilizando una arquitectura de red ReLU de una capa oculta:
$$f_w(x) = w_2^\top \phi(W_1 x)$$
donde $\phi(\cdot) = \max(0, \cdot)$. El estudio asume un objetivo de pérdida regularizado equivalente a una posterior bayesiana con una priori gaussiana.

La metodología procede en tres etapas:

1. Caracterización Teórica: Los autores distinguen entre dos fuentes de no identificabilidad:
   • Simetría de Permutación: En modelos correctamente especificados ($M = M^*$), la no identificabilidad surge de permutar las neuronas ocultas. La posterior converge a una mezcla de medidas de Dirac sobre estas permutaciones.
   • División Continua (Asignación de Variedad): En modelos sobredimensionados ($M > M^*$), las neuronas verdaderas pueden representarse mediante combinaciones continuas de múltiples neuronas redundantes. Esto induce una "variedad de división" $\mathcal{M}_\varsigma$ donde los pesos pueden redistribuirse continuamente manteniendo la misma función y coste de regularización.
2. Derivación de la Posterior: El artículo deriva la forma exacta de la posterior inducida en estas variedades. Establece que, para un mapa de asignación fijo $\varsigma$ (que mapea las neuronas del modelo a las neuronas verdaderas), los coeficientes de división siguen una distribución Dirichlet simétrica. Los autores definen la posterior en la variedad como el límite débil de la posterior ambiental condicionada a un tubo $\epsilon$ alrededor de la variedad cuando $\epsilon \to 0$.
3. Validación Empírica: Los hallazgos teóricos se validan utilizando Redes Neuronales Bayesianas (BNN) con priores y verosimilitudes gaussianas. La inferencia se realiza mediante Dinámica de Langevin de Gradiente Estocástico (SGLD) y el Muestreador No-U-Turn (NUTS). El estudio analiza muestras de la posterior para verificar propiedades de convergencia, tasas de cambio entre cámaras de permutación y la distribución de los coeficientes de división.

Contribuciones Clave

1. Replanteamiento de la Incertidumbre Epistémica: El artículo argumenta que la incertidumbre epistémica en modelos sobredimensionados incluye un componente persistente debido a la no identificabilidad que no desaparece con el aumento de datos, incluso cuando la función predictiva está perfectamente identificada.
2. Caracterización de la Incertidumbre Residual:
   • Fuente Discreta: En modelos correctamente especificados, la incertidumbre se manifiesta como una mezcla de medidas de Dirac sobre órbitas de permutación.
   • Fuente Continua: En modelos sobredimensionados, la incertidumbre se manifiesta como una distribución no degenerada sobre variedades de división. Los autores derivan que los coeficientes de división siguen una distribución Dirichlet $\text{Dir}(\alpha, \dots, \alpha)$ con $\alpha = (p+1)/2$.
3. Momentos y Geometría de la Posterior: Los autores derivan fórmulas explícitas para los momentos de la posterior de los pesos bajo sobredimensionamiento. Muestran que, aunque la contribución total de un grupo de neuronas redundantes permanece fija, la contribución individual de cada neurona disminuye ($O(M^{-1/2})$ en media, $O(M^{-1})$ en covarianza) a medida que aumenta el ancho de la red $M$.
4. Dinámica de Muestreo: El artículo demuestra que los muestreadores MCMC estándar (bajo supuestos específicos de continuidad) están casi seguramente confinados a una sola cámara de permutación o al interior de una sola variedad de asignación. No atraviesan naturalmente los límites entre diferentes regiones relacionadas por simetría, lo que significa que una sola cadena explora solo un subconjunto del soporte completo de la posterior.

Resultados

• Convergencia vs. Varianza: Los resultados empíricos confirman que, aunque el rendimiento predictivo (RMSE, LPPD) converge a la función verdadera a medida que aumenta $n$, la traza de la matriz de covarianza de los pesos permanece no nula debido a las simetrías de permutación y división.
• Estructura de la Variedad: En configuraciones sobredimensionadas ($M > M^*$), las muestras de la posterior se alinean con la predicción teórica de que los coeficientes de división siguen una distribución Beta (marginal de Dirichlet). Las distribuciones empíricas de las contribuciones de los pesos coinciden estrechamente con las marginales teóricas de Dirichlet.
• Comportamiento de Muestreo: Los experimentos con NUTS y SGLD muestran que las cadenas permanecen confinadas a cámaras de permutación individuales. La "tasa de cambio" entre cámaras es despreciable, y la "margen mínima media" indica que las cadenas residen profundamente dentro de cámaras específicas, cruzando raramente los límites de medida cero donde las neuronas se vuelven intercambiables.
• Impacto Práctico: El artículo ilustra que ignorar la no identificabilidad puede conducir a estimaciones distorsionadas en tareas posteriores. En el aprendizaje continuo (EWC), la varianza inducida por la no identificabilidad puede inflar falsamente la importancia de los parámetros, lo que lleva a actualizaciones excesivamente restrictivas. Corregir esta varianza mejora la adaptación. De manera similar, los diagnósticos estándar de convergencia (como $\hat{R}$) en el espacio de parámetros pueden permanecer inflados debido a direcciones no identificables, incluso cuando se logra la convergencia en el espacio de funciones.

Significado y Afirmaciones

El artículo afirma proporcionar una corrección necesaria a la visión estándar de la incertidumbre epistémica en el aprendizaje profundo. Afirma que:

• La Incertidumbre de Parámetros Persiste: A diferencia de la visión clásica donde la incertidumbre desaparece con los datos, la incertidumbre de parámetros en redes sobredimensionadas es irreducible debido a simetrías estructurales.
• Espacio de Funciones vs. Espacio de Parámetros: Aunque trabajar en el espacio de funciones mitiga estos problemas, los procedimientos que operan directamente sobre los pesos (por ejemplo, interpretabilidad, compresión de modelos, aprendizaje continuo o inferencia basada en muestreo) deben tener en cuenta esta incertidumbre residual para evitar conclusiones engañosas.
• Limitaciones de las Heurísticas Actuales: Las heurísticas prácticas como los conjuntos profundos (deep ensembles) pueden "promediar" algunos efectos de la no identificabilidad, pero no eliminan la estructura geométrica subyacente de la posterior. El artículo sugiere que comprender la geometría de la posterior (específicamente las variedades inducidas por el sobredimensionamiento) es crucial para una cuantificación precisa de la incertidumbre en el espacio de parámetros.

Los autores permanecen modestos respecto al alcance, señalando que sus resultados formales se derivan para redes ReLU de una capa oculta con priores gaussianos. Reconocen que las redes más profundas introducen no identificabilidades adicionales por capas no cubiertas por su teoría, y que la ley específica de división Dirichlet depende de la elección de la priori gaussiana/regularización L2. Sin embargo, argumentan que los mecanismos de simetrías de permutación y división son fundamentales para los modelos sobredimensionados y probablemente se extienden a arquitecturas más amplias.