📊 statistics

Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

Este artículo presenta expresiones analíticas exactas para la media y la varianza de la salida de perceptrones multicapa de una sola capa oculta entrenados con activaciones ReLU cuando la entrada sigue una distribución gaussiana multivariante, logrando esto sin depender de expansiones en serie.

Autores originales: Andrew Thompson, Miles McCrory

Publicado 2026-01-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrew Thompson, Miles McCrory

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una máquina muy inteligente, pero un poco misteriosa. Le introduces algunos datos (como una receta) y ella te devuelve una predicción (como un pastel). Esta máquina es un Perceptrón Multicapa (MLP, por sus siglas en inglés), un tipo de inteligencia artificial.

El problema es: ¿Qué pasa si tu receta no es perfecta? Tal vez mediste la harina con mano temblorosa, o la temperatura fluctuó. En el mundo real, tus datos de entrada siempre tienen un poco de "tambaleo" o incertidumbre.

La gran pregunta que este artículo responde es: Si sabemos exactamente qué tan "tambaleante" es nuestra entrada, ¿podemos calcular exactamente qué tan "tambaleante" será el pastel final, sin tener que hornear un millón de pasteles para averiguarlo?

Aquí está el desglose de su descubrimiento usando analogías sencas:

1. La Máquina: Una Fábrica de Tres Estaciones

Los autores analizaron una versión específica y simplificada de estas máquinas de IA. Imagínala como una fábrica con tres estaciones:

Estación 1 (El Mezclador): Viertes tus ingredientes (los datos de entrada). La máquina los mezcla con algunos pesos y añade una pizca de sal (esto es una "transformación afín" matemática).
Estación 2 (El Guardián): Esta es la parte más importante. La máquina utiliza una función ReLU. Imagina una puerta que solo deja pasar números positivos. Si el número es negativo, la puerta se cierra de golpe y la salida se convierte en cero. Es como una regla de "No se permiten números negativos".
Estación Estación 3 (El Panadero): Los números que pasaron la puerta se mezclan nuevamente para crear la salida final (la predicción).

2. La Forma Antigua: Adivinar Horneando (Monte Carlo)

Antes de este artículo, si querías saber qué tan incierto era tu pastel final, tenías que usar un método llamado muestreo de Monte Carlo.

La Analogía: Imagina que quieres saber cuánto variará la altura del pastel si tu medición de la harina falla por un gramo. La forma antigua era hornear el pastel 100,000 veces, cambiando ligeramente la cantidad de harina de forma aleatoria en cada ocasión. Luego, mides los 100,000 pasteles, calculas el promedio de altura y ves cuánto variaron.
La Desventaja: Es lento, requiere mucha potencia de cómputo y es un estimado. Nunca obtienes la respuesta exacta, solo una muy buena conjetura que mejora cuanto más pasteles horneas.

3. La Nueva Forma: La Fórmula Exacta (Resultados Analíticos)

Los autores, Andrew Thompson y Miles McCrory, encontraron un atajo matemático. Derivaron una fórmula exacta (una expresión de forma cerrada) que te dice exactamente el promedio y el "tambaleo" (varianza) exacto de la salida, simplemente mirando la matemática de la entrada.

La Analogía: En lugar de hornear 100,000 pasteles, escribieron una sola ecuación que te dice exactamente cómo el "tambaleo" de la harina viaja a través del mezclador, golpea la puerta y cambia la altura final.
Por qué es especial:
- Es Exacto: Sin conjeturas. No hay necesidad de hornear un millón de pasteles.
- Es Transparente: Puedes mirar la fórmula y ver por qué la salida es incierta. Es como ver el plano de la fábrica en lugar de solo mirar el producto terminado.
- Es Rápido: No necesitas ejecutar una simulación; solo introduces los números en la fórmula.

4. El Desafío del "Guardián"

La parte más difícil de su matemática fue el Guardián (ReLU).

Cuando mezclas ingredientes, la matemática suele ser suave y predecible (como una línea recta).
Pero el Guardián es complicado. Corta todo lo que esté por debajo de cero. Esto crea un "quiebre" en la matemática.
Los métodos anteriores intentaban aproximar este quiebre usando series largas e infinitas (como intentar describir un círculo añadiendo más y más pequeñas líneas rectas).
El Gran Avance: Los autores encontraron una manera de calcular el resultado de este "quiebre" utilizando herramientas matemáticas estándar y bien conocidas (integrales gaussianas) sin necesidad de esas series infinitas y desordenadas. Resolvieron el rompecabezas de cómo se comporta el "tambaleo" cuando golpea la puerta de "No se permiten números negativos".

5. ¿Funcionó? (La Prueba)

Para demostrar que su fórmula no era solo teoría, la probaron con un problema del mundo real: predecir la salud de baterías de iones de litio (como las de los coches eléctricos) utilizando datos eléctricos.

Entrenaron su IA con datos de baterías.
Tomaron un conjunto de baterías de prueba y ejecutaron su Fórmula Exacta para predecir la incertidumbre.
También ejecutaron la Forma Antigua (horneando 1,000,000 de pasteles virtuales mediante muestreo de Monte Carlo) para ver cuál era la "verdadera" respuesta.
El Resultado: La Fórmula Exacta coincidió casi perfectamente con la simulación de los 1,000,000 de horneados, pero en una fracción del tiempo.

Resumen

Este artículo es como encontrar un mapa perfecto para un viaje a través de un paisaje complejo y accidentado.

Antes: Tenías que recorrer el camino un millón de veces para descubrir dónde estaban los baches.
Ahora: Tienes un mapa que te dice exactamente dónde están los baches y qué tan grandes son, solo con mirar el punto de partida.

Hicieron esto específicamente para máquinas con una capa oculta y una puerta ReLU. Admiten que si la máquina se vuelve más compleja (más capas) o utiliza puertas diferentes, la matemática se vuelve mucho más difícil, pero para esta configuración específica, tienen la respuesta exacta y perfecta.

Resumen Técnico: Propagación de la Incertidumbre a través de Perceptrones Multicapa Entrenados

Planteamiento del Problema
El artículo aborda el desafío de la propagación de la incertidumbre a través de modelos de regresión de aprendizaje automático entrenados, específicamente Perceptrones Multicapa (MLP). Si bien la cuantificación de la incertidumbre es cada vez más obligatoria para la confiabilidad de los modelos (por ejemplo, bajo la Ley de IA de la UE), los métodos existentes para propagar las incertididades conocidas de la entrada a través de un modelo fijo suelen depender de enfoques basados en el muestreo, como el método de Monte Carlo. Estos métodos aproximan la distribución de salida y requieren recursos computacionales significativos para lograr una alta precisión. Los métodos analíticos, que ofrecen caracterizaciones exactas, suelen limitarse a aproximaciones (por ejemplo, linealización, límites asintóticos) o dependen de expansiones de series infinitas que son computacionalmente tediosas de evaluar para funciones de activación específicas.

Metodología
Los autores se centran en MLP de alimentación hacia adelante (feed-forward) totalmente conectados con una capa oculta única y funciones de activación ReLU, asumiendo que los datos de entrada siguen una distribución Gaussiana multivariante. La arquitectura consiste en:

Un vector de entrada $V$ pasado a través de una transformación afín para producir $W$ .
Una activación ReLU componente a componente ( $X = W_+$ ) aplicada a $W$ .
Una transformación afín final para producir la salida escalar $Y$ .

La contribución metodológica central es la derivación de expresiones analíticas exactas para la media y la varianza de la salida $Y$ . Los autores descomponen el problema:

La propagación a través de las capas afines se gestiona mediante transformaciones lineales estándar de distribuciones Gaussianas.
El desafío principal reside en la propagación de la incertidumbre a través de la activación ReLU. Los autores derivan expresiones de forma cerrada para los primeros y segundos momentos (media y covarianza) de una distribución Gaussiana rectificada multivariante.
Específicamente, proporcionan fórmulas para $E[X_i]$ , $E[X_i^2]$ y $E[X_i X_j]$ (donde $X = W_+$ ) utilizando integrales Gaussianas de 1D y 2D estándar que involucran la función de densidad de probabilidad ( $\phi$ ) y la función de distribución acumulativa ( $\Phi$ ).
El artículo también aborda casos límite donde las varianzas de entrada son cero o las correlaciones son perfectas ( $|\rho| = 1$ ), proporcionando formas límite para estos escenarios.

Contribuciones Clave

Expresiones Analíticas Exactas: El artículo presenta fórmulas de forma cerrada para la media y la varianza de las salidas de los MLP con activaciones ReLU y entradas Gaussianas. A diferencia del trabajo previo (por ejemplo, [19]) que depende de series de Taylor infinitas, estas expresiones son finitas y dependen únicamente de integrales Gaussianas estándar.
Gestión de la No Linealidad de ReLU: La derivación maneja explícitamente la no linealidad de la función ReLU sin recurrir a la linealización o a supuestos de media cero, proporcionando resultados exactos para la distribución rectificada.
Extensiones a Casos Límite: Los autores extienden sus resultados para manejar casos degenerados donde la incertidumbre de la entrada es cero o donde las variables de la capa oculta están perfectamente correlacionadas.
Validación: Los resultados analíticos se validan frente al muestreo de Monte Carlo utilizando un problema de prueba del mundo real: la estimación del Estado de Salud (SOH) de celdas de iones de litio basadas en datos de Espectroscopía de Impedancia Electroquímica (EIS).

Resultos

Teóricos: Las expresiones derivadas (Teoremas 1, 2 y 3) permiten el cálculo de los momentos de salida con una precisión arbitraria sin necesidad de truncamiento de series.
Empíricos: En el experimento de predicción de SOH, los resultados analíticos se compararon con simulaciones de Monte Carlo con tamaños de muestra que oscilaban entre $10^3$ $1 0^{3}$ y $10^6$ $1 0^{6}$ .
- El Error Cuadrático Medio (RMSE) entre los resultados analíticos y los de Monte Carlo disminuyó a medida que aumentaba el número de ensayos de Monte Carlo.
- Con $10^6$ ensayos, el RMSE para las estimaciones de media y varianza cayó por debajo de $10^{-5}$ .
- Los gráficos log-log de RMSE frente al tamaño de la muestra confirmaron una relación de ley de potencia con un gradiente de aproximadamente $-0.5$, consistente con la tasa de convergencia esperada de $1/\sqrt{n}$ de los métodos de Monte Carlo. Esto confirma que las expresiones analíticas coinciden con los valores "reales" que los métodos de Monte Carlo aproximan.

Significado y Reivindicaciones
El artículo afirma que su enfoque analítico ofrece una solución más precisa, transparente y reproducible que los métodos basados en el muestreo.

Precisión: Las expresiones analíticas caracterizan precisamente la incertidumbre de la salida, mientras que los métodos de muestreo solo la aproximan.
Transparencia: La derivación matemática proporciona una visión de las fuentes de la incertidumbre propagada, a diferencia del muestreo de "caja negra".
Reproducibilidad: Reproducir la evaluación requiere únicamente la distribución de entrada y la fórmula analítica, evitando la necesidad de registrar o replicar procesos de muestreo específicos.

Los autores señalan que, si bien los resultados actuales son exactos para redes de una sola capa oculta con ReLU, extender estos resultados exactos a redes más profundas u otras funciones de activación requeriría diferentes técnicas matemáticas o aproximaciones (como aproximaciones Gaussianas en cada capa). El artículo concluye que, para el caso específico de redes ReLU de una sola capa oculta con entradas Gaussianas, la propagación analítica exacta de la incertidumbre es factible y superior al muestreo.