📊 statistics

Uncertainty propagation through trained multi-layer perceptrons: Exact analytical results

Ce document présente des expressions analytiques exactes pour la moyenne et la variance de la sortie de perceptrons multicouches à une seule couche cachée entraînés avec des activations ReLU lorsque l'entrée suit une distribution gaussienne multivariée, ce faisant sans recourir à des développements en série.

Auteurs originaux : Andrew Thompson, Miles McCrory

Publié 2026-01-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrew Thompson, Miles McCrory

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une machine très intelligente, mais un peu mystérieuse. Vous lui donnez des données (comme une recette) et elle recrache une prédiction (comme un gâteau). Cette machine est un Perceptron Multicouche (MLP), un type d'intelligence artificielle.

Le problème est le suivant : Et si votre recette n'était pas parfaite ? Peut-être avez-vous mesuré la farine avec une main tremblante, ou la température a fluctué. Dans le monde réel, vos données d'entrée ont toujours un petit peu de « vacillement » ou d'incertitude.

La grande question à laquelle cet article répond est : Si nous connaissons exactement l'ampleur du « vacillement » de notre entrée, pouvons-nous calculer exactement l'ampleur du « vacillement » du gâteau final, sans avoir à cuisiner un million de gâteaux pour le découvrir ?

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. La Machine : Une usine en trois étapes

Les auteurs ont étudié une version spécifique et simplifiée de ces machines d'IA. Imaginez cela comme une usine avec trois stations :

Station 1 (Le Mélangeur) : Vous versez vos ingrédients (les données d'entrée). La machine les mélange avec des poids et ajoute une pincée de sel (c'est une « transformation affine » mathématique).
Station 2 (Le Gardien) : C'est la partie la plus importante. La machine utilise une fonction ReLU. Imaginez une barrière qui ne laisse passer que les nombres positifs. Si le nombre est négatif, la barrière se referme brusquement et la sortie devient zéro. C'est comme une règle du type « Pas de nombres négatifs autorisés ».
Station 3 (Le Boulanger) : Les nombres qui ont passé la barrière sont mélangés à nouveau pour créer la sortie finale (la prédiction).

2. L'Ancienne Méthode : Deviner en cuisinant (Monte Carlo)

Avant cet article, si vous vouliez savoir à quel point l'incertitude de votre gâteau final était élevée, vous deviez utiliser une méthode appelée échantillonnage de Monte Carlo.

L'analogie : Imaginez que vous voulez savoir comment la hauteur du gâteau variera si votre mesure de farine est décalée d'un gramme. L'ancienne méthode consistait à cuire le gâteau 100 000 fois, en modifiant légèrement la quantité de farine de manière aléatoire à chaque fois. Ensuite, vous mesurez les 100 000 gâteaux, calculez la hauteur moyenne et voyez comment ils ont varié.
L'inconvénient : C'est lent, cela demande beaucoup de puissance de calcul, et c'est une estimation. Vous n'obtenez jamais la réponse exacte, juste une très bonne supposition qui s'améliore à mesure que vous cuisinez davantage de gâteaux.

3. La Nouvelle Méthode : La Formule Exacte (Résultats Analytiques)

Les auteurs, Andrew Thompson et Miles McCrory, ont trouvé un raccourci mathématique. Ils ont dérivé une formule exacte (une expression sous forme fermée) qui vous indique exactement la moyenne et le « vacillement » (la variance) de la sortie, simplement en regardant les mathématiques de l'entrée.

L'analogie : Au lieu de cuire 100 000 gâteaux, ils ont écrit une équation unique qui vous dit exactement comment le « vacillement » de la farine voyage à travers le mélangeur, frappe la barrière et modifie la hauteur finale.
Pourquoi c'est spécial :
- C'est Exact : Pas de supposition. Pas besoin de cuire un million de gâteaux.
- C'est Transparent : Vous pouvez regarder la formule et comprendre pourquoi la sortie est incertaine. C'est comme voir le plan bleu de l'usine plutôt que de simplement regarder le produit fini.
- C'est Rapide : Vous n'avez pas besoin de lancer une simulation ; il vous suffit de plonger les chiffres dans la formule.

4. Le Défi du « Gardien »

La partie la plus difficile de leurs mathématiques était le Gardien (ReLU).

Lorsque vous mélangez les ingrédients, les mathématiques sont généralement fluides et prévisibles (comme une ligne droite).
Mais le Gardien est délicat. Il coupe tout ce qui est en dessous de zéro. Cela crée un « pli » dans les mathématiques.
Les méthodes précédentes tentaient d'approximer ce pli en utilisant de longues séries infinies (comme essayer de décrire un cercle en ajoutant de plus en plus de petites lignes droites).
La Percée : Les auteurs ont trouvé un moyen de calculer le résultat de ce « pli » en utilisant des outils mathématiques standards et bien connus (intégrales gaussiennes) sans avoir besoin de ces séries infinies et désordonnées. Ils ont résolu l'énigme de la façon dont le « vacillement » se comporte lorsqu'il frappe la barrière du « Pas de nombres négatifs ».

5. Est-ce que ça a fonctionné ? (Le Test)

Pour prouver que leur formule n'était pas seulement théorique, ils l'ont testée sur un problème du monde réel : prédire la santé des batteries lithium-ion (comme celles des voitures électriques) en utilisant des données électriques.

Ils ont entraîné leur IA sur des données de batteries.
Ils ont pris un ensemble de batteries de test et ont utilisé leur Formule Exacte pour prédire l'incertitude.
Ils ont également utilisé l'Ancienne Méthode (cuisiner 1 000 000 de gâteaux virtuels via l'échantillonnage de Monte Carlo) pour voir quelle était la « vraie » réponse.
Le Résultat : La Formule Exacte correspondait presque parfaitement à la simulation de 1 000 000 de gâteaux, mais en une fraction du temps.

Résumé

Cet article est comme la découverte d'une carte parfaite pour un voyage à travers un paysage complexe et accidenté.

Avant : Il fallait parcourir le chemin un million de fois pour découvrir où se trouvaient les bosses.
Maintenant : Il existe une carte qui vous indique exactement où se trouvent les bosses et quelle est leur taille, simplement en regardant le point de départ.

Ils ont fait cela spécifiquement pour des machines possédant une couche cachée et une barrière ReLU. Ils admettent que si la machine devient plus complexe (plus de couches) ou utilise des barrières différentes, les mathématiques deviennent beaucoup plus difficiles, mais pour cette configuration spécifique, ils ont la réponse exacte et parfaite.

Résumé Technique : Propagation de l'incertitude à travers les Perceptrons Multicouches entraînés

Énoncé du Problème
L'article traite du défi de la propagation de l'incertitude à travers les modèles de régression d'apprentissage automatique entraînés, spécifiquement les Perceptrons Multicouches (MLP). Bien que la quantification de l'incertitude soit de plus en plus imposée pour garantir la fiabilité des modèles (par exemple, sous l'égide de la loi sur l'IA de l'UE), les méthodes existantes pour propager les incertitudes d'entrée connues à travers un modèle fixe reposent souvent sur des approches basées sur l'échantillonnage comme la méthode de Monte Carlo. Ces méthodes approximent la distribution de sortie et nécessitent des ressources de calcul importantes pour atteindre une grande précision. Les méthodes analytiques, qui offrent des caractérisations exactes, sont souvent limitées par des approximations (par exemple, la linéarisation, les limites asymptotiques) ou reposent sur des développements en séries infinies qui sont fastidieux à évaluer pour des fonctions d'activation spécifiques.

Méthodologie
Les auteurs se concentrent sur les MLP entièrement connectés (feed-forward) avec une seule couche cachée et des fonctions d'activation ReLU, en supposant que les données d'entrée suivent une distribution Gaussienne multivariée. L'architecture consiste en :

Un vecteur d'entrée $V$ passé à travers une transformation affine pour produire $W$ .
Une activation ReLU composante par composante ( $X = W_+$ ) appliquée à $W$ .
Une transformation affine finale pour produire la sortie scalaire $Y$ .

La contribution méthodologique centrale est la dérivation d'expressions analytiques exactes pour la moyenne et la variance de la sortie $Y$ . Les auteurs décomposent le problème :

La propagation à travers les couches affines est gérée via des transformations linéaires standards des distributions Gaussiennes.
Le principal défi réside dans la propagation de l'incertitude à travers l'activation ReLU. Les auteurs dérivent des expressions en forme close pour les premier et second moments (moyenne et covariance) d'une distribution Gaussienne rectifiée multivariée.
Plus précisément, ils fournissent des formules pour $E[X_i]$ , $E[X_i^2]$ et $E[X_i X_j]$ (où $X = W_+$ ) en utilisant des intégrales gaussiennes 1D et 2D standards impliquant la fonction de densité de probabilité ( $\phi$ ) et la fonction de répartition ( $\Phi$ ).
L'article traite également des cas limites où les variances d'entrée sont nulles ou lorsque les corrélations sont parfaites ( $|\rho| = 1$ ), en fournissant des formes limites pour ces scénarios.

Contributions Clés

Expressions Analytiques Exactes : L'article présente des formules en forme close pour la moyenne et la variance des sorties de MLP avec des activations ReLU et des entrées gaussiennes. Contrairement aux travaux précédents (par exemple, [19]) qui reposent sur des séries de Taylor infinies, ces expressions sont finies et ne dépendent que d'intégrales gaussiennes standards.
Gestion de la Non-linéarité ReLU : La dérivation gère explicitement la non-linéarité de la fonction ReLU sans recourir à la linéarisation ou à des hypothèses de moyenne nulle, fournissant des résultats exacts pour la distribution rectifiée.
Extensions aux Cas Limites : Les auteurs étendent leurs résultats pour gérer les cas dégénérés où l'incertitude d'entrée est nulle ou lorsque les variables de la couche cachée sont parfaitement corrélées.
Validation : Les résultats analytiques sont validés par rapport à l'échantillonnage de Monte Carlo en utilisant un problème de test réel : l'estimation de l'état de santé (SOH) de cellules lithium-ion basées sur des données de spectroscopie d'impédance électrochimique (EIS).

Résultats

Théoriques : Les expressions dérivées (Théorèmes 1, 2 et 3) permettent le calcul des moments de sortie avec une précision arbitraire sans nécessiter de troncature de série.
Empiriques : Dans l'expérience de prédiction du SOH, les résultats analytiques ont été comparés aux simulations de Monte Carlo avec des tailles d'échantillons allant de $10^3$ $1 0^{3}$ à $10^6$ $1 0^{6}$ .
- L'erreur quadratique moyenne (RMSE) entre les résultats analytiques et ceux de Monte Carlo a diminué à mesure que le nombre d'essais de Monte Carlo augmentait.
- Avec $10^6$ essais, la RMSE pour les estimations de la moyenne et de la variance est tombée en dessous de $10^{-5}$ .
- Des graphiques log-log de la RMSE par rapport à la taille de l'échantillon ont confirmé une relation de loi de puissance avec un gradient d'environ $-0,5$, ce qui est cohérent avec le taux de convergence attendu de $1/\sqrt{n}$ des méthodes de Monte Carlo. Cela confirme que les expressions analytiques correspondent aux "vraies" valeurs que les méthodes de Monte Carlo approximent.

Signification et Revendications
L'article affirme que son approche analytique offre une solution plus précise, plus transparente et plus reproductible que les méthodes basées sur l'échantillonnage.

Précision : Les expressions analytiques caractérisent précisément l'incertitude de sortie, tandis que les méthodes d'échantillonnage ne font que l'approximer.
Transparence : La dérivation mathématique fournit un aperçu des sources de l'incertitude propagée, contrairement à l'échantillonnage "boîte noire".
Reproductibilité : Reproduire l'évaluation nécessite uniquement la distribution d'entrée et la formule analytique, évitant ainsi de devoir enregistrer ou répliquer des processus d'échantillonnage spécifiques.

Les auteurs notent que bien que les résultats actuels soient exacts pour les réseaux à une seule couche cachée avec ReLU, l'extension de ces résultats exacts à des réseaux plus profonds ou à d'autres fonctions d'activation nécessiterait des techniques mathématiques différentes ou des approximations (telles que des approximations gaussiennes à chaque couche). L'article conclut que pour le cas spécifique des réseaux ReLU à une seule couche cachée avec des entrées gaussiennes, la propagation analytique exacte de l'incertitude est réalisable et supérieure à l'échantillonnage.