💻 computer science

The Neuron Is the Distribution

Cet article présente l'Elemental Variational Expanse (EVE), une unité variationnelle au niveau du neurone qui remplace les activations cachées déterministes par des états latents échantillonnés dépendants de l'entrée afin d'améliorer la prédiction probabiliste et de fournir des diagnostics mesurables tout en maintenant la compatibilité avec les architectures neuronales standards.

Auteurs originaux : Yves Ruffenach

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yves Ruffenach

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un cerveau de robot géant et super intelligent à partir de minuscules ampoules lumineuses. Dans la méthode traditionnelle pour construire ces cerveaux (que les scientifiques appellent « réseaux de neurones »), chaque ampoule est un peu comme un petit robot en mode pilote automatique. Lorsqu'elle reçoit un message, elle calcule les chiffres et recrache une réponse unique et nette : « Oui », « Non » ou « 42 ». C'est comme une calculatrice qui ne doute jamais d'elle-même. Même si le robot est totalement incertain de ce qu'il voit, cette ampoule se contente de vous donner un seul nombre et passe à la suite. Si vous voulez que le robot dise : « Je suis sûr à 80 % que c'est un chat, mais peut-être un chien ? », il faut généralement construire toute une couche de machinerie supplémentaire par-dessus le cerveau pour ajouter ce sentiment de « peut-être » plus tard.

Mais et si l'ampoule elle-même pouvait être incertaine ? Et si l'ampoule ne donnait pas seulement un nombre, mais tout un nuage de possibilités ?

C'est la grande idée de cette nouvelle recherche d'Yves Ruffenach. Il introduit un nouveau type d'ampoule appelé EVE (Elemental Variational Expanse). Au lieu d'être un point de lumière unique et têtu, une ampoule EVE est un petit nuage de probabilité. Lorsqu'elle reçoit un message, elle ne se contente pas de calculer une seule réponse ; elle échantillonne un tas de différents scénarios de type « et si... » à l'intérieur d'elle-même, les pèse, puis envoie un signal basé sur ce nuage.

Pensez-y de cette façon :

L'ancienne ampoule (déterministe) : Vous demandez : « Est-ce qu'il pleut ? ». Elle vérifie le ciel et dit : « Oui ». Fin de l'histoire.
L'ampoule EVE (variationnelle) : Vous demandez : « Est-ce qu'il pleut ? ». Elle regarde le ciel et dit : « Eh bien, il y a 90 % de chances qu'il pleuve à verse, 9 % de chances qu'il bruine et 1 % de chances que ce soit juste un nuage bizarre ». Elle fait tout ce raisonnement à l'intérieur de l'ampoule avant même de parler à l'ampoule suivante dans la chaîne.

Le grand test : Est-ce juste des maths, ou de la magie ?

L'auteur n'a pas seulement imaginé cela ; il l'a soumis à une série de tests rigoureux pour voir si cela fonctionne réellement ou s'il s'agit simplement d'une façon sophistiquée de faire la même chose.

1. Le test de la pluie « hétéroscédastique »
D'abord, ils ont créé un monde fictif où le « bruit » (ou l'incertitude) changeait selon la situation. Ils voulaient savoir : est-ce que l'EVE devient meilleure pour deviner parce qu'elle a plus de puissance cérébrale (plus de paramètres) ou parce qu'elle fait réellement ce cool « raisonnement en nuage » à l'intérieur de l'ampoule ?

Le résultat : Ils ont comparé l'EVE à une ancienne ampoule super intelligente qui possédait encore plus de puissance cérébrale (4 109 paramètres contre 3 970 pour l'EVE). L'ancienne ampoule était légèrement meilleure pour obtenir le nombre exact (l'erreur quadratique moyenne était de 0,057833 contre 0,058069 pour l'EVE — un écart infime d'environ 0,41 %).
Le rebondissement : Mais lorsqu'il s'agissait de savoir à quel point elle était incertaine, l'EVE a écrasé la concurrence. Elle était bien meilleure pour prédire la « forme » de l'incertitude. Elle suivait presque parfaitement les véritables changements de modèles météorologiques (une corrélation de 0,98), tandis que l'ancienne ampoule se contentait de deviner une température constante.
Le coût : Ce raisonnement en nuage n'est pas gratuit. Dans ces tests, l'EVE a mis environ 4,04 fois plus de temps pour effectuer une seule prédiction que l'ampoule de base, et 1,77 fois plus de temps que la super-intelligente ampoule classique. C'est un compromis : vous devenez meilleur pour savoir ce que vous ne savez pas, mais cela coûte plus de temps.

2. Les tables du monde réel
Ensuite, ils ont testé l'EVE sur des données réelles, comme la prédiction des prix de l'immobilier à Boston et la résistance du béton.

Le résultat : Sur les données du béton, l'EVE a battu la méthode classique dans presque tous les tests (10 sur 10 pour la mesure de l'incertitude). Elle a fait descendre la « Log-vraisemblance négative » (un score sophistiqué pour la qualité de la prédiction de probabilité) de 3,83 à 3,15. C'est un bond énorme de 17,85 %.
La leçon : Cela a prouvé que vous pouvez remplacer ces « ampoules de nuages » dans un cerveau normal et qu'elles apprennent réellement à mieux deviner les probabilités sans casser tout le système.

3. Le robot de langage (Transformers)
Enfin, ils ont testé l'EVE à l'intérieur d'un « Transformer », le type de cerveau utilisé par les chatbots et les modèles de langage. Ils l'ont testé sur des invites d'écriture et un corpus appelé WikiText2.

Le résultat : Le cerveau EVE a appris à mieux écrire. Sur le test WikiText2, après seulement 4 cycles d'entraînement, le modèle EVE avait une « perplexité » (une mesure de la confusion du modèle) de 154,92, alors que le modèle classique était bloqué à 216,08. C'est une différence massive.
Le facteur « bascule » : Voici la partie amusante. Parce qu'une ampoule EVE est un nuage, si vous posez la même question deux fois, elle peut donner deux réponses légèrement différentes. L'ancienne ampoule donne toujours exactement la même réponse. Dans les tests, l'ampoule EVE a fait « basculer » son premier choix environ 29,58 % du temps lorsqu'on l'interrogeait de manière répétée, montant ainsi qu'elle explorait réellement différentes possibilités. L'ancienne ampoule a basculé 0 % du temps.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article prend grand soin de ne pas dire : « L'EVE est la meilleure chose au monde et résout tout ! »

Ce n'est pas une solution miracle pour la vitesse : L'auteur exclut explicitement l'idée que l'EVE soit plus rapide ou moins coûteuse. En fait, elle est plus lente.
Ce n'est pas une victoire universelle de précision : Dans le premier test, l'ancienne ampoule était en fait légèrement meilleure pour obtenir le nombre exact. Le super-pouvoir de l'EVE concerne spécifiquement l'incertitude — savoir quand elle devine et avec quelle confiance elle le fait.
C'est une preuve de concept : L'article montre que vous pouvez construire un cerveau où les neurones individuels sont de petits nuages de probabilité, et que cela fonctionne de bout en bout. Cela suggère que le « calcul variationnel au niveau du neurone » est une chose réelle et entraînable qui expose des diagnostics cachés (comme mesurer « l'énergie » du nuage interne de l'ampoule).

Ainsi, la conclusion principale est que l'EVE fonctionne. C'est un nouveau type de neurone qui calcule à travers une distribution (un nuage de possibilités) plutôt qu'à travers un point unique. Cela améliore la façon dont un modèle comprend sa propre incertitude, suit les changements réels de bruit, et aide même les modèles de langage à mieux écrire, tout en étant entraînable au sein des architectures standards. Mais cela vient avec un prix à payer : cela prend plus de temps pour calculer, et l'EVE n'est pas nécessairement meilleure pour obtenir le nombre exact, elle est simplement meilleure pour savoir à quel point elle est sûre de ce nombre.

L'auteur appelle cela une « affirmation de concept et de faisabilité ». C'est comme montrer qu'une voiture peut rouler avec un nouveau type de carburant et monter plus vite les côtes, même si elle consomme plus d'essence. Le moteur fonctionne, mais il faut encore trouver comment le rendre efficace sur le long terme.

Résumé technique : Le neurone est la distribution

Énoncé du problème

Les réseaux de neurones standards effectuent des calculs à l'aide d'activations de couches cachées à valeurs ponctuelles, où une unité cachée reçoit une représentation d'entrée $h$ et émet une activation déterministe $a = f(h)$ . Bien que l'incertitude soit souvent modélisée dans ces systèmes, elle est généralement ajoutée autour du calcul par le biais de mécanismes tels que l'incertitude des poids (réseaux de neurones bayésiens), des têtes de variance au niveau de la sortie, des ensembles ou des variables latentes globales. Par conséquent, le calcul caché reste intrinsèquement déterministe, et l'incertitude est traitée comme une propriété de la sortie ou des paramètres plutôt que comme une partie intégrante de l'état caché.

L'article postule que les unités cachées elles-mêmes devraient effectuer un calcul variationnel local. Le défi central est de déterminer si un neurone peut être redéfini comme un objet distributionnel — effectuant l'inférence de la distribution postérieure, l'échantillonnage et la régularisation en interne — sans s'effondrer en un point déterministe ou échouer à s'entraîner de bout en bout au sein des architectures standards.

Méthodologie : Elemental Variational Expanse (EVE)

Les auteurs introduisent l'Elemental Variational Expanse (EVE), un module d'unité cachée variationnelle réutilisable qui remplace l'activation déterministe par un processus variationnel local.

Mécanisme central

Au lieu de calculer une activation ponctuelle, une unité EVE :

Construit une distribution postérieure : Étant donné une entrée $h$ , elle définit une distribution postérieure variationnelle $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$ .
Échantillonnage par reparamétrage : Elle échantillonne un état latent $z$ en utilisant l'astuce de reparamétrage : $z = \mu_\phi(h) + \sigma_\phi(h) \odot \epsilon$ , où $\epsilon \sim \mathcal{N}(0, I)$ .
Émet une activation : L'activation est produite à partir de l'état échantillonné $z$ via une fonction $g_\theta(z, h)$ .

Fonction objectif

L'entraînement combine la perte de la tâche ( $L_{task}$ ) avec un terme de régularisation KL (Kullback–Leibler) au niveau du neurone ( $L_{KL}$ ) :
$L = L_{task} + \beta L_{KL}$
où $L_{KL} = \text{KL}(q_\phi(z | h) \parallel p(z))$ et $p(z) = \mathcal{N}(0, I)$ . Cela force la distribution postérieure locale à rester proche d'un a priori standard tout en lui permettant de s'adapter à l'entrée.

Diagnostics

Une caractéristique unique d'EVE est l'exposition de diagnostics dérivés de la distribution postérieure pendant l'entraînement et l'évaluation. Ceux-ci incluent :

KL Local : La pénalité de régularisation au niveau du neurone.
Variance de la distribution postérieure : La variance de l'état latent échantillonné.
Énergie de la moyenne de la distribution postérieure : La magnitude moyenne du carré de la moyenne de la distribution postérieure ( $\frac{1}{d_z}\sum \mu_j^2$ ).
Occupation de la bande cible : La fraction des moyennes de la distribution postérieure tombant dans un intervalle prédéfini $[l, u]$ .

Principales contributions

L'article présente trois contributions majeures :

Le module EVE : Une unité cachée variationnelle pratique et réutilisable qui intègre l'inférence de la distribution postérieure, l'échantillonnage par reparamétrage et la régularisation KL locale directement dans le neurone.
Distinction conceptuelle : Une séparation claire entre l'incertitude au niveau de la sortie (par exemple, des têtes de moyenne-variance décrivant une distribution prédictive après le calcul) et le calcul stochastique (EVE calculant à travers une distribution à l'intérieur des unités cachées).
Preuves empiriques par étapes : Un protocole d'évaluation rigoureux séparant les effets du nombre de paramètres, de la capacité déterministe et de la variance au niveau de la sortie de la contribution spécifique du calcul variationnel au niveau du neurone.

Résultats expérimentaux

Les auteurs évaluent EVE à travers trois étapes de complexité croissante :

1. Régression hétéroscédastique contrôlée (Étude d'attribution)

Objectif : Isoler si les gains proviennent du nombre de paramètres, de la capacité déterministe ou du calcul variationnel au niveau du neurone.
Lignes de base (Baselines) : Comparaison avec une ligne de base scalaire déterministe (DET-scalar), une cellule déterministe de capacité équivalente (DET-cell) et une ligne de base stochastique de sortie hétéroscédastique (STOCH-hetero).
Résultats :
- EVE a atteint une MSE à 0,41 % près de la cellule déterministe de capacité équivalente (qui possède pourtant plus de paramètres que EVE).
- EVE a nettement surpassé la cellule déterministe et la ligne de base stochastique de sortie sur les métriques sensibles à l'incertitude : NLL, MC-NLL et CRPS.
- Diagnostics : Les diagnostics internes (variance de la distribution postérieure, KL local) étaient fortement corrélés (jusqu'à 0,98) avec l'écart-type conditionnel réel, prouvant que la structure pertinente pour l'incertitude est visible à l'intérieur du calcul caché.
- Coût : EVE a engendré un coût de calcul de 4,04× la ligne de base scalaire et de 1,77× la cellule de capacité équivalente en temps de passage avant (forward time) en raison de l'échantillonnage et de l'évaluation probabiliste.

2. Faisabilité de la régression tabulaire (MLP)

Jeux de données : BostonHousing et ConcreteStrength.
Résultats :
- Sur BostonHousing, un EVE calibré a amélioré toutes les métriques agrégées (MSE, MAE, NLL, CRPS) par rapport à une ligne de base probabiliste déterministe.
- Sur ConcreteStrength (10 graines/seeds appariées), le prédicteur EVE sélectionné a amélioré la NLL de 17,85 % et la CRPS de 2,51 % par rapport à la ligne de base déterministe. EVE a gagné sur la NLL et la CRPS dans 10/10 graines et sur la MSE dans 7/10 graines.

3. Faisabilité de la modélisation de langage par Transformer

Jeux de données : WritingPrompts et WikiText2 raw.
Configuration : Remplacement du bloc primitif de type feed-forward standard par EVE tout en conservant tous les autres hyperparamètres et l'architecture identique.
Résultats :
- WritingPrompts : EVE a amélioré la Cross-Entropy (CE) de 0,17, la Perplexité (PPL) de 26,95 et l'Exactitude (Accuracy) de 0,015 par rapport à la ligne de base déterministe. Il a également exposé des signaux d'incertitude basés sur l'échantillonnage non nuls (Information Mutuelle $\approx$ 0,16, Taux de basculement Top-1 $\approx$ 0,30), alors que la ligne de base déterministe présentait des valeurs proches de zéro.
- WikiText2 : Sur quatre premiers époques, EVE a systématiquement surpassé la ligne de base déterministe en CE, PPL et Exactitude. Notamment, EVE a présenté un écart entraînement-validation nettement plus faible (0,10 contre 1,04 à l'époque 4), suggérant que le calcul variationnel du feed-forward agit comme un régularisateur interne.

Signification et affirmations

L'article cadre modestement sa signification comme une preuve de concept et de faisabilité plutôt que comme une affirmation de supériorité universelle de précision ou de dominance normalisée par le calcul.

Faisabilité : Les résultats démontrent que le calcul variationnel au niveau du neurone peut s'entraîner de bout en bout à l'intérieur d'architectures neuronales ordinaires (MLP et Transformers) sans s'effondrer.
Sensibilité à l'incertitude : EVE améliore systématiquement les métriques sensibles à l'incertitude (NLL, CRPS, PPL) tout en maintenant une précision ponctuelle comparable ou supérieure aux lignes de base déterministes.
Diagnostics internes : Ce travail prouve que les états cachés dans EVE ne sont pas simplement "bruyants", mais contiennent des signaux de diagnostic mesurables et interprétables (comme la variance de la distribution postérieure et le KL) qui s'alignent sur le régime réel des données.
Régularisation : Dans la modélisation de langage, la nature variationnelle des unités cachées semble agir comme un régularisateur interne, réduisant l'écart de généralisation.

Les auteurs concluent que « le neurone est la distribution », proposant une primitive où l'incertitude n'est pas seulement une propriété de la sortie, mais une partie intrinsèque du processus de calcul caché. Les travaux futurs devront répondre à l'augmentation du coût de calcul et tester l'approche sur des jeux de données à plus grande échelle.