La vie secrète d'un neurone

Imaginez que vous essayiez d'apprendre à un ordinateur à reconnaître un chat sur une photo. Vous construisez un cerveau numérique composé de couches de minuscules processeurs simples appelés « neurones ». Dans la version standard de ces cerveaux numériques, chaque neurone agit comme un robot rigide et monomaniaque. Il reçoit des informations, traite les chiffres et recrache une seule réponse, définitive : un nombre précis. Si le robot dit « 0,8 », c'est la seule vérité qu'il connaît. Il ne sait pas s'il devine, si l'image est floue ou s'il passe simplement une mauvaise journée. C'est un monde de certitude absolue, même quand le monde est désordonné.

Mais la vraie vie est pleine de « peut-être ». Lorsque vous regardez une forme floue dans le brouillard, vous ne voyez pas seulement « chat » ou « pas chat » ; vous ressentez une certaine incertitude. Les scientifiques tentent depuis longtemps d'apprendre aux ordinateurs à ressentir cette incertitude, généralement en secouant tout le cerveau ou en ajoutant des couches de doute supplémentaires à la toute fin. Cependant, une nouvelle étude suggère que nous ne regardons peut-être pas le problème sous le bon angle. Au lieu de rendre tout le cerveau incertain, et si nous rendions les minuscules blocs de construction individuels eux-mêmes incertains ? Cette recherche pose une question simple et ludique : et si chaque neurone de ce cerveau numérique n'était pas un robot rigide, mais un petit parieur qui garde quelques différentes possibilités dans sa poche arrière ?

Rencontrez EVE : Le neurone qui garde ses options ouvertes

Dans cet article, un chercheur nommé Yves Ruffenach présente un nouveau type de neurone numérique appelé EVE. Considérez un neurone standard comme un ouvrier d'usine qui frappe toujours la même pièce spécifique. EVE, en revanche, est comme un ouvrier qui ne se contente pas de frapper une seule pièce ; il crée toute une boîte de versions légèrement différentes de cette pièce, en choisit une au hasard, puis l'utilise pour construire la couche suivante.

L'article appelle cela un « neurone distributionnel ». Au lieu de transmettre un nombre unique (comme 5,0), EVE transmet une distribution — un nuage entier de nombres possibles. Il y parvient en possédant une « postérieure » interne (un mot savant pour déser son estimation actuelle de ce qui pourrait être vrai) et une « a priori » (ce qu'il pense être généralement possible). Il échantillonne un « état latent » aléatoire à partir de ce nuage, utilise cet état aléatoire pour faire son travail, puis transmet le résultat. Crucialement, le neurone est entraîné pour garder ses estimations internes honnêtes grâce à une pénalité de « régularisation KL », qui est comme un professeur qui réprimande doucement le neurone s'il commence à deviner de manière sauvage sans raison valable.

L'étude teste cette idée en trois étapes distinctes, comme un scientifique qui zoome sur une cellule unique, puis construit un organe entier, et enfin l'intègre dans une machine complexe.

Étape 1 : Le microscope
D'abord, les chercheurs ont isolé un seul neurone pour voir ce qu'il pouvait faire de son côté. Ils ont mis en place un jeu dont le but était de prédire des nombres ayant une quantité de « bruit » (aléatoire) spécifique et changeante. Ils ont comparé EVE à trois autres types de neurones :

1. Un neurone déterministe standard et ennuyeux (le robot rigide).
2. Un neurone déterministe « apparié » qui possédait la même puissance de calcul mais aucune part d'aléatoire.
3. Un neurone « hétéroscédastique » spécial qui avait été explicitement chargé de prédire l'incertitude à la toute fin.

Les résultats étaient fascinants. Le robot standard était correct pour deviner le nombre, mais incapable de savoir à quel point il était incertain. Le robot « apparié » était tout aussi incertain que le standard. Mais EVE ? C'était une star. Bien qu'il devine les nombres aussi précisément que le puissant robot apparié, il est devenu incroyablement doué pour suivre la véritable incertitude. En fait, il s'est aligné sur le véritable schéma de bruit 93,9 % du temps, alors que le robot standard était à peine au-dessus de zéro. EVE a prouvé qu'un seul neurone pouvait apprendre à contenir l'incertitude en lui-même, et non pas seulement à la sortie.

Étape 2 : L'empilement profond
Ensuite, les chercheurs ont demandé : « Cela fonctionne-t-il si l'on empile 128 de ces neurones les uns sur les autres ? » Ils ont construit un réseau de neurones profond et massif (128 couches de profondeur, avec 128 neurones par couche) pour prédire l'efficacité énergétique des bâtiments. C'est un véritable test de « composition » : ces neurones incertains peuvent-ils travailler ensemble sans que le système entier ne s'effondre dans le chaos ?

La réponse est un « oui » retentissant, mais avec une nuance. Lorsqu'ils ont testé le réseau profond, EVE a considérablement amélioré la capacité du modèle à gérer l'incertitude. Il a réduit la « Log-vraisemblance négative » (un score mesurant la capacité du modèle à prédire toute la gamme de possibilités) d'environ 18,8 % et a amélioré d'autres scores d'incertitude de 4,5 % à 8,3 % sur les cinq essais de test. Cependant, lorsqu'il s'agissait de simplement deviner le nombre exact (mesuré par l'MSE et la MAE), EVE était à peu près au même niveau que le robot standard, parfois légèrement meilleur, parfois légèrement moins bon. La grande victoire était que l'« incertitude » ne s'est pas éteinte au fur et mesure que le signal voyageait à travers les 128 couches ; elle est restée vivante et mesurable. Les chercheurs ont toutefois noté que cela avait un coût : EVE était environ 7,1 fois plus lent à exécuter car il devait effectuer tout cet échantillonnage et ces calculs supplémentaires.

Étape 3 : Le pont Transformer
Enfin, les chercheurs ont tenté d'intégrer EVE dans une architecture « Transformer » moderne, le type de cerveau utilisé pour les modèles de langage comme ceux qui écrivent des essais ou discutent avec vous. Ils ont remplacé les parties « feed-forward » standard d'un Transformer par des neurones EVE et lui ont demandé de prédire le mot suivant dans une histoire (en utilisant un ensemble de données appelé PG-19).

Les résultats suggèrent que EVE peut effectivement être inséré dans ces systèmes complexes et modernes. Le Transformer propulsé par EVE a amélioré sa capacité à prédire le mot suivant (abaissant la « perplexité » de 189,74 à 161,94) et est devenu meilleur pour deviner le mot juste (la précision est passée de 0,1938 à 0,2064). Il a également produit des « signaux d'incertitude de Monte Carlo non dégénérés », ce qui est une façon sophistiquée de dire que lorsqu'on demandait au modèle de deviner plusieurs fois, il donnait des réponses différentes et intéressantes qui reflétaient son incertitude, plutôt que de simplement répéter la même supposition. Cependant, l'étude a révélé que l'« incertitude » se produisait principalement dans la première couche du réseau ; les couches plus profondes n'exploitaient pas encore tout leur potentiel.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article suggère que faire de l'incertitude une unité fondamentale de calcul, directement au cœur du neurone, est une idée réalisable et puissante. Il montre que vous pouvez isoler ce comportement, construire des réseaux profonds avec lui, et même l'injecter dans les modèles de langage les plus avancés.

Cependant, les auteurs prennent soin de ne pas prétendre qu'il s'agit d'une solution miracle. Ils excluent explicitement l'idée qu'il s'agisse simplement d'avoir plus de puissance de calcul ; un neurone standard avec la même puissance n'a pas obtenu les mêmes résultats. Ils notent également que si EVE est excellent pour l'incertitude, il ne gagne pas toujours sur le terrain de la justesse pure du nombre exact. Dans les tests de réseaux profonds, les taux d'erreur standards (MSE et MAE) étaient très proches, et parfois le modèle standard était légèrement meilleur. De plus, l'étude admet que la version actuelle est plus lente et que l'« incertitude » dans l'expérience Transformer n'était pas encore parfaitement équilibrée entre toutes les couches.

En bref, EVE suggère que si nous voulons que les ordinateurs comprennent le désordre du monde, nous ne devrions pas simplement ajouter un bouton de « doute » à la fin. Nous devrions enseigner aux minuscules blocs de construction eux-mêmes à garder quelques options ouvertes, à les échantillonner, et à apprendre à être à l'aise avec l'inconnu. C'est un changement petit et ludique dans la façon dont nous construisons les cerveaux numériques, mais qui pourrait aider ces derniers à voir le monde un peu plus comme nous le voyons.