mnorm: An R Package for Calculation and Differentiation of Conditional Multivariate Normal Densities and Probabilities

Imaginez que vous essayiez de prédire la météo, mais au lieu de simplement prévoir de la pluie ou du soleil, vous jonglez avec une douzaine de variables différentes à la fois : la température, l'humidité, la vitesse du vent, la pression barométrique et même l'humeur des écureuils locaux. Dans le monde des statistiques, ce jeu de jonglage chaotique est appelé une loi normale multivariée. C'est une façon mathématique de décrire comment un groupe de choses différentes bouge ensemble. Parfois, elles bougent en synchronisation (comme le vent et la pluie), et parfois elles ne le font pas.

Maintenant, imaginez que vous regardez dehors et que vous voyez que le vent souffle à 20 miles par heure. Soudain, votre prédiction pour l'humeur des écureuils change, et votre estimation de l'humidité se modifie aussi. C'est ce qu'on appelle une probabilité conditionnelle : déterminer ce que le reste du système fait étant donné que vous connaissez déjà quelque chose sur une partie de celui-ci.

Pourquoi est-ce que cela importe ? Parce que le monde réel est rempli de ces réseaux entrelacés. Les économistes les utilisent pour comprendre comment un changement des taux d'intérêt pourrait se répercuter sur le marché boursier, ou comment les notes d'un élève en mathématiques pourraient prédire ses notes en histoire. Pour rendre ces prédictions précises, les scientifiques doivent faire quelque chose appelé différenciation. Considérez cela comme la recherche de la « pente » d'une colline. Si vous essayez de trouver le meilleur endroit pour installer un campement (le maximum de vraisemblance), vous devez savoir dans quelle direction se trouve le « haut » et quelle est la raideur de la pente. Si vous pouvez calculer cette pente parfaitement, vous pouvez zoomer directement vers le sommet. Si vous devez deviner, vous risquez de errer en cercles pendant longtemps.

C'est là qu'intervient un nouvel outil appelé le package mnorm. C'est un logiciel pour le langage de programmation R, conçu pour être le GPS ultime de ces montagnes statistiques.

---

Le package mnorm : Un guide rapide pour les montagnes statistiques

L'article présente mnorm, un nouveau package logiciel qui agit comme une calculatrice multi-outils à haute vitesse pour ces montagnes statistiques complexes. Avant mnorm, les chercheurs devaient utiliser d'autres outils qui étaient soit lents, soit incapables de gérer les situations « conditionnelles » (où l'on connaît déjà certains faits), soit incapables de calculer la « pente » (le gradient) nécessaire pour trouver rapidement les meilleures réponses.

Pensez au calcul d'une probabilité comme à la mesure du volume d'un nuage étrange et invisible. Si le nuage a 2 ou 3 dimensions, c'est comme mesurer un ballon ; s'il a 10 ou 100 dimensions, c'est comme essayer de mesurer un nuage qui existe dans un univers doté de dimensions supplémentaires. Le package mnorm est spécial car il ne se contente pas de mesurer le nuage ; il peut aussi vous dire exactement comment la forme du nuage changerait si vous ajustiez le vent, la température ou le point de départ.

Le superpouvoir : Les gradients analytiques
Le plus grand tour de passe-passe de mnorm est sa capacité à calculer des gradients analytiques. En langage clair, cela signifie qu'il peut déterminer la « pente » de la courbe de probabilité en utilisant des formules mathématiques exactes, plutôt que de deviner en modifiant légèrement les chiffres et en observant le résultat.

Les auteurs ont réalisé des simulations pour tester cela. Ils ont découvert que l'utilisation de ces formules exactes était considérablement plus rapide que la méthode de devinette.

• Pour les calculs de densité simples (juste mesurer le nuage), mnorm était rapide.
• Pour le calcul des gradients (trouver la pente), la différence était énorme. Dans un test avec 5 dimensions, le calcul de la pente de manière analytique a pris environ 0,09 seconde, tandis que la méthode de « devinette » (différenciation numérique) aurait pris au moins 0,54 seconde pour effectuer le nombre minimum de tentatives nécessaires.
• Dans des dimensions plus élevées, comme 10 dimensions, la méthode analytique a pris 3,47 secondes pour la pente, tandis que la méthode de devinette aurait eu besoin d'au moins 4,51 secondes.

L'article suggère que ce gain de vitesse change la donne pour les économistes qui doivent exécuter ces calculs des millions de fois pour construire des modèles. C'est la différence entre monter une montagne à pied et prendre un hélicoptère.

Gérer les parties « données »
L'une des caractéristiques les plus utiles est la façon dont mnom gère les données conditionnelles. Imaginez que vous essayiez de prédire la note finale d'un étudiant. Si vous ne connaissez pas sa note de mi-semestre, vous devez deviner. Mais si vous connaissez sa note de mi-semestre (la partie « donnée »), la prédiction change.

mnorm peut calculer la probabilité et la pente étant donné cette note de mi-semestre spécifique. L'article montre que le calcul de ces pentes est incroyablement rapide car le calcul pour les parties « données » n'est qu'un simple réarrangement mathématique des autres parties. Dans un test avec 5 variables dont 2 étaient « données », le package a calculé les pentes presque instantanément, alors que la méthode de devinette aurait été beaucoup plus lente.

Accélérer le petit et le grand
Le package excelle également dans deux domaines spécifiques :

1. Les petits nuages (2 et 3 dimensions) : Pour ceux-ci, mnorm utilise une astuce mathématique appelée quadrature de Gauss-Legendre. Les auteurs l'ont comparé à d'autres outils populaires et ont trouvé que mnorm était nettement plus rapide. Par exemple, le calcul des probabilités pour un nuage de 2 dimensions a pris à mnorm 0,57 seconde pour un million de calculs, tandis qu'un concurrent a pris 0,75 seconde. Plus impressionnant encore, lorsqu'ils ont activé la fonction « multi-cœur » (utilisant 8 cerveaux informatiques à la fois), mnorm est tombé à 0,16 seconde, tandis que le concurrent était toujours à 1,11 seconde.
2. Les gros nuages (hautes dimensions) : Pour des nuages de 16, 64 ou même 512 dimensions, mnorm rivalise avec les meilleurs outils disponibles. Dans des tests à 512 dimensions, mnorm a calculé la probabilité en 2,54 secondes, ce qui est comparable aux autres outils de premier plan, prouvant qu'il ne se limite pas aux petits problèmes.

Amis non-normaux
La vie réelle n'est pas toujours parfaitement normale. Parfois, les données sont asymétriques ou présentent des queues de distribution étranges. mnorm peut gérer cela en utilisant ce qu'on appelle une copule gaussienne. Considérez cela comme un traducteur. Il prend des données étranges et non normales (comme le nombre de fois qu'un écureuil visite une mangeoire) et les traduit dans la langue de la distribution normale afin que les mathématiques puissent toujours fonctionner. Le package peut même calculer les pentes pour les paramètres de ces distributions étranges, ce qui est une fonctionnalité que peu d'autres outils possèdent.

L'essentiel
L'article ne prétend pas avoir découvert une nouvelle loi de l'univers. Au lieu de cela, il propose un outil pratique et hautement efficace. Les auteurs suggèrent qu'en utilisant mnorm, les chercheurs peuvent construire de meilleurs modèles économiques, plus rapides. Ils ont prouvé par des simulations que leur méthode est plus rapide que les alternatives et ont fourni les formules mathématiques exactes (la « recette secrète ») afin que quiconque puisse vérifier le travail.

En bref, mnorm est comme donner à un statisticien un moteur turbo-chargé pour sa voiture. Cela ne change pas la destination, mais cela permet d'y arriver en un temps record, avec une carte précise du terrain en cours de route. Que vous traitiez un problème simple à deux variables ou un puzzle massif de 512 dimensions, ce package suggère que c'est la façon la plus rapide d'obtenir la réponse.