🤖 machine learning

gp2Scale: A Class of Compactly Supported Non-Stationary Kernels and Distributed Computing for Exact Gaussian Processes on 10 Million Data Points

L'article présente gp2Scale, une méthodologie qui permet l'inférence exacte de processus gaussiens sur plus de 10 millions de points de données en exploitant des noyaux non stationnaires à support compact pour induire une parcimonie naturelle dans la matrice de covariance, éliminant ainsi le besoin de points d'induction ou d'autres approximations tout en préservant une flexibilité totale dans la conception du modèle.

Auteurs originaux : Marcus M. Noack, Mark D. Risser, Hengrui Luo, Vardaan Tekriwal, Ronald J. Pandolfi

Publié 2026-07-27

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marcus M. Noack, Mark D. Risser, Hengrui Luo, Vardaan Tekriwal, Ronald J. Pandolfi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo, le prix d'une maison ou la trajectoire d'un robot, mais que vous disposiez d'une quantité massive de données — des millions de points. Dans le monde de la science des données, il existe un outil puissant appelé Processus Gaussien (GP). Considérez un GP comme une feuille de caoutchouc super intelligente et flexible. Vous piquez cette feuille en des points spécifiques où vous avez des données réelles (comme des relevés de température ou des prix de l'immobilier) et la feuille s'étire et se courbe pour s'adapter parfaitement à ces points. Parce qu'il s'agit d'un outil « probabiliste », il ne se contente pas de deviner un chiffre unique ; il dessine un nuage de formes possibles autour des données, vous indiquant non seulement quelle est la réponse, mais aussi à quel point il est sûr de lui. Cette « incertitude » est cruciale pour les scientifiques qui prennent des décisions importantes, comme la conception d'un nouveau médicament ou la prédiction du changement climatique.

Cependant, il y a un bémol. Pendant longtemps, cet outil de la feuille de caoutchouc a été incroyablement lent et gourmand en mémoire. Si vous avez quelques milliers de points de données, cela fonctionne très bien. Mais si vous essayez de l'étendre sur des millions de points, les mathématiques explosent. C'est comme essayer de calculer les connexions entre chaque personne dans une ville de 10 millions d'habitants en même temps ; l'ordinateur manque de mémoire et plante. Pour corriger cela, la plupart des scientifiques ont été contraints d'utiliser des « approximations » — en gros, ils utilisent une version moins chère et moins précise de la feuille de caoutchouc qui ignore certains détails fins pour gagner du temps. Mais cela signifie perdre la chose même qui rend l'outil spécial : sa capacité à être parfaitement précis et hautement personnalisable.

C'est là qu'intervient une nouvelle étude, proposant une façon de faire fonctionner la feuille de caoutchouc originale et parfaite sur des ensembles de données massifs sans se ruiner. Les chercheurs, dirigés par Marcus M. Noack et ses collègues, introduisent une méthode qu'ils appellent gp2Scale. Leur grande idée est que le problème n'est pas les données elles-mêmes, mais les « règles » que nous utilisons pour étirer la feuille de caoutchouc. Traditionnellement, ces règles supposent que chaque point est connecté à tous les autres points, créant un réseau mathématique dense et lourd. L'équipe a réalisé que s'ils changeaient les règles pour qu'elles soient « non stationnaires » (ce qui signifie que les règles peuvent changer selon l'endroit où l'on se trouve) et « à support compact » (ce qui permet de créer une structure mathématique plus légère tout en restant précise), le vaste réseau devient soudainement un squelette clairsemé et gérable.

En utilisant ces nouvelles règles flexibles, les chercheurs ont pu exécuter un processus gaussien exact sur 10 millions de points de données. Ils n'ont pas triché en utilisant des raccourcis ou des approximations ; ils ont simplement rendu les mathématiques assez intelligentes pour réaliser que la plupart des connexions n'avaient pas besoin d'être calculées de manière exhaustive. Ils ont testé cela sur tout, de lignes ondulées en 1D à des cartes de température 3D à travers l'ensemble des États-Unis. Les résultats montrent que, bien que leur méthode nécessite plus de puissance de calcul que les méthodes de « triche », elle offre une bien meilleure précision et conserve la capacité d'être personnalisée pour n'importe quel problème spécifique. C'est comme passer d'un croquis à une photographie haute définition : le traitement prend plus de temps, mais les détails sont réels et vous n'avez pas besoin de deviner ce qui se cache dans l'ombre.

Le problème central : Le réseau « dense »

Pour comprendre pourquoi c'est important, imaginez que vous essayiez de cartographier le réseau d'amitié d'une petite ville. Si tout le monde connaît tout le monde, vous devez tracer une ligne entre chaque paire de personnes. Si la ville compte 100 personnes, c'est gérable. Mais si la ville compte 10 millions de personnes, et que tout le monde est connecté à tout le monde, vous devez dessiner 100 billions de lignes. C'est ce que font les processus gaussiens traditionnels : ils supposent que chaque point de données est connecté à tous les autres points, créant une matrice « dense » de nombres trop lourde pour être gérée par les ordinateurs.

Pendant des années, la solution a été de dire : « D'accord, prétendons que certaines personnes ne se connaissent pas », ou « Choisissons quelques personnes représentatives pour remplacer tout le groupe ». Ce sont les méthodes d'approximation (comme SVGP, Vecchia ou SKI) contre lesquelles l'article compare sa méthode. Elles sont rapides, mais elles sont comme regarder une photo à travers une fenêtre embrumée ; on saisit l'idée générale, mais on perd les contours nets et les détails fins. Pire encore, elles vous obligent souvent à utiliser des types de règles (noyaux) spécifiques et rigides qui pourraient ne pas convenir à votre problème spécifique.

La solution gp2Scale : Le « masque intelligent »

Les auteurs de cet article, gp2Scale, soutiennent que le réseau « dense » est une illusion créée par des règles inadaptées. Ils proposent une nouvelle classe de noyaux (les règles mathématiques qui définissent comment la feuille de caoutchouc s'étire). Leur secret réside dans un noyau « non stationnaire à support compact ».

L'idée est de transformer la structure des connexions. Au lieu d'un réseau où chaque point est lié à l'infini, l'utilisation de noyaux à support compact permet de créer une structure « clairsemée » (sparse). Ce n'est pas une simple réduction de voisinage, mais une structure pilotée par les données : le modèle peut ignorer les connexions inutiles tout en conservant la capacité de maintenir des corrélations à longue distance entre des ensembles de points spécifiques. Cela permet de réduire drastiquement la charge de calcul sans perdre la richesse de l'information.

Les auteurs présentent plusieurs types de ces « masques », incluant les noyaux de Wendland et les noyaux de fonction de type Bump. Ces structures permettent à l'ordinateur de traiter l'information de manière beaucoup plus efficace, transformant un problème qui prendrait une éternité en un problème pouvant être résolu en répartissant le travail sur des milliers d'ordinateurs.

Les expériences : Des lignes ondulées aux 10 millions de points

L'équipe n'a pas seulement fait les mathématiques ; elles ont été testées sur des scénarios du monde réel pour voir si elles tenaient la route.

La ligne ondulée en 1D : Ils ont commencé par une onde simple et complexe. Ils ont constaté que les méthodes d'« approximation » lissaient les détails ondulés et nets, rendant la courbe trop arrondie. gp2Scale, cependant, a parfaitement conservé les bords nets, correspondant presque exactement à la « vérité terrain ».
Topographie des États-Unis : Ils ont cartographié la hauteur du terrain américain à l'aide de 20 000 points. Comme le paysage change radicalement (montagnes contre plaines plates), les données sont « non stationnaires ». Les méthodes standards ont eu du mal, mais gp2Scale a adapté ses règles au terrain, produisant la carte la plus précise avec l'erreur la plus faible.
Immobilier en Californie : Ils ont tenté de prédire les prix des maisons dans un espace à 8 dimensions. Ici, les données étaient éparses (difficiles à identifier des modèles). gp2Scale s'est montré plus performant que les méthodes d'approximation dans ce scénario, démontrant sa capacité à gérer la complexité et la haute dimensionnalité.
Chiffres MNIST : Ils ont transformé une tâche célèbre de reconnaissance d'images (identifier des chiffres écrits à la main) en un problème de régression. gp2Scale a géré les grilles de pixels de 28x28 sans sourciller, tandis que les autres méthodes soit échouaient, soit nécessitaient trop de réglages.
Le défi des 10 millions de points : Le grand final. Ils ont pris 10 millions de relevés de température à travers les États-Unis. Pour ce faire, ils ont utilisé 1 024 GPU A100 (une configuration de supercalculateur massive). Ils ont fait tourner le modèle pendant environ 100 itérations. Le résultat ? Ils ont battu le meilleur concurrent (Vecchia) d'une marge infime, prouvant qu'un processus gaussien exact peut effectivement passer à l'échelle sur des millions de points. Ils ont noté qu'un cycle complet à partir de zéro prendrait environ une semaine, ce qui est comparable à l'entraînement des grands modèles d'IA actuels.

Le verdict : Exactitude vs Vitesse

L'article établit une distinction claire : gp2Scale ne cherche pas à être la méthode la plus rapide. Si vous disposez d'une puissance informatique limitée et que vous avez juste besoin d'une réponse rapide et « suffisante », les anciennes méthodes d'approximation restent votre meilleure option.

Cependant, gp2Scale change la donne pour les situations où l'exactitude et la flexibilité sont non négociables. Si vous êtes un scientifique modélant le changement climatique, concevant un nouveau matériau ou menant une expérience autonome où une mauvaise estimation pourrait être dangereuse, vous ne pouvez pas vous permettre la « fenêtre embrumée » de l'approximation. Vous avez besoin de la vue haute définition.

Les auteurs concluent qu'en utilisant ces nouveaux noyaux flexibles, nous pouvons enfin faire fonctionner la version « exacte » du processus gaussien sur des ensembles de données massifs. Nous n'avons pas à sacrifier la capacité de personnaliser le modèle ou la précision des estimations d'incertitude. Le compromis est simplement que vous avez besoin de plus de puissance de calcul pour le faire. Mais comme le suggère l'article, avec l'essor des supercalculateurs et des GPU puissants, ce compromis est une concession que nous pouvons enfin nous permettre de faire.

En résumé, gp2Scale prouve que les mathématiques « impossibles » des processus gaussiens exacts ne sont pas réellement impossibles ; elles avaient juste besoin d'une manière plus intelligente de regarder les données. En réalisant que la structure des connexions peut être optimisée sans perdre l'essence de l'information, ils ont transformé un monstre de 10 millions de points en un outil gérable et hautement précis pour l'avenir de la science.

Résumé technique de « gp2Scale : Une classe de noyaux non stationnaires à support compact et calcul distribué pour les processus gaussiens exacts sur 10 millions de points de données »

1. Le Problème

La régression par processus gaussiens (GP) est un outil puissant d'approximation de fonctions stochastiques, offrant une quantification rigoureuse de l'incertitude. Cependant, son application a historiquement été limitée à des ensembles de données de moins de 10 000 points en raison de goulots d'étranglement computationnels. L'entraînement d'un GP nécessite le calcul du logarithme du déterminant et la résolution d'un système linéaire impliquant la matrice de covariance $K$ , des opérations qui passent à une complexité de $O(|D|^3)$ en temps et $O(|D|^2)$ en mémoire, où $|D|$ est la taille du jeu de données.

La barrière fondamentale à la mise à l'échelle est l'hypothèse selon laquelle la matrice de covariance est intrinsèquement dense. Bien que la parcité puisse être induite par des noyaux à support compact, les noyaux stationnaires traditionnels (par exemple, l'atténuation de covariance ou covariance tapering) ne parviennent à cette parcité qu'en fonction de la distance euclidienne. Cela limite leur capacité à modéliser des dépendances non stationnaires complexes où des points distants peuvent rester corrélés, ou là où les corrélations s'estompent malgré la proximité. Par conséquent, les méthodes de mise à l'échelle existantes reposent sur des approximations — telles que les points induits, les structures de voisinage locales ou l'interpolation de noyau — qui sacrifient l'exactitude du GP, limitent la flexibilité du noyau et échouent souvent à capturer avec précision les caractéristiques non stationnaires.

2. Méthodologie : gp2Scale

Les auteurs proposent gp2Scale, une méthodologie conçue pour mettre à l'échelle les processus gaussiens exacts à plus de 10 millions de points de données sans recourir aux points induits, à l'interpolation de noyau ou aux approximations basées sur le voisinage. Le principe central est que la matrice de covariance n'est pas naturellement dense ; la densité est un artefact de la conception des noyaux traditionnels. En employant des noyaux non stationnaires à support compact et flexibles, la méthode permet au GP de découvrir les structures creuses naturellement présentes dans les données.

Le cadre se compose de trois composantes principales :

A. Une nouvelle classe de noyaux non stationnaires à support compact
Le document introduit des noyaux qui combinent un support compact (pour garantir une covariance nulle pour les points indépendants) avec la non-stationnarité (pour modéliser des dépendances complexes).

Noyaux de type Wendland : Les auteurs utilisent des noyaux de Wendland stationnaires (par exemple, Équation 3) comme base, qui renvoient zéro au-delà d'un rayon de support $r_0$ .
Extensions non stationnaires : Pour gérer la non-stationnarité, ils proposent :
- Noyaux basés sur la convolution : Combiner un noyau de Wendland stationnaire avec des écarts-types de signal non constants et des échelles de longueur anisotropes (Équation 6).
- Noyaux de type « Bump Function » : Utiliser des « fonctions de bosse » (Équation 7) pour créer des interactions non stationnaires. Celles-ci sont combinées avec un noyau central pour former une matrice de Gram de rang complet (Équation 9), permettant une modélisation flexible des interactions de champ lointain où certains ensembles de points sont corrélés tandis que d'autres ne le sont pas.
- Noyaux de type fonction Delta : Réduire les fonctions de bosse en deltas de Dirac (Équation 10) pour créer un masque qui permet des covariances non nulles arbitraires entre des points spécifiques, maximisant la parcité tout en préservant la structure du noyau central à l'intérieur du support.
Agnosticisme du noyau central : Ces noyaux agissent comme des masques sur un « noyau central » défini par l'utilisateur ( $k_{core}$ ), permettant à la méthode de rester agnostique à la conception spécifique du noyau, au modèle de bruit ou à la fonction de moyenne choisi par l'utilisateur.

B. Cadre de calcul distribué
Pour gérer le stockage et le calcul $O(|D|^2)$ de la matrice de covariance, la méthode emploie une approche de calcul distribué :

Le jeu de données est divisé en blocs et distribué sur plusieurs nœuds (spécifiquement des GPU).
Les travailleurs calculent des matrices de blocs de covariance carrées pour les paires de blocs de données.
Les résultats sont renvoyés au format de coordonnées creuses (COO) pour minimiser les frais de communication.
Le nœud hôte assemble la matrice au format Compressed Sparse Row (CSR) pour résoudre le système linéaire ( $K^{-1}y$ ) et calculer le logarithme du déterminant ( $\log|K|$ ) en utilisant l'algèbre linéaire creuse.

C. MCMC de type Block-Metropolis-Hastings
Le cadre utilise un algorithme MCMC de type Block-Metropolis-Hastings (BMH-MCMC) personnalisé pour l'échantillonnage des hyperparamètres. Cette approche permet une régularisation naturelle et une convergence plus rapide en échantillonnant les hyperparamètres dans des blocs distincts, en tirant parti de l'indépendance des composants du noyau.

3. Contributions clés

Mise à l'échelle exacte : Démontre la faisabilité de l'entraînement de GP exacts sur des jeux de données dépassant 10 millions de points, une échelle auparavant jugée nécessitant une approximation.
Innovation de noyau : Définit une nouvelle classe de noyaux non stationnaires à support compact qui induisent la parcité naturellement selon la structure des données plutôt que par des contraintes artificielles comme les points induits.
Cadre logiciel : Fournit une implémentation logicielle complète au sein du package Python open-source gpCAM, intégrant le calcul distribué et le MCMC.
Agnosticisme : La méthode n'impose aucune restriction sur les conceptions de noyaux, les modèles de bruit ou les espaces d'entrée (euclidiens ou non euclidiens) choisis par l'utilisateur, préservant la pleine flexibilité des GP standards.

4. Résultats expérimentaux

Les auteurs ont évalué gp2Scale par rapport aux méthodes d'approximation de pointe : les processus gaussiens variationnels à points induits (SVGP), les processus gaussiens de plus proches voisins variationnels (VNNGP), l'interpolation de noyau scalable (SKI) et l'approximation Vecchia.

Fonction synthétique 1D : gp2Scale (et un GP de base) a nettement surpassé les approximations pour capturer les oscillations locales et les caractéristiques non stationnaires. Les méthodes d'approximation (SVGP, VNNGP, SKI) ont lissé excessivement les données (oversmoothed).
Topographie US (20k points) : Sur ce jeu de données non stationnaire, gp2Scale a obtenu l'RMSE le plus bas (136,1) et le CRPS le plus bas (63,8), surpassant Vecchia (150,0 RMSE) et les autres.
California Housing (8D, 20k points) : Malgré la haute dimensionnalité qui rend la recherche de parcité plus difficile, gp2Scale a obtenu des résultats compétitifs (RMSE 0,49), surpassant SVGP (0,60) et SKI (0,71).
Chiffres MNIST (60k points) : Traité comme un problème de régression pour la probabilité de classe, gp2Scale a obtenu un score de Brier de 0,018, nettement meilleur que SVGP (0,033) et VNNGP (0,052).
Jeu de données de température 3D (10 millions de points) : En s'appuyant sur 1024 GPU A100, gp2Scale a été testé sur un jeu de données de 10 millions de points. Bien qu'une exécution d'optimisation complète soit coûteuse en termes de calcul (estimée à une semaine), une exécution partielle (100 itérations MCMC) a produit un RMSE de 2,8509, battant légèrement le meilleur concurrent, Vecchia (2,8602).

5. Signification et Revendications

L'article affirme que gp2Scale représente un changement de paradigme dans la méthodologie de mise à l'échelle des GP. Sa principale importance réside dans la préservation de l'exactitude et de la flexibilité des processus gaussiens à des échelles auparavant accessibles uniquement aux méthodes d'approximation.

Précision vs Vitesse : Les auteurs reconnaissent que gp2Scale est plus coûteux en termes de calcul que les méthodes d'approximation et nécessite des ressources matérielles importantes (par exemple, des clusters de calcul intensif). Cependant, ils soutiennent que pour les applications exigeant une quantification de l'incertitude de haute fidélité et des conceptions de noyaux personnalisées (par exemple, la modélisation climatique, la découverte de matériaux), ce compromis est nécessaire.
Parcité Naturelle : Contrairement aux méthodes de points induits ou de voisinage local qui imposent la parcité par des paramètres définis par l'utilisateur (nombre de points induits, voisins), gp2Scale permet aux données de dicter la structure creuse via le support compact non stationnaire du noyau.
Limites : Les auteurs notent modestement que gp2Scale n'est pas une « solution universelle ». Pour des fonctions simples ou des jeux de données où la non-stationnarité est mineure, les méthodes d'approximation comme Vecchia ou SVGP peuvent rester plus efficaces et suffisantes. La méthode est spécifiquement positionnée pour les « GP sophistiqués et hautement personnalisables sur des fonctions densément échantillonnées et non stationnaires ».

En conclusion, gp2Scale démontre qu'avec une conception de noyau appropriée et une infrastructure distribuée, le « compromis tenace » entre vitesse de calcul et précision/flexibilité des GP exacts peut être surmonté, permettant une modélisation probabiliste rigoureuse sur des ensembles de données massifs.