💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

Ce document propose une nouvelle classe de processus neuronaux équivariants par translation qui exploitent les séries de Volterra pour la transparence analytique et introduisent des convolutions de Fourier d'ensemble afin de modéliser efficacement des données échantillonnées de manière irrégulière avec des champs récepteurs globaux et une mise à l'échelle linéaire.

Auteurs originaux : Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Publié 2026-06-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Prédire l'invisible

Imaginez que vous êtes un prévisionniste météo. Vous disposez de quelques stations météo éparpillées (certaines en ville, d'autres au milieu de nulle part) qui rapportent la température et le vent. Votre objectif est de prédire la météo pour chaque autre point de la carte, même là où il n'y a pas de capteurs.

Dans le monde de l'apprentissage automatique, c'est ce qu'on appelle les Processus Neuraux (Neural Processes ou NPs). Ce sont des modèles intelligents qui apprennent à partir de quelques points de données irréguliers et désordonnés pour deviner la forme de la courbe invisible (la « fonction latente ») qui les a générés.

Cependant, les modèles existants présentent deux problèmes majeurs :

Le problème de la « Grille » : Certains modèles tentent de forcer toutes les données sur une grille parfaite et ordonnée (comme du papier millimétré). Si vos données sont éparpillées ou si la carte est immense, cette grille devient trop volumineuse à gérer, ou vous perdez en précision.
Le problème du « Tout-à-Tous » : D'autres modèles (comme les Transformers) examinent chaque point de donnée et le comparent à tous les autres pour trouver des motifs. C'est incroyablement précis, mais cela devient très lent et coûteux dès que l'on ajoute des données (comme essayer de présenter chaque personne d'une fête à toutes les autres personnes).

Ce papier propose une nouvelle façon de résoudre ces deux problèmes à la fois.

Les deux idées principales

Les auteurs introduisent deux outils mathématiques pour corriger ces problèmes : les Séries de Volterra et les Transformées de Fourier.

1. La Série de Volterra : La « Recette » de la complexité

Le Problème : Les modèles actuels sont comme des boîtes noires. On empile couche après couche de mathématiques, et nous ne savons pas vraiment pourquoi ils fonctionnent ni quel type de motifs ils apprennent réellement. C'est difficile à interpréter.

La Solution : Les auteurs utilisent ce qu'on appelle la Série de Volterra.

L'Analogie : Imaginez que vous préparez un gâteau. Un modèle simple pourrait simplement dire : « Mélangez la farine et le sucre ». Un modèle complexe pourrait dire : « Mélangez la farine, le sucre, les œufs, le beurre, la vanille et faites cuire à 175 degrés pendant 30 minutes, mais s'il pleut, ajoutez un œuf supplémentaire ».
La Série de Volterra est comme un livre de recettes maître qui décompose tout processus de « mélange » complexe en une somme d'étapes plus simples :
- Étape 1 : Juste les ingrédients (Linéaire).
- Étape 2 : Comment les ingrédients interagissent entre eux (Quadratique).
- Étape 3 : Comment trois ingrédients interagissent (Cubique), et ainsi de suite.

En utilisant cela, les auteurs peuvent décrire le comportement de leur modèle clairement (il est « analytiquement transparent ») plutôt que de simplement deviner. Ils peuvent prouver exactement comment le modèle combine les points de données.

2. Les Convolutions de Fourier d'Ensemble (SFConvs) : Le « Récepteur Radio »

Le Problème :

Les modèles de grille (comme les ConvCNPs) sont rapides mais nécessitent que les données soient sur une grille parfaite. Si vos données proviennent d'un littoral découpé ou d'un nuage en 3D, vous devez les forcer dans une boîte, ce qui gaspille de la mémoire et fait perdre des détails.
Les modèles d'attention (comme les Transformers) fonctionnent sur des données désordonnées mais sont lents car ils comparent chaque point à tous les autres.

La Solution : Les auteurs utilisent les Transformées de Fourier (SFConvs).

L'Analogie : Imaginez que vous écoutez la radio.
- Domaine Spatial (l'ancienne méthode) : Vous observez l'onde sonore telle qu'elle se déplace dans le temps. Pour comprendre toute la chanson, vous devez analyser chaque ondulation de l'onde. C'est difficile si l'onde est désordonnée.
- Domaine Fréquentiel (la nouvelle méthode) : Vous réglez la radio sur des fréquences spécifiques (des notes). Au lieu de regarder toute l'onde désordonnée, vous regardez simplement les boutons « Basses », « Médiums » et « Aigus ».
Pourquoi cela fonctionne : La plupart des signaux naturels (comme la météo, les images ou les flux de fluides) contiennent l'essentiel de leurs informations importantes dans les « notes basses » (basses fréquences).
La Magie : En travaillant directement avec ces « notes » (fréquences) plutôt qu'avec l'« onde » désordonnée (points spatiaux), le modèle :
1. Évite la Grille : Il n'a pas besoin de forcer les données sur une grille. Il peut traiter directement des points éparpillés.
2. Voit Tout à la fois : Dans le monde des fréquences, une seule « note » est connectée à l'ensemble du signal. Cela donne au modèle une « vue globale » (il peut voir comment une tempête à Londres affecte la météo à Paris) sans avoir à comparer chaque point individuellement.
  3.Reste Rapide : Il évolue de manière linéaire (ajouter plus de données ajoute un peu de travail), contrairement à la croissance quadratique lente des modèles d'attention.

Les Nouveaux Modèles : SFConvCNPs et SFVConvCNPs

Les auteurs ont construit deux nouveaux modèles basés sur ces idées :

SFConvCNPs : Ces modèles utilisent l'approche du « Récepteur Radio » (Fourier). Ils empilent des couches d'opérations basées sur les fréquences. Ils sont rapides, gèrent les données désordonnées et voient « l'image globale ».
SFVConvCNPs : Ces modèles combinent le « Récepteur Radio » avec le « Livre de Recettes » (Volterra). Ils utilisent la méthode Fourier pour gérer les données efficacement, mais structurent les mathématiques à l'aide de la série de Volterra pour garantir que le modèle est interprétable et capture les interactions non linéaires complexes.

Qu'ont-ils découvert ? (Les Résultats)

Les auteurs ont testé ces nouveaux modèles contre les meilleurs modèles existants (comme les processus neuraux standards, les Transformers et les processus neuraux convolutionnels) sur plusieurs défis :

Tâches mathématiques synthétiques : Ils ont tenté de prédire des ondes dentelées (ondes en dents de scie) et des courbes lisses. Les nouveaux modèles étaient meilleurs pour prédire les parties nettes et dentelées là où les autres modèles échouaient.
Dynamique Prédateur-Proie : Ils ont simulé des renards et des lapins. Les nouveaux modèles ont prédit les cycles de population avec précision, même en passant de données simulées à des données historiques réelles (enregistrements lièvre-loutre de la baie d'Hudson).
Complétion d'Images : Ils ont tenté de « remplir les blancs » de parties manquantes d'images (comme CIFAR-10). Les nouveaux modèles ont très bien reconstruit les pixels manquants.
Dynamique des Fluides et Climat : Ils ont modélisé des fluides complexes tourbillonnants (flux de Kolmogorov) et des données climatiques réelles (température ERA5).
- Victoire clé : Lorsqu'ils ont testé les modèles sur une région d'Europe qu'ils n'avaient pas vue pendant l'entraînement (une carte « décalée »), les nouveaux modèles (qui respectent la symétrie par translation) ont parfaitement réussi. Les anciens modèles, qui dépendaient de positions absolues, ont totalement échoué lorsque la carte a été déplacée.

Résumé

Considérez ce papier comme une mise à jour du moteur d'une voiture.

Les anciennes voitures avaient soit une excellente suspension (pour les routes lisses/grilles) mais ne pouvaient pas gérer les terrains accidentés, soit d'excellents pneus tout-terrain (attention) mais étaient trop lourdes et lentes.
Ce papier introduit un nouveau système de suspension (Volterra) qui explique exactement comment la voiture gère les bosses, et de nouveaux pneus (Fourier) qui peuvent rouler sur n'importe quel terrain (données éparpillées) sans rester coincés, tout en restant rapides et économes en carburant.

Le résultat est un modèle qui est rapide, précis, interprétable (nous savons comment il fonctionne) et robuste (il fonctionne même si les données se déplacent vers un nouvel emplacement).

Résumé Technique : Revoir les Processus Neuraux via la Transformée de Fourier et la Série de Volterra

Énoncé du Problème

La modélisation de fonctions latentes inconnues à partir de mesures finies et irrégulièrement échantillonnées est un défi persistant dans les domaines scientifiques et d'ingénierie, tels que la modélisation de la turbulence et les sciences climatiques. Bien que les Processus Neuraux (NP) offrent un cadre probabiliste pour apprendre des distributions sur des fonctions, les variantes existantes dotées d'une équivariance par translation font face à deux limitations principales :

Manque d'Interprétabilité : Les architectures actuelles empilent généralement des composants génériques avec des non-linéarités. Bien qu'efficaces empiriquement, cela occulte la classe de fonctions induite, limitant l'analyse et l'interprétabilité de principe.
Compromis de Scalabilité : Les NP équivariants par translation existants souffrent de goulots d'étranglement de scalabilité complémentaires. Les CNP convolutionnels (ConvCNPs) dépendent de grilles uniformes denses pour exploiter les réseaux convolutionnels, ce qui devient un coût computationnel prohibitif dans les domaines spatiaux de haute dimension ou de grande taille, et restreint les champs récepteurs aux voisinages locaux. À l'inverse, les méthodes basées sur l'attention (par exemple, TE-TNPs) opèrent directement sur des entrées non structurées et modélisent des interactions globales, mais leur complexité croît de manière quadratique avec le nombre d'observations, ce qui les rend impraticables pour des ensembles de contextes importants.

Méthodologie

Les auteurs proposent un cadre qui réconcilie la transparence analytique avec l'efficacité pratique grâce à deux innovations techniques centrales : la représentation par série de Volterra et les Convolutions de Fourier d'Ensembles (SFConvs).

1. Représentation de Volterra des Opérateurs Équivariants

L'article étend le cadre des "convolutional deep sets" en caractérisant les opérateurs continus équivariants par translation à l'aide de la théorie des séries de Volterra.

Caractérisation Analytique : Analogiquement à un développement de Taylor, une série de Volterra exprime tout opérateur continu équivariant par translation comme une somme infinie d'opérateurs de convolution multilinéaires d'ordre croissant. Cela fournit une caractérisation explicite et constructive de l'opérateur $\rho_d$ , offrant une transparence analytique absente des constructions classiques du deep learning.
Approximation Efficace : L'évaluation directe de convolutions d'ordre élevé est computationnellement infaisable. Les auteurs exploitent la multilinéarité des opérateurs de Volterra et le théorème de Fubini pour réorganiser les termes d'ordre supérieur en une forme imbriquée (en cascade). Cela réduit l'évaluation d'une expansion de Volterra tronquée au calcul de seules convolutions du premier et du second ordre.
Décomposition de Bas Rang : Pour traiter le goulot d'étranglement computationnel des convolutions de second ordre (qui impliquent des produits tensoriels quadratiques), les auteurs imposent une structure de bas rang sur le noyau quadratique via la décomposition spectrale de Hilbert–Schmidt. Cela approxime le terme de second ordre comme une somme de produits de convolutions de premier ordre, paramétrés et appris directement sans imposer de contraintes de stricte orthonormalité.

2. Convolutions de Fourier d'Ensembles (SFConvs)

Pour surmonter les limitations de discrétisation et de localité des méthodes basées sur des grilles, les auteurs introduisent les SFConvs, une paramétration dans le domaine fréquentiel des "convolutional deep sets".

Paramétrage Direct en Fréquence : Au lieu de discrétiser les entrées sur une grille spatiale, les SFConvs opèrent directement sur l'encastrement fonctionnel de l'ensemble de contexte dans le domaine de Fourier. Par le théorème de la convolution, la convolution dans le domaine spatial correspond à une multiplication point par point dans le domaine fréquentiel.
Gestion des Entrées Irrégulières : L'encastrement fonctionnel $\rho_e[D_c]$ admet une transformée de Fourier sous forme fermée lorsqu'on utilise des noyaux gaussiens. Cela permet le calcul des coefficients spectraux à des fréquences arbitraires sans discrétisation spatiale, évitant ainsi les problèmes de "décalage de grille" où le changement de résolution de la grille modifie les fréquences physiques associées aux poids appris.
Champs Récepteurs Globaux et Scalabilité Linéaire : La multiplication dans le domaine fréquentiel induit des champs récepteurs approximativement globaux, permettant de capturer des dépendances à longue portée. Crucialement, parce que la méthode opère sur une grille de fréquences fixe et compacte $\Xi$ (où $|\Xi| \ll |G|$ , la taille d'une grille spatiale dense), la complexité computationnelle passe à une échelle linéaire avec le nombre d'observations, $O(|\Xi|(|D_c| + |D_q|))$ .

3. Modèles Proposés

S'appuyant sur ces composants, les auteurs proposent deux classes de Processus Neuraux Conditionnels (CNPs) :

SFConvCNPs : Construits en empilant des blocs SFConv entrelacés avec des non-linéarités ponctuelles.
SFVConvCNPs : Construits dans le cadre de Volterra, intégrant la formulation de Volterra avec les SFConvs pour approximer explicitement les interactions d'ordre supérieur.

Contributions Clés

Caractérisation Fondée sur des Principes : L'article fournit une caractérisation rigoureuse des opérateurs continus équivariants par translation comme des sommes de convolutions d'ordre supérieur via la série de Volterra, offrant une alternative analytiquement transparente aux piles de deep learning opaques.
Convolutions de Fourier d'Ensembles : L'introduction des SFConvs lève les limitations de scalabilité des méthodes basées sur des grilles en opérant directement dans le domaine de Fourier sur des entrées irrégulières, induisant des champs récepteurs globaux tout en conservant une complexité linéaire.
Nouvelles Architectures de Modèles : La proposition de SFConvCNPs et de SFVConvCNPs, qui démontrent une forte performance empirique sur des benchmarks synthétiques et réels, surpassant ou égalant les méthodes de l'état de l'art.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur cinq benchmarks de régression avec des dimensions d'entrée $d_X \in \{1, 2, 3\}$ :

Régression Synthétique 1D : Sur des tâches impliquant des processus RBF, Matérn, périodiques, en dents de scie et en créneaux, les SFConvCNPs et SFVConvCNPs ont systématiquement surpassé ou égalé les méthodes concurrentes (incluant CNPs, AttnCNPs, TNP, TE-TNP et ConvCNPs). Notamment, les modèles basés sur l'attention se sont effondrés sur la tâche en dents de scie (un défi de haute fréquence), tandis que les modèles de convolution proposés ont réussi.
Régression Prédateur-Proie : Sur des trajectoires simulées de Lotka–Volterra et des données réelles de la relation lièvre-loutre de la baie d'Hudson, les modèles basés sur SFConv ont obtenu des log-vraisemblances prédictives et des scores CRPS compétitifs ou supérieurs par rapport aux bases de référence.
Complétion d'Image 2D : Sur les jeux de données CIFAR-10 et SVHN, les SFConvCNPs ont obtenu les meilleures log-vraisemblances prédictives, dépassant légèrement les bases de référence spectrales basées sur les grilles (SConvCNPs) et les modèles de type transformer.
Régression Spatio-Temporelle 3D :
- Écoulement de Kolmogorov : Les SFConvCNPs ont obtenu la log-vraisemblance la plus élevée (1.89) et le CRPS le plus bas (0.03) sur des tâches complexes de dynamique des fluides, surpassant les ConvCNPs basés sur des grilles et les bases de référence non convolutionnelles.
- Climat ERA5 : Dans une tâche de transfert sim-to-real prédisant la température de l'air sur l'Europe, les SFConvCNPs ont démontré une meilleure généralisation à des régions géographiques disjointes (Ouest et Nord) par rapport aux bases de référence non équivariantes, qui ont subi une dégradation significative des performances. Les modèles équivariants ont maintenu leurs performances, confirmant leur dépendance aux déplacements relatifs plutôt qu'aux positions absolues.

Signification et Revendications

L'article affirme présenter un cadre fondé sur des principes et scalable pour les processus neuraux conditionnels équivariants par translation. Sa signification réside dans :

Le Pont entre Théorie et Pratique : En utilisant la série de Volterra, les auteurs rendent la structure de représentation des "convolutional deep sets" analytiquement transparente, passant des heuristiques empiriques à une conception systématique basée sur la théorie des opérateurs.
Résolution des Compromis de Scalabilité : L'approche SFConv résout le conflit entre le besoin d'interactions globales et la nécessité d'une scalabilité linéaire. Elle évite le coût exponentiel de la discrétisation spatiale dans les hautes dimensions tout en évitant le coût quadratique des mécanismes d'attention.
Généralisation Robuste : Les modèles démontrent une généralisation robuste à des régions spatiales non vues et à des schémas d'échantillonnage irréguliers, une exigence critique pour les applications scientifiques comme la modélisation climatique et la dynamique des fluides.

Les auteurs soulignent que leur travail introduit des processus neuraux dans le domaine fréquentiel capables d'une inférence probabiliste efficace sur des données spatio-temporelles irrégulièrement échantillonnées, combinant scalabilité linéaire, interaction globale et opérateurs interprétables.