Résumé Technique : Processus d'Opérateurs Neuraux pour l'Apprentissage d'Opérateurs Probabilistes sous Observations Partielles

1. Énoncé du Problème

Les opérateurs neuraux (NO), tels que l'opérateur de Fourier neural (FNO), se sont imposés comme des paradigmes efficaces pour apprendre des applications entre des espaces de fonctions, particulièrement pour la résolution d'équations aux dérivées partielles (EDP). Cependant, les NO standards sont généralement développés et évalués sous l'hypothion de champs d'entrée-sortie denses et entièrement appariés. Cela contraste avec de nombreux scénarios scientifiques réalistes, tels que l'assimilation de données, où la réponse physique cible est connue uniquement via des observations éparses, irrégulières ou partielles, même si les propriétés du domaine sous-jacent sont connues de manière dense.

De plus, la quantification de l'incertitude (UQ) dans l'apprentissage d'opérateurs reste sous-développée, en particulier sous des observations éparses. Les approches existantes reposent souvent sur des ensembles externes au modèle, un étalonnage post-hoc, ou restent liées à des formulations d'entrée-sortie denses. Bien que les processus neuraux (NP) offrent une perspective complémentaire en apprenant des distributions sur des fonctions à partir de contextes éparses via une inférence de variable latente amortie, ils sont principalement conçus pour la régression de fonctions ponctuelles et n'ont pas été largement adaptés à des applications de codage dense de type fonction-vers-fonction nécessitant une échelle d'EDP.

Le défi central abordé dans ce travail est d'unifier l'inférence conditionnée par un ensemble des NP avec le décodage d'opérateur structuré des NO afin de prédire des champs de sortie complets à partir d'un contexte limité et épars, tout en fournissant une quantification de l'incertitude cohérente.

2. Méthodologie : Processus d'Opérateurs Neuraux (NOP)

Les auteurs introduisent les Processus d'Opérateurs Neuraux (NOP), un cadre qui se conditionne sur un ensemble de contexte épars d'observations conjointes entrée-sortie pour inférer la mise en correspondance d'un champ d'entrée donné vers sa solution cible dense. Le cadre prend en charge des variantes déterministes et probabilistes au sein d'une architecture encodeur-décodeur partagée.

2.1 Aperçu de l'Architecture

Le pipeline NOP se compose de trois étapes principales :

1. Encodage du Contexte : L'ensemble de contexte épars $C = \{(x_i^{(c)}, a_i^{(c)}, u_i^{(c)})\}$ est encodé en une représentation conditionnée par le contexte $R_C(x)$ évaluée aux emplacements de requête.
2. Construction du Champ Caché Initial : La représentation du contexte est combinée avec l'information d'entrée du côté de la requête (le champ d'entrée $a(x)$ sur une grille dense) pour former un champ caché initial $v_0(x)$.
3. Décodage de l'Opérateur : Un décodeur d'opérateur neural (spécifiquement un décodeur de type FNO) traite $v_0(x)$ pour produire la prédiction finale $\hat{u}(x)$.

2.2 Stratégies de Conditionnement

L'article étudie deux mécanismes de conditionnement complémentaires pour combler le fossé entre la vue basée sur les ensembles des NP et la vue en domaine continu des NO :

• Conditionnement par SetConv : Une voie de pooling global qui élève l'ensemble de contexte épars et irrégulier en un champ continu en utilisant des convolutions d'ensembles (SetConv) par noyau. Cela encode séparément la densité du support de contexte et les valeurs de champ locales observées.
• Conditionnement par Attention Alignée sur la Requête : Une voie d'attention qui modélise quels points de contexte sont les plus pertinents pour chaque emplacement de requête, préservant la structure géométrique locale. Cela permet au modèle d'être attentif directement à l'ensemble de contexte plutôt que de s'appuyer uniquement sur la proximité des noyaux.
• Représentation Fusionnée : Ces voies peuvent être combinées en une représentation fusionnée avant le décodage.

2.3 Extension Probabiliste

Pour permettre la quantification de l'incertitude, l'architecture déterministe est étendue avec une variable latente globale $z$ qui capture l'incertitude au niveau de la tâche.

• Inférence Latente : Un résumé global de la représentation induite par le contexte est utilisé pour inférer un a priori conditionné par le contexte $p_\theta(z | C)$. Pendant l'entraînement, une de l'a posteriori approximative $q_\phi(z | C, U_Q)$ est apprise en utilisant les sorties cibles.
• Conditionnement Latent : La variable latente $z$ est injectée à l'étape d'entrée (concaténation par diffusion avec $v_0(x)$) plutôt que de moduler les couches du décodeur, ce qui s'est avéré plus efficace pour une inférence stable conditionnée par l'a priori.
• Distribution Prédictive : La distribution prédictive finale est obtenue en marginalisant la vraisemblance factorisée conditionnellement sur la variable latente, décomposant l'incertitude en une composante globale de niveau tâche (provenant de $z$) et une composante prédictive locale (provenant de la vraisemblance de sortie).

3. Contributions Clés

1. Formulation : Les auteurs formulent l'apprentissage d'opérateurs sous observations partielles comme une prédiction conditionnée par le contexte dans l'espace des fonctions et proposent les NOP comme le cadre correspondant.
2. Architecture : Ils introduisent des architectures NOP déterministes et probabilistes partageant un pipeline encodeur-décodeur, présentant des mécanismes distincts pour l'agrégation de contexte (SetConv vs Attention) et l'incertitude latente.
3. Distinction Empirique : Ce travail identifie une distinction empirique entre le conditionnement global et local, démontrant que l'attention préservant la géométrie est particulièrement précieuse dans les contextes sensibles à la géométrie, tandis que la voie privilégiée dépend de l'objectif d'inférence et du régime des EDP.
4. Validation : À travers des expériences systématiques et des ablations, les auteurs montrent que les NOP égalent ou surpassent les opérateurs neuraux sur grille dense tout en n'observant qu'une petite fraction du champ de réponse (moins de 25 % en 1D et moins de 7 % en 2D), fournissent des estimations d'incertitude significatives et restent compétitifs en termes de calcul lors de l'inférence.

4. Résultats Expérimentaux

Le cadre a été évalué sur quatre familles de benchmarks : la régression par processus gaussiens (GP) (en tant que diagnostic), l'équation de Burgers 1D (lisse, périodique), l'écoulement de Darcy 2D (non périodique, sensible à la géométrie) et Navier-Stokes 2D (périodique mais dynamiquement complexe).

4.1 Performance Déterministe

• Viabilité de la Spécificité : La prédiction d'opérateur conditionnelle éparse est viable, les variantes NOP atteignant des erreurs comparables ou légèrement inférieures aux références FNO standard sur grille dense.
• Dépendance au Régime :
  • Burgers (Périodique) : La voie d'attention améliore les performances même dans les configurations standards, s'alignant bien avec le décodeur spectral.
  • Darcy (Non périodique) : Préserver la géométrie locale contexte-requête via l'attention est essentiel. La variante utilisant uniquement SetConv se dégrade sous un échantillonnage uniforme mais s'améliore avec des observations groupées, tandis que la variante basée sur l'attention (DANOP) stabilise les variations de performance à travers les stratégies d'échantillonnage, montrant une plus grande robustesse aux changements de géométrie d'observation.
  • Navier-Stokes : L'attention offre une plus grande robustesse face aux changements de stratégie d'échantillonnage du contexte et de budget, bien que SetConv reste compétitif sous une évaluation uniforme standard.

4.2 Performance Probabiliste

• Quantification de l'Incertitude : Le cadre fournit des estimations d'incertitude significatives qui s'élargissent dans les régions faiblement contraintes.
• Conditionnement Latent : Les extensions probabilistes préservent la capacité prédictive. L'écart entre la moyenne de l'a priori et la moyenne de l'a posteriori est modeste, indiquant que l'a priori appris est bien aligné avec l'a posteriori.
• Paramétrage de la Variance :
  • Burgers : Les têtes hétéroscédastiques (HE) sont les plus performantes, avec des écarts a priori-a posteriori négligeables.
  • Darcy : Les têtes homoscédastiques (HO) sont souvent plus performantes, agissant comme un régularisateur qui empêche le modèle d'absorber la difficulté par une inflation de la variance.
  • Navier-Stokes : Les têtes HE sont supérieures ; les têtes HO sont trop restrictives pour ce régime dynamique hétérogène, entraînant une dégradation des performances.
• Robustesse : L'architecture avec un conditionnement fusionné (PANOP) surpasse généralement la variante utilisant uniquement SetConv (PNOP), particulièrement dans les évaluations à zéro latent, suggérant qu'un conditionnement conscient de la géométrie soutient mieux l'inférence stochastique latente.

4.3 Ablations et Limites

• Transfert de Résolution Croisée : Bien que le Burgers 1D présente un transfert réussi à zéro tir (zero-shot) vers des grilles plus fines, les réglages 2D non périodiques (Darcy, Navier-Stokes) montrent une dégradation significative. Cela suggère que la représentation conditionnelle apprise ne se transfère pas proprement à travers les discrétisations dans des régimes complexes, une limite potentiellement partagée par l'interaction entre les représentations éparses et les décodeurs spectraux.
• Coût d'Entraînement vs Inférence : Les extensions probabilistes augmentent le temps d'entraînement et la mémoire (en raison des graphes d'inférence latente) mais maintiennent une latence d'inférence modeste (millisecondes par batch).
• Modes de Défaillance : Un mode de défaillance central est la perte de structure spatiale lorsque le contexte local est trop compressé en résumés globaux. Cela est bénin dans les réglages périodiques lisses mais préjudiciable dans les régimes sensibles à la géométrie comme Darcy.

5. Signification et Revendications

L'article affirme que les NOP fournissent un cadre pratique, explicite et extensible pour combiner l'inférence conditionnelle éparse, le décodage d'opérateur structuré et la quantification de l'incertitude. La signification de ce travail réside dans :

• Unification : Faire le pont entre l'apprentissage d'opérateurs et le méta-apprentissage probabiliste dans l'espace des fonctions.
• Principes de Conception : Clarifier que la préservation explicite de la géométrie locale est un critographe de conception clé pour les contextes sensibles à la géométrie, et qu'une inférence probabiliste fiable nécessite un conditionnement latent qui complète plutôt qu'il n'écrase les biais inductifs spatiaux du tronc déterministe.
• Praticité : Démontrer qu'une prédiction de champ complet avec une incertitude cohérente est réalisable en utilisant seulement une petite fraction des observations, offrant des gains potentiels en matière de capteurs ou de stockage pour des applications où les mesures denses sont coûteuses.

Les auteurs restent modestes quant à la portée du travail, notant que les benchmarks ne couvrent pas les dynamiques fortement chaotiques, les systèmes hautement multi-échelles ou les géométries irrégulières, et que le squelette FNO fixe peut limiter les performances dans les régimes non périodiques. Ils identifient comme travaux futurs les représentations latentes spatialement structurées et les familles de décodeurs mieux adaptées aux géométries irrégulières.