Résumé Technique : SURGE - Filtre Particulaire Sans Approximation et Sans Entraînement pour les Surrogates de Diffusion

Énoncé du Problème

L'assimilation de données (DA) vise à estimer séquentiellement l'état latent d'un système dynamique à partir d'observations bruitées et partielles. Alors que les méthodes traditionnelles reposent sur des solveurs mécaniques explicites, les approches modernes utilisent de plus en plus des modèles de diffusion comme « jumeaux numériques » pour représenter la dynamique complexe et de haute dimension des systèmes. Ces modèles servent de surrogates puissants pour générer des prévisions probabilistes.

Cependant, l'intégration d'observations physiques dans la prévision basée sur la diffusion présente un défi majeur. Une pratique courante consiste à guider le processus d'échantillonnage de la diffusion en utilisant la vraisemblance de l'observation pour orienter les échantillons vers des états cohérents avec les observations. L'article note que, sauf si cette guidance correspond à la transformée de Doob exacte (ce qui nécessite de résoudre une équation de Kolmogorov rétrograde intraitable en haute dimension), les échantillons résultants sont approximatifs et introduisent un biais systématique. Par conséquent, les méthodes existantes échouent souvent à produire des échantillons issus de la véritable distribution a posteriori, en particulier dans des régimes de haute dimension, non linéaires, avec des données éparses et bruitées.

La question centrale abordée est la suivante : Comment fusionner les simulations de jumeaux numériques basées sur la diffusion avec des observations partielles sans introduire de biais systématique provenant d'une guidance approximative ?

Méthodologie : SURGE

Les auteurs proposent SURGE (Sequential Unbiased Resampling via Girsanov Estimation), un cadre sans entraînement, exécuté au moment de l'inférence, qui réalise l'assimilation de données en utilisant les principes du filtrage particulaire sur les trajectoires de diffusion.

Concept Central

Au lieu de tenter de dériver un terme de guidance exact (qui est intraitable), SURGE traite le processus de diffusion guidé comme une distribution de proposition et corrige son biais en utilisant le Monte Carlo Séquentiel (SMC) et le théorème de Girsanov.

1. Formulation de la Mesure de Trajectoire : Le surrogate de diffusion est considéré comme définissant une mesure de trajectoire sur des trajectoires continues. L'échantillonneur guidé standard (utilisant un potentiel de contrôle approximatif $G$) génère des trajectoires à partir d'une mesure contrôlée $P_G$.
2. Correction de Girsanov : L'article exploite le théorème de Girsanov pour calculer la dérivée de Radon-Nikodym (rapport de vraisemblance) entre la mesure de trajectoire non contrôlée (a priori) et la mesure de trajectoire guidée. Cela permet le calcul de poids d'importance qui corrigent mathématiquement le biais introduit par la guidance approximative.
3. Rééchantillonnage Séquentiel :
   • L'algorithme propage un ensemble de particules (trajectoires) à travers le processus de diffusion guidé.
   • À chaque étape, les particules sont repondérées en fonction de la vraisemblance de l'observation et du terme de correction de Girsanov.
   • Une étape de rééchantillonnage est effectuée pour atténuer la dégénérescence des particules, en concentrant l'ensemble sur les régions de haute probabilité de l'a posteriori.
4. Intégration Progressive de la Vraisemblance : Pour stabiliser le processus de rééchantillonnage et réduire la variance dans les paramètres de haute dimension, la vraisemblance de l'observation est intégrée progressivement le long des étapes de temps internes de la diffusion (en utilisant une factorisation télescopique) plutôt que sous forme d'une seule mise à jour importante à l'extrémité. Cela garantit que les poids des particules restent équilibrés.

Flux Algorithmique

• Entrée : Surrogate de diffusion pré-entraîné, observations bruitées, ensemble initial de particules.
• Processus :
  • Pour chaque étape de temps $t$, générer $N$ trajectoires en utilisant l'EDS guidée (Éq. 4).
  • Calculer les poids d'importance incrémentaux à l'aide de la formule de Girsanov (Éq. 5/6), qui inclut la récompense de vraisemblance et la correction pour la dérive de guidance.
  • Normaliser les poids et effectuer un rééchantillonnage si la taille d'échantillon effective (ESS) tombe en dessous d'un seuil.
• Sortie : Un ensemble sans approximation représentant la distribution a posteriori $p(x_{t+1} | y_{1:t+1})$.

Contributions Clés

1. Cadre Sans Approximation : SURGE est le premier travail à fournir un algorithme de filtrage sans approximation pour les surrogates basés sur la diffusion. Il fusionne rigoureusement les données observationnelles avec les simulations de diffusion sans s'appuyer sur une guidance heuristique qui biaiserait l'a posteriori.
2. Repondération Basée sur Girsanov : La méthode présente la prévision basée sur la diffusion comme une inférence sur une distribution de trajectoire. Elle utilise un changement de mesure de Girsanov pour calculer des poids d'importance qui corrigent exactement le biais introduit par une guidance de vraisemblance approximative.
3. Mise à l'Échelle au Moment de l'Inférence : SURGE opère uniquement au stade de l'inférence. Il agit comme une amélioration « plug-and-play » pour les méthodes existantes de DA basées sur la diffusion (comme FlowDAS ou SDA) sans nécessiter de réentraînement du modèle génératif sous-jacent.
4. Stabilisation par Vraisemblance Progressive : L'introduction d'une intégration de vraisemblance distribuée dans le temps atténue la dégénérescence des particules dans les tâches de haute dimension et à long horizon.

Résultats Expérimentaux

Les auteurs ont évalué SURGE sur trois ensembles de données distincts : le système de Lorenz 1963 (chaotique de basse dimension), un système de Navier-Stokes incompressible forcé (dynamique des fluides de haute dimension) et l'ensemble de données de prévision météorologique SEVIR (météorologie réelle).

• Système de Lorenz : SURGE a constamment surpassé les filtres classiques (BPF, EnKF) et les bases de score/flux (SDA, FlowDAS) en termes d'erreur quadratique moyenne (RMSE) et de distance de Wasserstein ($W_1$), même sous une observation partielle extrême (seule la coordonnée $x$ observée) et un bruit élevé.
• Navier-Stokes : Dans des tâches de super-résolution et d'observation éparses, SURGE a obtenu une erreur quadratique moyenne (RMSE) plus faible et une meilleure préservation du spectre d'énergie cinétique (KES-RE) par rapport aux bases de référence. Les résultats qualitatifs ont montré que SURGE maintenait une fidélité structurelle et des frontières nettes mieux que FlowDAS, qui avait tendance à produire des prévisions floues.
• Prévision Météorologique : Sur l'ensemble de données SEVIR (prévision du liquide intégré verticalement), SURGE a amélioré l'indice de succès critique (CSI) et réduit le RMSE à travers divers seuils d'intensité ($\tau_{20}, \tau_{40}$) par rapport à FlowDAS et SDA.

Dans toutes les expériences, SURGE a amélioré les performances des modèles de base sous-jacents (SDA et FlowDAS) sans entraînement supplémentaire.

Signification et Revendications

L'article revendique que SURGE fournit une solution rigoureuse et sans approximation au problème de l'assimilation de données avec des surrogates de diffusion. En découplant la génération de propositions (via le modèle de diffusion) de la correction du biais (via le rééchantillonnage pondéré par Girsanov), la méthode évite les erreurs systématiques inhérentes à une guidance approximative.

Les auteurs soulignent que :

• SURGE est sans entraînement, ce qui en fait une amélioration universelle en ligne pour les modèles de séquence existants basés sur la diffusion.
• Il est particulièrement efficace dans les systèmes de haute dimension, non linéaires et chaotiques où les filtres particulaires traditionnels souffrent de dégénérescence des poids et où une guidance exacte est intraitable.
• Bien que la méthode soit robuste, son efficacité est intrinsèquement liée à la qualité du surrogate de diffusion de base ; si la distribution de proposition du surrogate est fondamentalement instable (par exemple, près des isoclines nulles dans le système de Lorenz), le mécanisme de rééchantillonnage peut avoir des difficultés, mettant en évidence une dépendance à la stabilité du modèle sous-jacent.

Ce travail positionne SURGE comme un pont entre la puissance expressive des modèles de diffusion génératifs et les exigences statistiques rigoureuses de l'assimilation de données, permettant une estimation d'état physiquement cohérente sans le coût computationnel du réentraînement ou de la résolution d'équations rétrogrades intraitables.