Résumé Technique : Latent Laplace Diffusion pour les Séries Temporelles Multivariées Irrégulières

1. Énoncé du Problème

Les séries temporelles multivariées irrégulières (IMTS), courantes dans la santé, les sciences climatiques et la finance, présentent un compromis fondamental pour la prévision à long horizon. Les approches existantes se répartissent généralement en trois catégories, chacune présentant des limitations significatives :

• Pipelines à temps discret : Ces méthodes interpolent ou ré-échantillonnent les données vers une structure régulière. Bien qu'efficaces, le ré-échantillonnage agressif déforme l'information temporelle et brouille la sémantique de l'absence de données sous une irrégularité sévère.
• Modèles à temps continu (ex: Neural ODEs/CDEs) : Ceux-ci intègrent naturellement les horodatages mais reposent sur une intégration numérique séquentielle. Cela augmente le coût computationnel et entraîne une accumulation d'erreurs (dérive) sur les longs horizons, particulièrement lorsque les intervalles sont importants.
• Modèles de diffusion/basés sur le score : Bien qu'offrant une quantification de l'incertitude robuste, la plupart des méthodes de diffusion pour séries temporelles existantes effectuent le débruitage directement dans l'espace d'observation. Elles manquent souvent de structure dynamique explicite ou de contrôle de stabilité, ce qui rend la génération à long horizon fragile sous un échantillonnage irrégulier.

Le défi central est de modéliser les IMTS de manière à respecter le temps physique et les écarts d'échantillonnage sans réduire l'irrégularité à un artefact de prétraitement, tout en garantissant une génération de trajectoire stable à long horizon sans la dérive associée aux solveurs séquentiels.

2. Méthodologie : Latent Laplace Diffusion (LLapDiff)

LLapDiff est un cadre génératif conditionnel qui comble le fossé entre la modélisation discrète et continue. Il évite l'intégration numérique séquentielle sur le temps physique en modélisant la cible comme une trajectoire latente de faible dimension et en effectuant la diffusion dans l'espace latent.

2.1. Représentation de la Trajectoire Latente

La méthode représente les horizons cibles irréguliers comme des trajectoires latentes de faible dimension $z$ sur une variété. Un auto-encodeur variationnel (VAE) pré-entraîné encode les cibles réelles dans cet espace latent. Le processus de diffusion corrompt et débruite ces trajectoires latentes plutôt que les observations brutes et éparses, évitant ainsi le débruitage direct sur des données masquées.

2.2. Biais de Stabilité via la Dynamique Stochastique Port-Hamiltonienne

Pour guider le processus de diffusion inverse vers des dynamiques stables sans solveur numérique, les auteurs s'inspirent des systèmes stochastiques port-Hamiltoniens.

• Équilibre Énergétique : Le cadre impose un biais inductif basé sur la passivité où l'énergie attendue du système est non croissante entre les mises à jour de contexte. Cela isole les dynamiques prévisibles de la volatilité stochastique.
• Paramétrage dans le Domaine de Laplace : Au lieu de l'avancement temporel par pas de temps, l'évolution de la moyenne de la trajectoire latente est paramétrée dans le domaine de Laplace. Le système est modélisé à l'aide de pôles complexes conjugués stables $(\rho_k, \omega_k)$, où $\rho_k$ représente les taux de décroissance et $\omega_k$ les fréquences d'oscillation.
• Synthèse Modale Stable : Le débruiteur prédit ces paramètres modaux (pôles et résidus) conditionnés par l'historique. La trajectoire latente est ensuite synthétisée via une somme en forme close de sinus amortis :
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  Cela permet une génération sur l'ensemble de l'horizon en une seule passe parallélisable, contournant le besoin d'intégration séquentielle.

2.3. Moyennage de Renouvellement et Conditionnement Sensible aux Écarts

Les auteurs établissent un lien théorique entre les pôles en temps continu et les écarts d'échantillonnage aléatoires via une analyse de moyennage de renouvellement.

• Pôles Effectifs : Les écarts aléatoires projettent les pôles en temps continu vers des pôles effectifs dans le domaine des événements. La variance des écarts module l'amortissement et l'oscillation effectifs.
• Synthétiseur d'Historique : Pour adapter les dynamiques apprises aux motifs irréguliers, un « synthétiseur d'historique sensible aux écarts » agrège les observations, les écarts temporels et les masques d'absence. Ce synthétiseur conditionne le prédicteur modal, permettant au modèle d'apprendre des paramètres en temps continu qui restent cohérents même sous des schémas d'échantillonnage non-renouvelables complexes.

2.4. Architecture

Le modèle se compose de :

1. Synthétiseur d'Historique ($S_\phi$) : Encode l'historique observé en une séquence de tokens contenant des signaux de port, des proxys dynamiques et des encodages temporels/d'écart.
2. Prédicteur Modal ($L_\theta$) : Prédit les paramètres modaux en temps continu (pôles et résidus) conditionnés par l'état latent bruité et le résumé de l'historique.
3. Synthétiseur Modal ($L^+_\theta$) : Reconstruit la trajectoire latente débruitée en utilisant les paramètres prédits via l'équation en forme close du domaine de Laplace.

3. Contributions Clés

1. Cadre LLapDiff : Un cadre de diffusion latente pour les IMTS qui modélise l'évolution comme des trajectoires latentes de faible dimension tout en préservant la fidélité des horodatages, évitant la dérive des solveurs séquentiels.
2. Paramétrage Modal dans le Domaine de Laplace : Une dérivation fondée sur la dynamique stochastique port-Hamiltonienne qui permet une génération sur l'ensemble de l'horizon avec un contrôle de stabilité explicite via un amortissement des pôles contraint ($\rho_k > 0$).
3. Lien Théorique avec les Écarts d'Échantillonnage : Une analyse liant les pôles en temps continu aux écarts d'échantillonnage aléatoires via le moyennage de renouvellement, motivant un mécanisme de conditionnement de l'historique sensible aux écarts qui améliore la modélisation à long horizon sous des irrégularités variables.

4. Résultats Expérimentaux

Les auteurs ont évalué LLapDiff sur sept jeux de données réels couvrant la qualité de l'air, la santé (PhysioNet), la météorologie (NOAA) et la finance (Crypto, US Equity).

• Performance de Prévision : LLapDiff a obtenu les meilleures métriques de distribution (CRPS) et des métriques de point compétitives (MAE/MSE) sur la plupart des jeux de données. Les gains sont plus prononcés pour la prévision à long horizon (ex: 168 étapes) et sur les jeux de données hautement irréguliers (ex: PhysioNet, NOAA UK).
• Imputation : En raison de sa nature de génération de trajectoire, le modèle permet l'imputation de valeurs manquantes en interrogeant le même modèle aux horodatages historiques. Il a surpassé les modèles de référence comme CSDI dans les tâches d'imputation probabiliste.
• Stabilité et Robustesse :
  • Visualisation des Pôles : Les pôles appris satisfont systématiquement $\rho_k > 0$, garantissant une décroissance exponentielle et la stabilité. Le modèle adapte les taux de décroissance en fonction des statistiques d'écart.
  • Tests de Stress : Le modèle a démontré une dégradation progressive sous l'effet d'une absence de données induite. Bien que les performances chutent avec une perte de couverture extrême, il reste robuste par rapport aux modèles de référence qui dérivent ou lissent excessivement.
  • Changements de Régime : Le modèle maintient sa stabilité sous des changements spectraux contrôlés (changements de fréquence et de décroissance).
• Efficacité : Contrairement aux Neural ODEs ou aux Transformers en temps continu qui nécessitent des étapes de solveur séquentiel, le temps d'inférence de LLapDiff reste presque plat à travers différents horizons de prévision. Il est nettement plus rapide que TimeGrad (39,8x) et ContiFormer (150,6x) en temps de calcul réel d'inférence.

5. Signification et Revendications

L'article affirme que LLapDiff parvient à combler le fossé entre la modélisation de séries temporelles en temps discret et continu en intégrant la diffusion latente avec un biais inductif en temps continu stable.

• Génération Sans Solveur : En déplaçant la modélisation de la dynamique vers le domaine de Laplace et en utilisant un paramétrage modal stable, la méthode permet une génération sur l'ensemble de l'horizon sans pas de temps physique, résolvant ainsi efficacement le problème de dérive des solveurs séquentiels.
• Prévision et Imputation Unifiées : La vue de trajectoire continue permet au même modèle d'effectuer à la fois la prévision et l'imputation de valeurs manquantes en interrogeant simplement différents horodatages, offrant une approche unifiée pour les données irrégulières.
• Adaptation Sensible aux Écarts : L'analyse de moyennage de renouvellement fournit une base théorique pour le conditionnement sur les écarts d'échantillonnage, permettant au modèle d'apprendre des dynamiques robustes aux schémas d'observation irréguliers.

Les auteurs reconnaissent des limites, notamment une dépendance vis-à-vis des représentations latentes pré-entraînées et une approximation modale localement linéaire. Ils suggèrent que les travaux futurs pourraient explorer des dynamiques non linéaires plus riches et un échantillonnage inverse plus rapide. Ce travail se positionne comme une étape vers une modélisation générative plus stable et efficace pour les séries temporelles réelles et irrégulières.