Résumé technique : CoPFITi – Copules valides et expressives pour les séries temporelles multivariées irrégulières

Énoncé du problème

Les séries temporelles multivariées irrégulières (IMTS) sont prévalentes dans des domaines tels que la santé, les sciences du climat et les réseaux de capteurs, où les variables sont observées de manière asynchrone à des instants non uniformes. La prévision dans ces contextes nécessite des prédictions probabilistes complètes capturant la distribution conjointe sur les variables et les points temporels interrogés. Un défi critique dans la prévision des IMTS est la cohérence de la marginalisation : puisque les requêtes peuvent porter sur différents sous-ensembles de variables et d'instants, un modèle doit garantir que les prédictions sur n'importe quel sous-ensemble sont cohérentes avec celles dérivées de prévisions conjointes plus larges.

Les approches existantes font face à un compromis. Les modèles conjoints échouent souvent à capturer des dépendances complexes ou manquent de cohérence de marginalisation (par exemple, ProFITi). À l'inverse, les modèles qui imposent la cohérence (par exemple, MOSES, CircuITS) luttent souvent contre l'expressivité ou reposent sur des hypothèses restrictives. De plus, les approches existantes basées sur les copules pour les séries temporelles, telles que TACTiS et TACTiS-2, ne parviennent pas à préserver strictement les marginales univariées par conception architecturale, violant ainsi une propriété fondamentale des copules. En outre, les mélanges standards de copules gaussiennes sont insuffisants pour modéliser des structures de dépendance complexes et multimodales car ils partagent un centre commun dans l'espace latent.

Méthodologie

Les auteurs proposent CoPFITi (Copules pour la prévision probabiliste des séries temporelles irrégulières), un cadre qui découple la modélisation des marginales univariées de la structure de dépendance conjointe en utilisant une copule à mélange gaussien (GM-C).

1. Modélisation des marginales : MargFlow

Pour assurer la validité de l'approche par copule, les auteurs introduisent MargFlow, un modèle dédié aux marginales univariées.

• Architecture : MargFlow utilise un encodeur (adapté de CircuITS) qui est séparable par requête, ce qui signifie que la distribution à n'importe quel point de requête dépend uniquement de l'historique des observations et de ce point de requête spécifique, et non des autres points de requête. Cette propriété est cruciale pour la cohérence de la marginalisation.
• Expressivité : Au lieu de restreindre les marginales à des distributions gaussiennes (comme dans les modèles de référence Neural-ODE), MargFlow emploie des flux sigmoïdaux profonds (DSF). Il s'agit de transformations scalaires strictement monotones paramétrées par des réseaux de neurones, capables de modéliser des distributions marginales complexes et non gaussiennes.
• Entraînement : MargFlow est entraîné indépendamment pour maximiser la vraisemblance marginale, garantissant ainsi des prévisions univariées de haute qualité avant d'être couplé au modèle de dépendance.

2. Modélisation de la dépendance : Copule à mélange gaussien (GM-C)

CoPFITi construit la structure de dépendance dans un espace latent en utilisant un seul modèle de mélange gaussien (GMM) plutôt qu'un mélange de copules gaussiennes séparées.

• Structure latente : Le modèle définit une densité conjointe latente $f_{GMM}(z) = \sum_{j=1}^K \pi_j \mathcal{N}(z; \mu_j, \Sigma_j)$ sur $\mathbb{R}^N$.
• Prédiction des paramètres :
  • Poids du mélange ($\pi$) : Prédits à partir d'un résumé global de l'historique des observations $X$ uniquement. Ils sont indépendants de l'ensemble de requête $Q$.
  • Moyennes ($\mu_j$) et écarts-types ($\sigma_{j,n}$) : Prédits par requête en utilisant l'embedding de requête $e_n$. Cela permet aux modes latents d'être spatialement séparés, permettant la modélisation de dépendances multimodales.
  • Covariances ($\Sigma_j$) : Construites via une structure de matrice de Gram de rang faible ($U_j U_j^\top + I$) dérivée des embeddings de requête, mises à l'échelle par les écarts-types prédits. Cela garantit la symétrie et la définie positivité tout en permettant un calcul efficace.
• Construction de la copule : La copule est induite par la densité du GMM $f_{GMM}$ via la transformation intégrale de probabilité. Contrairement à un mélange de copules gaussiennes (qui mélange après transformation), CoPFITi mélange les densités latentes avant la transformation. Cela permet à la copule induite d'hériter de la structure multimodale du GMM latent, capturant des dépendances complexes et non elliptiques que les mélanges standards ne peuvent pas modéliser.

3. Cohérence de la marginalisation

CoPFITi est cohérent par construction en matière de marginalisation.

• Les poids du mélange $\pi$ dépendent uniquement de l'historique $X$, et non de la requête $Q$.
• Les paramètres latents $\mu_j$ et $\Sigma_j$ dépendent de $Q$ uniquement par le biais des entrées spécifiques correspondant aux points interrogés.
• La suppression des points de requête correspond exactement à la règle standard de marginalisation pour les gaussiennes multivariées.
• La transformation de l'espace latent vers l'espace cible est séparable par requête.
• Les auteurs fournissent une preuve formelle (Annexe A) démontrant que ces propriétés garantissent que la marginalisation de la distribution conjointe produit le même résultat que la prédiction directe de la marginale.

4. Entraînement et inférence

• Entraînement en deux étapes : D'abord, MargFlow est entraîné indépendamment. Ensuite, ses poids sont figés, et les paramètres de la copule sont entraînés pour maximiser la vraisemblance conjointe logarithmique.
• Optimisation : L'objectif est la vraisemblance négative logarithmique conjointe normalisée (njNLL). Puisque la fonction de répartition inverse (CDF) de la marginale du GMM n'a pas de forme fermée, les auteurs utilisent un schéma de Newton-bissection sécurisé pour l'inversion directe et dérivent des gradients analytiques (via la différenciation implicite) pour la rétropropagation, évitant ainsi la nécessité de dérouler le solveur.

Contributions clés

1. Cadre CoPFITi : Le premier cadre basé sur les copules pour les IMTS qui est cohérent par construction en matière de marginalisation. Il utilise une copule à mélange gaussien pour atteindre une haute expressivité tout en maintenant une validité structurelle.
2. MargFlow : Un modèle de marginales robuste et séparable par requête utilisant des flux sigmoïdaux profonds, atteignant des vraisemblances marginales de pointe sur des ensembles de données de référence.
3. Validité théorique et empirique : L'article établit que le découplage des marginales du modèle conjoint produit de meilleures performances marginales que l'entraînement conjoint. CoPFITi atteint des vraisemblances conjointes supérieures aux modèles de référence non copules et compétitives (ou meilleures) par rapport à TACTiS-2, tout en préservant strictement les distributions marginales — une propriété que TACTiS-2 ne parvient pas à garantir.

Résultats expérimentaux

Les auteurs ont évalué CoPFITi sur quatre benchmarks standards d'IMTS : USHCN (climat), PhysioNet-2012, MIMIC-III et MIMIC-IV (clinique).

• Performance marginale : MargFlow a obtenu la plus faible vraisemblance négative logarithmique marginale (mNLL) sur les quatre ensembles de données, surpassant significativement les modèles de référence entraînés conjointement et d'autres modèles univariés (GRU-ODE, NeuralFlows, CRU).
• Performance conjointe : CoPFITi a obtenu la meilleure ou la quasi-meilleure vraisemblance négative logarithmique conjointe normalisée (njNLL). Il a surpassé TACTiS-2 sur PhysioNet, MIMIC-III et MIMIC-IV.
• Expressivité de la GM-C : Une étude d'ablation remplaçant la GM-C par un mélange de copules gaussiennes (Mix-GC) a montré une baisse significative des performances, confirmant que la capacité à modéliser des structures latentes multimodales est cruciale.
• Écart de validité : En utilisant la distance de Wasserstein-1, les auteurs ont démontré que CoPFITi préserve les marginales univariées avec une haute fidélité (comparable au bruit d'échantillonnage), tandis que TACTiS-2 présentait une déviation d'ordres de grandeur supérieure, indiquant un échec à préserver les distributions marginales.
• Vérification de la cohérence : Une expérience simplifiée sur une distribution 3D a montré que les prévisions bivariées directes de TACTiS-2 étaient en désaccord avec ses prévisions conjointes 3D marginalisées, tandis que les prévisions de CoPFITi étaient cohérentes par construction.

Importance et revendications

L'article revendique l'établissement d'un nouvel état de l'art dans la modélisation de densité conjointe des IMTS en résolvant la tension entre expressivité et validité.

• Garantie structurelle : Contrairement aux copules attentionnelles précédentes qui reposent sur la théorie de la convergence pour apprendre la préservation marginale, CoPFITi garantit la cohérence de la marginalisation grâce à sa conception architecturale.
• Bénéfice du découplage : Les résultats soutiennent l'hypothèse que la séparation de la modélisation marginale de la modélisation de la dépendance conduit à des prévisions univariées plus précises et, par conséquent, à une meilleure estimation de la densité conjointe.
• Applicabilité : Bien que centré sur la prévision, les auteurs notent que le cadre s'étend naturellement à d'autres problèmes d'estimation de densité conjointe conditionnelle avec des ensembles de cibles variables, tels que l'imputation de valeurs manquantes dans des données tabulaires.

Le travail est présenté comme une contribution méthodologique évaluée sur des benchmarks publics, avec un accent mis sur la fourniture d'estimations d'incertitude fiables et la garantie que les prédictions à différentes résolutions ne se contredisent pas.