Learning effective models from network dynamics data with multiple initial conditions using weak form SINDy

Résumé Technique : Apprentissage de modèles efficaces à partir de données de dynamique de réseaux avec des conditions initiales multiples via le WSINDy en forme faible

Énoncé du problème
Les systèmes sociaux impliquent des réseaux complexes où les activités en ligne et hors ligne interagissent et s'influencent mutuellement. Bien que des modèles mathématiques existent pour décrire ces dynamiques spatiotemporelles, un défi important demeure dans l'établissement d'un lien entre ces modèles et les données empiriques afin de découvrir et de valider les mécanismes directeurs, particulièrement sur des réseaux complexes. Les approches traditionnelles supposent souvent des structures de modèles fixes ou des mécanismes sous-jacents spécifiques. De plus, les données du monde réel provenant de systèmes stochastiques ou de réseaux sont fréquemment bruitées, ce qui rend les méthodes classiques d'identification de systèmes basées sur les dérivées (comme le SINDy standard) peu fiables en raison d'une estimation instable des dérivées. Les auteurs visent à répondre à ces défis en étudiant comment les méthodes fondées sur les données peuvent récupérer les équations directrices des dynamiques sociales couplées en ligne-hors ligne, en examinant spécifiquement l'impact des niveaux de bruit et du nombre de trajectoires d'entraînement (conditions initiales) sur la performance de l'apprentissage.

Méthodologie
L'étude utilise le SINDy en forme faible (WSINDy - Weak Form Sparse Identification of Nonlinear Dynamics), une méthode qui évite l'estimation explicite des dérivées en utilisant la convolution avec des fonctions de test à support compact. Cette approche transforme le problème d'apprentissage d'équations différentielles en un problème de régression linéaire sous forme faible, améliorant ainsi la robustesse face au bruit.

Les auteurs évaluent le WSINDy à l'aide de deux modèles distincts :

1. Modèle de population à mélange complet : Un système déterministe d'équations différentielles ordinaires (EDO) dérivé d'une approximation de champ moyen d'un processus d'interaction stochastique. Ce modèle sert de banc d'essai de « vérité terrain » où les véritables équations sont connues, permettant l'évaluation de la récupération des paramètres et de la précision de la sélection des termes sous différents niveaux de bruit gaussien additif.
2. Modèle de réseau stochastique : Une chaîne de Markov en temps continu décrivant des individus possédant des états hybrides en ligne-hors ligne interagissant sur des réseaux aléatoires d'Erdős-Rényi. Dans ce scénario, les dynamiques sous-jacentes ne possèdent pas d'ensemble de véritables EDO continues. Les auteurs génèrent des données d'entraînement en moyennant plusieurs réalisations de l'algorithme de Gillespie pour des conditions initiales et des structures de réseau spécifiques.

La procédure d'apprentissage utilise une bibliothèque de caractéristiques contenant des termes linéaires, bilinéaires et des polynômes d'ordre supérieur. Les auteurs font varier systématiquement le nombre de trajectoires d'entraînement (conditions initiales distinctes) et les niveaux de bruit pour évaluer la performance. Les métriques clés incluent :

• Erreurs d'équation et de sortie : Pour mesurer la fidélité des dynamiques apprises.
• Ratio de vrais positifs (TPR) : Pour évaluer la précision de la sélection des termes.
• Erreur de paramètre : Pour évaluer la précision de la récupération des coefficients.
• Taux d'échec : Pour le modèle stochastique, suivant les échecs d'intégration, les solutions hors limites et les solutions plates.

Contributions clés et résultats

1. Impact des trajectoires multiples sur la robustesse au bruit :

   • Dans les expériences du modèle à mélange complet, l'utilisation d'une seule trajectoire ne fonctionne bien que dans des conditions sans bruit. À mesure que le bruit augmente, la précision chute considérablement.
   • L'introduction de trajectoires supplémentaires (conditions initiales différentes) améliore substantiellement la tolérance au bruit.
   • Résultat crucial : Le bénéfice marginal de l'ajout de trajectoires diminue rapidement. Passer de 1 à 2 ou 3 trajectoires apporte des améliorations significatives du TPR, de l'erreur de paramètre et de l'erreur d'équation. Cependant, ajouter plus de 3 trajectoires n'apporte que peu ou pas d'amélioration supplémentaire de la performance médiane, même jusqu'à 10 trajectoires.

2. Apprentissage à partir de données de réseaux stochastiques :

   • Appliqué à des données stochastiques sur des réseaux aléatoires, le WSINDy parvient à apprendre des modèles d'EDO effectifs qui approximent les dynamiques moyennes de l'échantillon.
   • Similairement au cas du mélange complet, augmenter le nombre de trajectoires de 1 à 3 réduit drastiquement le taux d'échec (échecs d'intégration, violations de bornes et solutions plates) et abaisse les erreurs de sortie.
   • Au-delà de 3 trajectoires, le taux d'échec et les métriques d'erreur se stabilisent, montrant une amélioration minimale supplémentaire.

3. Comparaison avec les approximations de champ moyen :

   • Dans les régimes de réseaux parsemés (faible degré moyen), les approximations de champ moyen traditionnelles échouent souvent à capturer les effets de connectivité locale, menant à des prédictions inexactes.
   • Les modèles fondés sur les données appris via WSINDy fournissent de meilleures approximations des dynamiques stocastiques que les modèles de champ moyen dérivés analytiquement dans ces régimes parsemés.
   • Les modèles appris pour l'état hors ligne ($P$) s'alignent étroitement avec le modèle à mélange complet, tandis que les états en ligne ($U, E$) incluent des termes additionnels (ex: $E \cdot P$) qui servent probablement d'approximations effectives des effets de réseau et de couches croisées.

Signification et affirmations
L'article se positionne comme une étape initiale vers la connexion des données de dynamiques sociales sur des structures de réseaux à des modèles efficaces fondés sur les données. Les auteurs affirment que leur travail démontre :

• Efficacité de l'utilisation des données : Un petit nombre de trajectoires (spécifiquement 2 ou 3) avec des conditions initiales différentes est suffisant pour obtenir la majeure partie des bénéfices de l'apprentissage multi-trajectoire, rendant l'approche pratique pour les scénarios où la collecte de données est limitée.
• Supériorité dans les réseaux parsemés : Les méthodes fondées sur les données peuvent produire des modèles qui correspondent mieux aux dynamiques empiriques dans les scénarios de réseaux parsemés où les approximations de champ moyen traditionnelles échouent en raison de la négligence de la différenciation locale des nœuds.
• Robustesse : La formulation en forme faible gère efficacement le bruit inhérent aux processus stochastiques et aux données de réseaux, permettant la découverte d'équations directrices là où les méthodes standards pourraient échouer.

Les auteurs restent modestes quant aux implications futures, notant que bien qu'ils fournissent une analyse computationnelle, des travaux futurs sont nécessaires pour établir des garanties théoriques concernant le rang, la suffisance des données, et pour appliquer ces méthodes à des données réelles comportant des informations manquantes ou des états cachés. Ils soulignent également la nécessité de méthodes efficaces pour sélectionner quelles informations de trajectoire sont les plus précieuses pour l'apprentissage du modèle.