Causal Structure Learning in Hawkes Processes with Complex Latent Confounder Networks

Cet article propose un algorithme itératif en deux phases pour apprendre la structure causale des processus de Hawkes multivariés en présence de sous-processus latents, en exploitant une représentation en temps discret et des conditions d'identifiabilité basées sur les chemins pour garantir la récupération des relations causales.

L'essentiel

🕵️‍♂️ Le Détective des Événements Cachés : Comprendre le "Hawkes" et les Fantômes

Imaginez que vous essayez de comprendre pourquoi il y a du trafic sur une autoroute. Vous regardez par la fenêtre et vous voyez des voitures (les événements) passer. Vous remarquez qu'une voiture rouge freine, et juste après, trois voitures bleues freinent aussi.

Le problème ?
Il y a peut-être un fantôme invisible (un sous-processus latent) qui se trouve entre elles. Par exemple, un camion de police caché dans un virage qui fait peur à tout le monde, ou un accident que vous ne voyez pas. Si vous ne voyez que les voitures, vous allez croire que la voiture rouge a causé le freinage des voitures bleues. C'est faux ! C'est le camion invisible qui est le vrai coupable.

Dans le monde réel (réseaux sociaux, cerveau, bourse), nous sommes souvent comme ce conducteur : nous voyons certains événements, mais beaucoup d'autres restent invisibles.

📜 De quoi parle ce papier ?

Les auteurs, Songyao Jin et Biwei Huang, ont créé une nouvelle méthode pour retrouver ces "fantômes" et comprendre la vraie chaîne de causalité, même quand on ne voit pas tout.

Voici comment ils y arrivent, étape par étape, avec des analogies :

1. Le "Hawkes" : Une réaction en chaîne

Le papier utilise un modèle mathématique appelé Processus de Hawkes.

• L'analogie : Imaginez une foule dans un stade. Si une personne crie "Oh !", les gens autour crient aussi. Si ces gens crient, leurs voisins crient à leur tour. C'est une réaction en chaîne.
• Le défi : Souvent, on ne voit que les cris de certains spectateurs, mais pas ceux qui sont dans les gradins du fond (les processus latents). Ces spectateurs invisibles peuvent faire crier tout le monde, créant une fausse impression de lien entre deux spectateurs que vous voyez.

2. La Grande Révélation : Transformer le temps continu en "Photos"

Jusqu'à présent, les mathématiciens essayaient de résoudre ce problème en regardant le flux continu d'événements (comme une vidéo). C'est très compliqué.

• L'astuce des auteurs : Ils disent : "Et si on arrêtait la vidéo et qu'on prenait des photos toutes les quelques secondes ?"
• L'analogie : Au lieu de regarder le flux continu de voitures, on compte combien de voitures passent toutes les 10 secondes.
• Le résultat magique : En transformant le temps en "photos" (données discrètes), le problème complexe devient un jeu de puzzle logique simple. Les auteurs montrent que, mathématiquement, ce puzzle ressemble à un système linéaire classique que l'on peut résoudre.

3. Le Détective Mathématique : L'Enquête par "Rang"

Comment savoir si un fantôme est là ? Les auteurs utilisent une technique appelée tests de rang (basée sur la covariance croisée).

• L'analogie du groupe de musique :
  • Imaginez que vous écoutez deux musiciens (deux événements observés) jouer.
  • Si le premier joue une note et que le deuxième joue la même note exactement au même moment, c'est peut-être qu'ils s'écoutent l'un l'autre.
  • MAIS, si vous remarquez que tous les musiciens jouent une note qui semble venir d'une source unique et invisible (un chef d'orchestre fantôme), les mathématiques vont révéler une "défaillance" dans la complexité de la musique.
  • C'est ce qu'ils appellent une défaillance de rang. C'est comme si, en analysant les notes, vous vous rendiez compte : "Attendez, il y a trop de similitudes pour que ce soit juste une coïncidence ou un lien direct. Il doit y avoir un troisième musicien caché qui dirige les deux."

4. La Méthode en Deux Temps (L'Algorithme)

Leur méthode est un détective qui travaille en deux phases, encore et encore, jusqu'à ce que tout soit clair :

• Phase 1 : Trouver les liens visibles.
  Le détective regarde d'abord les événements qu'il voit. Il dit : "Tiens, l'événement A semble causer l'événement B." Il trace ces liens.
• Phase 2 : Chasser les fantômes.
  Si le détective voit que A et B réagissent de manière trop similaire (comme deux jumeaux qui réagissent à la même chose), il soupçonne un fantôme. Il dit : "Il y a un processus caché L qui cause A et B."
  • Il crée alors un "représentant" pour ce fantôme (un proxy) basé sur ce qu'il voit.
  • Ensuite, il recommence la Phase 1 en incluant ce nouveau "représentant" pour voir s'il cause d'autres événements.

C'est une boucle infinie : Trouver des liens -> Chasser des fantômes -> Recréer des liens -> Chasser de nouveaux fantômes.

🌍 Pourquoi c'est important ?

Imaginez ces scénarios :

• Neuroscience : Vous enregistrez l'activité de 100 neurones, mais il y en a 10 000 dans le cerveau. Si vous ignorez les 9 900 invisibles, vous allez croire que le neurone A contrôle le neurone B, alors qu'en réalité, c'est un neurone caché C qui les contrôle tous les deux. Cette méthode permet de retrouver C.
• Réseaux Sociaux : Pourquoi un tweet devient viral ? Est-ce parce que l'utilisateur A a tweeté, ou parce qu'un algorithme invisible (le fantôme) a poussé le tweet à des milliers de personnes ?
• Réseaux Télécoms : Dans l'expérience réelle du papier, ils ont analysé des alarmes sur des réseaux mobiles. Ils ont réussi à retrouver une alarme "fantôme" (un problème système invisible) qui causait des pannes visibles sur d'autres appareils.

🏆 En résumé

Ce papier est une révolution parce que :

1. Il ne suppose pas qu'on voit tout (ce qui est rarement vrai dans la vie réelle).
2. Il transforme un problème de "vidéo continue" très dur en un problème de "photos" plus facile à résoudre.
3. Il utilise la "musique" des données (les statistiques) pour entendre le sifflement des fantômes invisibles.

C'est comme donner des lunettes de vision nocturne à un détective qui cherchait à résoudre un crime dans le noir complet. Il peut enfin voir les coupables qui se cachaient dans l'ombre.

Résumé technique

1. Problématique

L'apprentissage de la structure causale dans les systèmes complexes modélisés par des processus de Hawkes multivariés (MHP) est un défi majeur, particulièrement lorsque le système n'est que partiellement observable.

• Limites des méthodes existantes : La majorité des approches actuelles supposent la "suffisance causale", c'est-à-dire que tous les sous-processus pertinents (séquences d'événements) sont observés. Elles échouent à détecter les sous-processus latents (non mesurés) qui agissent comme des confondants.
• Conséquences de l'ignorance des latents : L'omission de ces sous-processus latents crée des arêtes causales spuriées entre les sous-processus observés, conduisant à une découverte de structure erronée.
• Défi spécifique : Les méthodes existantes pour gérer les variables latentes (basées sur l'indépendance conditionnelle ou des hypothèses i.i.d.) ne sont pas adaptées aux dynamiques temporelles des processus de Hawkes, qui sont stochastiques, auto-excitatrices et souvent cycliques. De plus, aucune méthode ne permet d'inférer l'existence et le nombre de sous-processus latents sans connaissance préalable.

2. Méthodologie

Les auteurs proposent un cadre théorique et un algorithme itératif en deux phases pour apprendre la structure causale complète (observée + latente) sans connaissance a priori sur les composants latents.

A. Représentation Discrétisée et Linéaire

Le cœur de l'approche repose sur la transformation du processus de Hawkes continu en temps en un modèle causal linéaire à temps discret.

• Théorème 4.1 : En réduisant l'intervalle de temps $\Delta$, un processus de Hawkes stationnaire peut être représenté comme un modèle autorégressif linéaire (VAR) sur les comptes d'événements discrétisés.
• Correspondance : Une arête causale dans le graphe de synthèse (sommaire) entre deux sous-processus correspond à des relations linéaires entre les variables discrétisées décalées dans le temps (fenêtre causale).

B. Conditions d'Identifiabilité par Contraintes de Rang

L'approche exploite les statistiques d'ordre deux (matrices de covariance croisée) des variables discrétisées.

• Hypothèses :
  • Fonction d'excitation séparable : $\phi_{ij}(s) = a_{ij}w(s)$.
  • Fidélité de rang (Rank Faithfulness) : Les dépendances de rang observées reflètent fidèlement la structure du graphe.
• Détection des Confondants Latents :
  • Un confondant latent $L$ influençant plusieurs sous-processus observés crée une déficience de rang caractéristique dans les matrices de covariance croisée.
  • Situation de chemin symétrique (Théorème 4.4) : Pour que le confondant soit identifiable, les chemins directs du confondant vers ses effets observés doivent être acycliques, ne contenir que des latents intermédiaires, et avoir la même longueur.
  • Critère de rang : La présence d'un confondant latent unique se manifeste par un rang de la matrice de covariance égale à $2m + 1$ (où $m$ est le nombre de retards), au lieu de $2m$ attendu si seuls des parents observés existaient.

C. Algorithme Itératif en Deux Phases

L'algorithme (Algorithme 1) alterne entre deux phases pour reconstruire le graphe complet :

1. Phase I (Identification des relations causales) : Pour chaque sous-processus (observé ou latent découvert), l'algorithme teste les ensembles de parents causaux candidats en utilisant les théorèmes 4.3 et 4.7. Il vérifie si la condition de rang est satisfaite pour isoler le sous-processus des autres.
2. Phase II (Découverte de nouveaux sous-processus latents) : Si la Phase I ne peut plus résoudre de relations, l'algorithme recherche de nouveaux confondants latents en examinant les paires de sous-processus (observés ou latents déjà découverts) via les théorèmes 4.5 et 4.8.
   • Il utilise des substituts observés (observed surrogates) : un sous-processus observé influencé par un latent sert de proxy pour inférer les relations de ce latent avec d'autres nœuds.
   • Les nouveaux latents découverts sont ajoutés à l'ensemble actif et le processus recommence.

3. Contributions Clés

1. Premier cadre principiel : C'est la première méthode capable d'identifier des sous-processus latents et de retrouver la structure causale dans des séquences d'événements continues sans connaître à l'avance l'existence ou le nombre de latents.
2. Représentation Linéaire : Démonstration que les processus de Hawkes multivariés admettent une représentation linéaire discrétisée, permettant l'application de tests statistiques sur les rangs.
3. Conditions Nécessaires et Suffisantes : Établissement de conditions théoriques rigoureuses (basées sur la structure des chemins et les contraintes de rang) pour l'identifiabilité des confondants latents.
4. Algorithme sans connaissance a priori : Développement d'un algorithme itératif qui découvre dynamiquement les latents et leurs parents, évitant les hypothèses restrictives des méthodes précédentes (comme l'absence de liens directs entre observés).

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur des données synthétiques et réelles.

• Données Synthétiques :

  • Comparaison avec six méthodes de référence (SHP, THP, NPHC, Hier. Rank, RLCD, LPCMCI).
  • Performance : La méthode proposée surpasse systématiquement les baselines en termes de score F1, même dans des graphes complexes avec des confondants latents imbriqués (Figures 3c et 3d).
  • Robustesse : Les résultats montrent une robustesse face aux violations modérées de la fidélité de rang et à la variation de la taille des intervalles de discrétisation ($\Delta$), tant que $\Delta$ reste suffisamment petit par rapport au support de la fonction d'excitation.
  • Échelle : La méthode fonctionne bien sur des graphes plus grands (14 sous-processus).

• Données Réelles (Réseau Cellulaire) :

  • Utilisation d'un jeu de données public sur les alarmes de télécommunications (18 types d'alarmes, 55 appareils).
  • Scénario : Traitement d'une alarme (ID=7) comme latente.
  • Résultat : La méthode a réussi à identifier l'alarme latente et ses influences principales sur les alarmes observées, obtenant un score F1 de 0.76, nettement supérieur aux baselines (le meilleur étant ~0.49).

5. Signification et Impact

• Avancée Théorique : Ce travail comble un fossé important entre l'apprentissage de processus ponctuels (Hawkes) et la découverte causale avec variables latentes. Il démontre que les dynamiques temporelles riches des processus de Hawkes peuvent être exploitées pour résoudre l'ambiguïté causale habituelle liée aux variables non observées.
• Applications Pratiques : La méthode est applicable dans des domaines critiques où l'observation complète est impossible, tels que :
  • Neurosciences : Inférer les connexions entre neurones enregistrés et ceux qui ne le sont pas.
  • Finance : Comprendre les interactions de marché cachées entre actifs.
  • Réseaux de télécommunications : Diagnostiquer les pannes racines (comme dans l'étude de cas) en présence de capteurs manquants.
• Limites et Perspectives : L'approche repose actuellement sur une fonction d'excitation commune (séparable). Les auteurs suggèrent comme travail futur de généraliser à des taux de décroissance spécifiques aux nœuds et d'améliorer la complexité computationnelle pour des graphes très larges.

En résumé, cet article propose une solution élégante et théoriquement fondée au problème de la découverte causale dans des systèmes temporels partiellement observés, transformant la complexité des processus de Hawkes en un avantage pour l'identification des structures cachées.