📊 statistics

Parametric inference for the discretely observed multivariate Hawkes process using particle Markov Chain Monte Carlo

Cet article propose une méthode de Monte Carlo par chaîne de Markov particulaire qui utilise la simulation de Monte Carlo séquentielle pour estimer la vraisemblance intractables des processus de Hawkes multivariés observés de manière discrète, démontrant une performance supérieure aux approches existantes tant sur des données simulées que sur des registres d'activités terroristes réels.

Auteurs originaux : Jason J. Lambe, Feng Chen, Tom Stindl, Tsz-Kit Jeffrey Kwan

Publié 2026-06-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jason J. Lambe, Feng Chen, Tom Stindl, Tsz-Kit Jeffrey Kwan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment une rumeur se propage dans une école. Vous savez que lorsqu'un élève entend une rumeur, il est probable qu'il la raconte à quelques amis, qui à leur tour en racontent à d'autres amis. C'est un processus « auto-excitateur » : un événement en déclenche d'autres.

Imaginez maintenant que vous êtes le directeur, mais que vous n'avez pas de flux en direct de chaque conversation. Au lieu de cela, vous recevez seulement un rapport quotidien à la fin de la journée disant : « Aujourd'hui, 5 rumeurs ont commencé dans la cafétéria et 3 dans la bibliothèque ». Vous ne savez pas exactement quand elles se sont produites, ni qui a dit quoi à qui.

C'est le problème que l'article résout. Il traite d'un modèle mathématique complexe appelé Processus de Hawkes Multivarié (qui suit plusieurs types d'événements, comme des rumeurs dans différents lieux) lorsque les données sont « observées de manière discrète » (seulement des comptages quotidiens, et non des moments précis).

Voici une décomposition de ce que les auteurs ont fait, en utilisant des analogies simples :

1. Le Problème : La Vraisemblance « Aveugle »

En statistiques, pour déterminer les règles de propagation des rumeurs (les paramètres), vous devez généralement calculer quelque chose appelé « vraisemblance ». Considérez la vraisemblance comme un score qui vous indique si votre théorie correspond bien aux données.

Le Piège : Lorsque vous n'avez que des totaux quotidiens (comme « 5 rumeurs aujourd'hui ») au lieu de moments exacts, le calcul mathématique pour obtenir ce score devient impossible à résoudre directement. C'est comme essayer de résoudre un puzzle où la moitié des pièces sont manquantes et où l'image sur la boîte est floue. Les méthodes traditionnelles échouent ici.

2. La Solution : L'Équipe de « Devinettes et Vérifications » (SMC)

Les auteurs ont créé une méthode ingénieuse pour estimer ce score impossible. Ils ont utilisé une méthode appelée Monte Carlo Séquentiel (SMC).

L'Analogie : Imaginez que vous avez une équipe de 1 000 détectives (appelés « particules »). Chaque détective essaie de deviner à quoi ressemblaient les conversations cachées pour aboutir au décompte quotidien de 5 rumeurs.
- Certains détectives devinent que les rumeurs ont eu lieu à 9h00, d'autres à 11h00.
- Ils vérifient leurs devinettes par rapport aux règles de l'école (le modèle mathématique).
- Si la devinette d'un détective n'a aucun sens (par exemple, s'il a deviné que 10 rumeurs ont eu lieu alors que le rapport en indique 5), il est éliminé.
- Les détectives qui ont de bonnes devinettes obtiennent « plus de voix » (poids).
L'Innovation : Les auteurs ont réalisé que si les détectives devinaient simplement au hasard, beaucoup perdraient du temps sur des scénarios impossibles. Ils ont donc conçu une règle spécifique pour les détectives : « Si le rapport indique que 5 rances ont eu lieu, vos 5 devinettes doivent être réparties uniformément sur la journée. » Cette astuce simple (appelée « proposition uniforme ordonnée ») a rendu l'équipe de détectives beaucoup plus intelligente et rapide, garantissant qu'ils ne perdent pas de temps avec de mauvaises devinettes.

3. Le Moteur : La Machine à « Pièce de Monnaie Équitable » (PMMH)

Une fois que l'équipe de détectives leur a fourni une estimation de ce score, les auteurs doivent trouver le meilleur ensemble de règles pour l'école. Ils utilisent une méthode appelée Métropolis-Hastings Pseudo-Marginal (PMMH).

L'Analogie : Imaginez que vous essayez de trouver le sommet le plus haut dans une chaîne de montagnes embrumées (le meilleur paramètre). Vous ne pouvez pas voir toute la montagne.
- Vous faites un pas vers un nouvel endroit.
- Vous demandez à votre équipe de détectives d'estimer la hauteur de ce nouvel endroit.
- Comme l'équipe est impartiale (elle ne ment pas systématiquement sur la hauteur), vous pouvez faire confiance à leur estimation pour décider de rester à ce nouvel endroit ou de revenir en arrière.
- Avec le temps, en faisant de nombreux pas et en écoutant l'équipe, vous cartographiez toute la chaîne de montagnes et trouvez le point le plus haut.
Pourquoi c'est important : Cela leur permet non seulement de trouver la « meilleure » réponse, mais aussi de savoir à quel point ils sont confiants dans cette réponse (comme dire : « Nous sommes sûrs à 95 % que le sommet se situe entre ces deux points »).

4. Les Résultats : Meilleur que la Concurrence

Les auteurs ont testé leur méthode par rapport à d'autres façons existantes de résoudre ce problème en utilisant des données simulées (scénarios de rumeurs scolaires fictifs).

Précision : Leur méthode était plus précise (erreur plus faible) que les autres méthodes.
Vitesse : Elle était nettement plus rapide. Là où d'autres méthodes pourraient nécessiter une équipe de détectives immense ou prendre des heures à s'exécuter, leur méthode obtient d'excellents résultats avec une équipe plus petite et en moins de temps.
Flexibilité : Elle fonctionne même si les rapports quotidiens arrivent à des moments différents (par exemple, certains jours durent 12 heures, d'autres 24 heures) ou si le bruit de fond de l'école change au cours de la journée.

5. Test en Conditions Réelles : Activité Terroriste en Afghanistan et au Pakistan

Pour prouver que cela fonctionne dans le monde réel, ils ont appliqué leur méthode à des données réelles : les décomptes quotidiens d'attaques terroristes dans deux régions voisines (Kabul/Nangarhar en Afghanistan et Khyber Pakhtunkhwa au Pakistan) de 2018 à 2021.

Ce qu'ils ont trouvé :
- Les attaques dans une région ont tendance à déclencher des attaques dans la même région (auto-excitation).
- Crucialement : Les attaques au Pakistan (Khyber Pakhtunkhwa) ont fortement déclenché des attaques en Afghanistan (Kabul/Nangarhar).
- Ils ont constaté que si les attaques au sein d'une seule région se produisent très rapidement (en quelques heures), le déclencheur « transfrontalier » met environ un mois pour se manifester.
- Ils ont également remarqué une augmentation des attaques en Afghanistan plus tard dans la période chronologique, ce qui correspond à la période du retrait des forces américaines.

Résumé

L'article présente un nouvel outil statistique qui permet aux chercheurs de comprendre des événements complexes et « contagieux » (comme les rumeurs, les transactions financières ou les attaques terroristes), même lorsqu'ils ne disposent que de résumés quotidiens approximatifs des données. En utilisant une équipe intelligente de « détectives » pour deviner les détails manquants et une machine à « pièce de monnaie équitable » pour trouver les meilleures règles, ils peuvent obtenir des réponses précises plus rapidement et plus de manière plus fiable que les méthodes précédentes.

Résumé Technique : Inférence Paramétrique pour les Processus de Hawkes Multivariés Observés Discrètement

Énoncé du Problème
Le processus de Hawkes multivarié (MHP) est un modèle standard pour l'analyse de séquences d'événements multidimensionnels caractérisées par une auto-excitation et une excitation croisée. Bien que les algorithmes d'estimation du maximum de vraisemblance (MLE) et d'espérance-maximisation (EM) soient bien établis pour les MHP avec des temps d'événements précis, ils échouent lorsque les données sont observées uniquement sous forme d'intervalles discrets (comptages agrégés). Dans de tels scénarios, la fonction de vraisemblance devient analytiquement intraçable car les temps et types exacts des événements au sein des intervalles sont des variables latentes non observées. Les approches existantes à ce problème, telles que les approximations par processus autoregressifs à valeurs entières (INAR), les méthodes de Monte Carlo EM (MCEM) modifiées, les processus de Hawkes à granularité grossière et le MCMC bayésien, souffrent souvent de biais, d'inefficacité computationnelle ou d'une incapacité à gérer les taux de fond non stationnaires et les intervalles de censure inégaux.

Méthodologie
Les auteurs proposent un cadre d'inférence paramétrique utilisant la méthode de Metropolis-Hastings pseudo-marginale (PMMH) combinée à la simulation de Monte Carlo séquentielle (SMC).

Représentation d'Espace d'États : Les temps d'événements et les types non observés au sein de chaque intervalle d'observation sont traités comme des variables latentes dans un modèle d'espace d'états. La vraisemblance des données agrégées est factorisée en un produit de probabilités conditionnelles sur les intervalles de temps.
Estimation de la Vraisemblance Sans Biais via SMC : Pour traiter la vraisemblance intraçable, les auteurs emploient un algorithme SMC pour générer une estimation non biaisée de la fonction de vraisemblance.
- Distribution de Proposition : Une innovation clé est l'utilisation d'une distribution de proposition uniforme ordonnée pour les temps d'événements latents au sein d'un intervalle, conditionnée par les comptages observés. Cela garantit que chaque particule proposée est cohérente avec les données observées (contrairement aux propositions de Poisson qui peuvent générer des particules avec un poids nul). Les types d'événements sont assignés via une distribution hypergéométrique multivariée.
- Rééchantillonnage Adaptatif : L'algorithme SMC utilise un rééchantillonnage adaptatif basé sur la taille effective de l'échantillon (ESS) pour atténuer la dégénérescence des particules tout en minimisant l'introduction de bruit de Monte Carlo.
Algorithme PMMH : L'estimation de la vraisemblance par SMC, qui est non biaisée, est substituée à la véritable vraisemblance au sein d'un algorithme de Metropolis-Hastings. Les résultats théoriques (Andrieu et Roberts, 2009) garantissent que la distribution stationnaire de la chaîne de Markov résultante est la véritable distribution postérieure des paramètres, à condition que l'estimateur de vraisemblance soit non biaisé.
Estimation des Paramètres : La moyenne ou la médiane postérieure sert d'estimation ponctuelle, les intervalles de crédibilité étant dérivés des quantiles de l'échantillon MCMC. La méthode prend en charge les taux de fond variables dans le temps (modélisés via des B-splines) et gère les fenêtres d'observation de tailles inégales.

Contributions Clés

Inférence Sans Biais : Le papier fournit une méthode pour réaliser une inférence bayésienne exacte (dans la limite d'un nombre infini de particules) pour les MHP observés discrètement en construisant un estimateur de vraisemblance non biaisé.
Mécanisme de Proposition Efficace : L'introduction de la proposition uniforme ordonnée réduit considérablement la variance de l'estimation de la log-vraisemblance par rapport aux propositions basées sur Poisson. Cela permet à l'algorithme PMMH de converger avec un nombre beaucoup plus faible de particules, améliorant ainsi drastiquement l'efficacité computationnelle.
Flexibilité : Le cadre accepte des taux de fond non stationnaires et des fenêtres d'observation irrégulières sans nécessiter d'augmentation de données ou de discrétisation du modèle.

Résultats

Études de Simulation :
- Validité : Les estimations SMC des probabilités d'événements convergent vers les véritables estimations de Monte Carlo avec un faible biais et une faible variance à mesure que le nombre de particules augmente.
- Efficacité de la Proposition : La proposition uniforme ordonnée produit une variance de log-vraisemblance nettement inférieure aux propositions de Poisson, permettant l'utilisation de moins de particules (par exemple, $J=10$ ) tout en maintenant la précision.
- Comparaison de Performance : Dans des simulations à travers différents niveaux d'agrégation ( $\Delta \in \{0.1, 0.5, 1.0\}$ ), l'estimateur PMMH a démontré un biais minimal et des intervalles de confiance bien calibrés. Il a surpassé les méthodes MCEM et de processus de Hawkes à granularité grossière (CGHP) en termes d'erreur quadratique moyenne (MSE), particulièrement aux niveaux d'agrégation élevés où ces méthodes présentent un biais significatif.
- Vitesse de Calcul : La méthode PMMH était plus rapide que l'approche MCMC bayésienne (qui ne pouvait pas être parallélisée dans l'implémentation référencée) et les méthodes MCEM/CGHP, grâce à une mise à l'échelle efficace par le calcul parallèle des particules.
Application Empirique :
- La méthode a été appliquée aux comptages quotidiens d'attaques terroristes à Kabul–Nangarhar (Afghanistan) et Khyber Pakhtunkhwa (Pakistan) de 2018 à 2021.
- Le modèle a capturé avec succès la dynamique, révélant une auto-excitation significative dans les deux régions et une forte excitation croisée du Pakistan vers l'Afghanistan ( $\hat{\eta}_{1,2} = 0.438$ ).
- Les taux de fond estimés ont reflété l'accélération des attaques en Afghanistan suite au retrait des États-Unis, conformément aux rapports externes. Le modèle s'est bien ajusté aux données observées, les comptages empiriques tombant dans les quantiles simulés à 95 %.

Signification et Revendications
Les auteurs affirment que leur méthode offre une alternative statistiquement rigoureuse et computationnellement efficace pour analyser les MHP observés discrètement. En exploitant la nature non biaisée du SMC au sein d'un cadre PMMH, la méthode évite le biais inhérent au MCEM et les erreurs d'approximation des modèles à granularité grossière. La contribution spécifique de la proposition uniforme ordonnée est mise en avant comme le facteur critique permettant la vitesse et la stabilité de la méthode, la rendant compétitive face à des alternatives de haute qualité tout en fournissant une quantification immédiate de l'incertitude (intervalles de crédibilité) et une flexibilité pour les processus non stationnaires. Le papier note modestement que, bien que les estimateurs se comportent bien empiriquement, la preuve théorique de la cohérence et de la normalité asymptotique pour le contexte spécifique des MHP reste un sujet pour des travaux futurs, s'appuyant actuellement sur la théorie générale SMC/PMMH.