Bridging Discrete Marks and Continuous Dynamics: Dual-Path Cross-Interaction for Marked Temporal Point Processes

Each language version is independently generated for its own context, not a direct translation.

🌟 Le Problème : Prévoir l'imprévisible

Imaginez que vous essayez de prédire la prochaine secousse sismique, le prochain tweet viral ou le prochain achat dans un magasin. Ces événements ne se produisent pas comme un métronome (toutes les 5 secondes). Ils arrivent de manière irrégulière : parfois très proches, parfois très éloignés.

De plus, chaque événement a une "identité" (un marqueur) :

Pour un séisme : c'est sa magnitude (2.5, 5.2, etc.).
Pour un tweet : c'est le type de contenu (vidéo, texte, lien).

Le défi actuel :
Les anciennes méthodes de prédiction avaient un problème de "cécité" :

Les méthodes "Discret" (comme les RNN) étaient excellentes pour comprendre l'histoire des événements (ex: "Un petit séisme a souvent suivi par un gros"), mais elles ignoraient le temps réel. Elles traitaient le temps comme une simple liste de cases, sans voir ce qui se passait entre les événements.
Les méthodes "Continues" (comme les ODE) étaient super pour modéliser le flux fluide du temps, mais elles oubliaient souvent l'identité des événements. Elles voyaient le temps passer, mais pas si c'était un "petit séisme" ou un "gros séisme" qui influençait le futur.

C'est comme essayer de conduire une voiture en regardant uniquement le rétroviseur (l'histoire) ou uniquement le compteur de vitesse (le temps), mais pas les deux ensemble.

🚀 La Solution : NEXTPP (Le Chef d'Orchestre à Double Voie)

Les auteurs proposent NEXTPP, un nouveau modèle qui agit comme un chef d'orchestre capable de voir deux choses en même temps grâce à une architecture en deux voies parallèles qui communiquent constamment.

1. La Voie Discrete : Le "Scénariste" (Self-Attention)

Imaginez un scénariste qui lit l'histoire des événements passés.

Il utilise un mécanisme appelé Self-Attention (comme dans les modèles de langage modernes).
Son rôle : Il comprend les relations entre les événements. "Ah, quand il y a eu un tweet avec une vidéo, les gens ont tendance à répondre par un texte 10 minutes plus tard."
Il garde une trace précise de l'identité de chaque événement (le marqueur).

2. La Voie Continue : Le "Chronométreur Fluide" (Neural ODE)

Imaginez un chronométreur qui ne regarde pas des secondes, mais un écoulement d'eau continu.

Il utilise une Équation Différentielle Ordinaire (ODE).
Son rôle : Il modélise l'évolution invisible et fluide du temps entre deux événements. Même si rien ne se passe pendant 5 minutes, le temps continue de s'écouler et d'influencer la probabilité du prochain événement.
Il capture la dynamique fine : est-ce que l'activité est en train de ralentir ou d'exploser ?

3. La Magie : L'Interaction Croisée (Cross-Interaction)

C'est ici que NEXTPP brille. Au lieu de laisser le Scénariste et le Chronométreur travailler séparément, ils ont une conversation constante via un module d'Attention Croisée.

Le Scénariste dit au Chronométreur : "Attention, le dernier événement était un gros séisme (magnitude 5.2). Cela signifie que le temps va s'accélérer pour les répliques."
Le Chronométreur dit au Scénariste : "Le temps s'écoule très lentement en ce moment, ce qui suggère que le prochain événement sera probablement calme, pas un séisme majeur."

Ils fusionnent leurs connaissances pour prédire QUAND l'événement va arriver et CE QU'IL sera.

🌍 L'Analogie du Séisme (Exemple du papier)

Regardez l'exemple du séisme de 2009 dans le papier :

Phase 1 (Précurseurs) : De petits tremblements (2.5 à 4.0) surviennent à des intervalles irréguliers.
Phase 2 (Le choc principal) : À 11,56 secondes, un gros séisme (5.2) frappe.
Phase 3 (Répliques) : Une pluie de petits séismes suit immédiatement.

Comment NEXTPP le voit :

Le Scénariste reconnaît la séquence : "Petit, petit, petit... GROS !". Il sait que la probabilité de répliques est élevée.
Le Chronométreur sent la tension monter dans le temps entre les petits séismes.
Grâce à leur conversation, le modèle prédit non seulement que le gros séisme va arriver, mais aussi quand exactement il va se produire et quelles seront les répliques qui suivront, avec une précision bien supérieure aux anciens modèles.

🏆 Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé NEXTPP sur 5 mondes réels différents :

Taxis à New York (Quand et où les gens commandent-ils ?)
Achats Amazon (Quand les gens achètent-ils quoi ?)
StackOverflow (Quand les développeurs gagnent-ils des badges ?)
Séismes (Quand et quelle magnitude ?)
Retweets (Quand les tweets deviennent-ils viraux ?)

Le verdict :
NEXTPP bat tous les champions actuels.

Il prédit le moment de l'événement avec plus de précision (moins d'erreur de temps).
Il devine mieux le type d'événement (moins d'erreur de catégorie).
Il est aussi plus rapide à entraîner que ses concurrents complexes.

💡 En résumé

NEXTPP est comme un détective qui ne se contente pas de regarder les preuves (les événements passés) ni de regarder l'horloge (le temps), mais qui comprend comment les preuves changent la perception du temps, et comment le temps modifie la nature des preuves. C'est cette danse à deux entre le discret et le continu qui lui permet de prédire l'avenir avec une justesse incroyable.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les Processus Temporels Ponctuels Marqués (MTPP) visent à modéliser des séquences d'événements irréguliers dans le temps, où chaque événement possède un type catégoriel (une « marque », par exemple le type de séisme ou la catégorie d'un produit). La prédiction de ces séquences pose un défi majeur en raison de la nature asynchrone et complexe des dépendances temporelles.

Les approches existantes souffrent de limitations binaires :

Modèles discrets (RNN, Transformers) : Ils excellent à capturer les dépendances entre les tokens d'événements (les marques) mais ignorent l'évolution continue du temps entre les événements.
Modèles continus (Équations Différentielles Ordinaires Neuronales - Neural ODE) : Ils modélisent bien la dynamique lisse du temps latent, mais échouent souvent à intégrer l'influence explicite des types d'événements (marques) sur le timing futur.

Il existe donc un manque de cadre unifié capable de capturer le flux d'information bidirectionnel entre les marques discrètes et la dynamique temporelle continue. Par exemple, dans une séquence sismique, la magnitude d'un événement (marque) influence le moment du prochain séisme, tandis que le contexte temporel guide l'évolution des types d'événements.

2. Méthodologie : NEXTPP

Pour combler ce fossé, les auteurs proposent NEXTPP, une architecture à double voie (dual-channel) qui unifie les représentations discrètes et continues via une interaction croisée.

Architecture Globale

Le pipeline se déroule en trois étapes principales :

Représentation et Encodage :
- Les marques et les timestamps sont d'abord projetés dans un espace dense via des couches d'embedding (utilisant un encodage positionnel trigonométrique pour le temps).
- Le résultat est une matrice d'embedding $E$ .
Deux Voies Parallèles :
- Voie Discrète (Self-Attention) : Utilise un mécanisme d'attention auto-attention (Self-Attention) pour extraire les dépendances intrinsèques entre les événements dans la séquence. Cela capture les patterns temporels discrets.
- Voie Continue (Neural Evolution) : Utilise une Neural ODE pour faire évoluer l'état latent entre les événements.
  - Un encodeur projette l'embedding initial dans un espace latent de faible dimension.
  - Un solveur d'ODE (avec la méthode de sensibilité adjointe pour l'efficacité mémoire) fait évoluer l'état latent $z(t)$ de manière continue entre deux événements $t_i$ et $t_{i+1}$ .
  - Cela permet de modéliser la dynamique fine du temps continu.
Fusion par Interaction Croisée (X-Interaction) :
- C'est le cœur de l'innovation. Un module d'Attention Croisée (Cross-Attention) fusionne les deux voies.
- Les caractéristiques reconstruites de la voie continue ( $O_i$ , sortie de l'ODE) servent de Query.
- Les représentations intermédiaires de la voie discrète ( $A_i$ , sortie de l'Auto-Attention) servent de Key et Value.
- Mécanisme : Cela permet aux marques d'événements passés d'influencer la dynamique temporelle future, et inversement, au contexte temporel d'affiner la prédiction des marques.

Fonction d'Intensité et Échantillonnage

La représentation fusionnée finale $C_i$ alimente la fonction d'intensité conditionnelle d'un processus de Hawkes neuronal.
Pour générer des événements futurs, le modèle utilise un échantillonneur par amincissement itératif (iterative thinning sampler) basé sur l'intensité apprise.

Fonction de Perte (Training)

L'entraînement optimise trois objectifs combinés :

Vraisemblance Négative Logarithmique (NLL) : Pour apprendre les paramètres de la fonction d'intensité.
Divergence KL : Pour aligner la distribution latente variational avec une distribution prior (inférence variationnelle).
Perte de Continuité ( $L_{cont}$ ) : Pour pénaliser les discontinuités entre l'état latent évolutif de l'événement $i$ et l'état initial de l'événement $i+1$ , assurant une trajectoire latente lisse.

3. Contributions Clés

Stratégie d'évolution à granularité événementielle : Le modèle modélise les dépendances temporelles complexes tout en préservant la cohérence structurelle globale du processus de Hawkes, en traitant chaque événement comme une étape distincte dans l'évolution continue.
Alignement sémantique bidirectionnel : L'interaction croisée améliore la capacité de représentation du modèle en reliant explicitement les trajectoires d'états continus aux représentations d'événements discrets.
Performance supérieure et interprétabilité : Le modèle démontre une précision de prédiction supérieure et offre des poids d'attention interprétables qui révèlent l'influence des événements passés sur le timing futur.

4. Résultats Expérimentaux

Le modèle a été évalué sur cinq jeux de données réels :

Taxi (NYC), Amazon (avis produits), StackOverflow (badges), Earthquake (séismes US), Retweet (Twitter).

Performances :

Précision Temporelle (RMSE) : NEXTPP obtient systématiquement le RMSE le plus bas sur tous les jeux de données, surpassant les modèles de pointe (SOTA) comme THP, NHP, et ODETPP. Par exemple, sur Amazon, le RMSE passe de 0.461 (meilleur SOTA) à 0.377.
Précision des Marques (Taux d'erreur) : Le modèle obtient les meilleurs résultats sur 3 des 5 jeux de données (Taxi, StackOverflow, Retweet).
Vraisemblance (Log-Likelihood) : NEXTPP atteint les scores de vraisemblance les plus élevés, indiquant un meilleur ajustement à la distribution empirique des événements grâce à la modélisation continue.

Études d'ablation :

L'ablation du module Neural ODE ou de l'Attention Croisée entraîne une dégradation significative des performances, confirmant que les deux voies sont essentielles.
Le remplacement de l'ODE par des RNN (GRU/LSTM) augmente l'erreur et réduit la vraisemblance, prouvant l'avantage de la dynamique temporelle continue fine.

Analyse de Granularité :

Les expériences montrent que diviser la séquence par événement unique (granularité fine) est supérieur aux mises à jour par blocs, car cela permet au solveur ODE de capturer les pics abrupts et les décroissances lisses intrinsèques à la dynamique des événements.

5. Signification et Impact

Ce travail est significatif car il résout un problème fondamental dans la modélisation des processus ponctuels : la séparation artificielle entre le temps continu et les types d'événements discrets.

Innovation Architecturale : NEXTPP propose une architecture hybride qui ne se contente pas d'empiler des couches, mais crée un dialogue explicite entre la dynamique temporelle (ODE) et la sémantique des événements (Attention).
Robustesse : Le modèle maintient des performances stables même avec des données d'entraînement limitées, là où les modèles basés sur des Transformers purs tendent à surajuster ou à échouer.
Applications : Cette approche ouvre la voie à une modélisation plus précise dans des domaines critiques comme la prévision de séismes, la détection de fraudes, la recommandation en temps réel et la surveillance médicale, où la relation entre le quand et le quoi est cruciale.

En résumé, NEXTPP établit un nouvel état de l'art en prouvant que l'intégration de la dynamique continue via les Neural ODEs, couplée à une interaction attentive avec les marques discrètes, permet une compréhension bien plus riche et prédictive des séquences d'événements complexes.