🤖 machine learning

From Jumps to Signatures: a Generative Method for Temporal Point Processes

Cet article introduit sigTPP, un nouveau modèle génératif pour les processus ponctuels temporels qui comble le fossé entre les séquences d'événements discrets et l'analyse de trajectoires continues en utilisant un plongement d'inter-arrivée pour étendre les méthodes de signature, permettant ainsi un entraînement global au niveau de la trajectoire et une évaluation distributionnelle mathématiquement justifiée.

Auteurs originaux : Niels Cariou-Kotlarek, Vasileios Lampos

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Niels Cariou-Kotlarek, Vasileios Lampos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Prédire l'imprévisible

Imaginez que vous essayiez d'apprendre à un ordinateur à comprendre une séquence d'événements qui se produisent à des moments aléatoires. Il ne s'agit pas de simples « événements » ; ce sont des choses comme des tremblements de terre, des tweets, des transactions boursières ou des personnes qui s'enregistrent à l'hôtel. En mathématiques, nous appelons cela des processus ponctuels temporels (TPP - Temporal Point Processes).

Le problème est que ces événements sont désordonnés. Ils surviennent par « sauts » (soudainement, un tweet apparaît), et non par une ligne fluide et continue. La plupart des modèles d'IA actuels tentent d'apprendre ces séquences en examinant un événement à la fois, comme si l'on essayait de comprendre un film en ne regardant que des images individuelles. Ils passent souvent à côté de l'image globale : comment toute l'histoire s'articule ensemble.

Cet article présente une nouvelle façon d'apprendre à l'IA à comprendre ces séquences d'événements en regardant l'histoire entière d'un seul coup, en utilisant un outil mathématique appelé Signature.

Le problème : L'escalier contre la rampe

Pour comprendre la solution proposée par l'article, il faut comprendre le problème de l'ancienne méthode.

L'escalier désordonné (Les données) : Les données d'événements du monde réel ressemblent à un escalier. Elles restent à plat, puis sautent soudainement, puis restent à plat, puis sautent à nouveau. En mathématiques, on appelle cela des trajectoires càdlàg (un mot savant pour dire « avec des sauts »).
La rampe lisse (L'outil) : L'outil mathématique que les auteurs veulent utiliser, appelé Signature, est comme un scanner de haute technologie qui fonctionne mieux sur des surfaces lisses et glissantes (des trajectoires continues). Il ne peut pas scanner un escalier directement ; il est perturbé par les angles vifs.
L'ancienne approche de l'IA : Les anciens modèles d'IA essayaient d'apprendre l'escalier en examinant chaque marche individuellement. Ils demandaient : « Étant donné la dernière marche, quelle est la suivante ? » C'est comme essayer d'apprendre une chanson en n'écoutant qu'une seule note à la fois. Vous pourriez connaître les notes, mais vous manqueriez la mélodie et le rythme de la chanson entière.

La solution : L'« Interarrival Embedding » (Plongement d'inter-arrivée)

Les auteurs ont inventé une astuce ingénieuse pour rendre l'escalier compatible avec le scanner lisse. Ils appellent cela l'Interarrival Embedding.

L'analogie : Transformer un escalier en rampe
Imaginez que vous avez un escalier escarpé (les données d'événements). Vous voulez le scanner avec un appareil qui ne fonctionne que sur des rampes lisses.

L'astuce : Au lieu de scanner les marches, vous tracez une ligne droite et lisse reliant les angles des marches.
Le résultat : Vous avez maintenant une rampe lisse (une trajectoire continue) qui représente parfaitement l'escalier d'origine.
Pourquoi cela fonctionne : Cette nouvelle rampe contient toutes les mêmes informations que l'escalier (le nombre de marches, leur largeur), mais elle est désormais assez lisse pour être lue par le scanner « Signature ».

Cela permet aux auteurs d'utiliser l'outil Signature sur des données d'événements désordonnées et saccadées pour la première fois.

Le nouveau modèle : SIGTPP

En utilisant cette astuce de la « rampe », ils ont construit un nouveau modèle d'IA appelé SIGTPP.

L'ancienne méthode (Apprentissage local) : Les anciens modèles étaient comme des étudiants mémorisant des fiches de révision. « Si l'événement A se produit, alors l'événement B suit généralement. » Ils optimisent le modèle un événement à la fois.
SIGTPP (Apprentissage global) : SIGTPP est comme un chef d'orchestre écoutant tout l'orchestre. Il regarde toute la séquence d'événements comme une seule grande image. Il utilise la « Signature » de la rampe lisse pour mesurer à quel point l'histoire générée par l'IA est similaire à la véritable histoire.
L'objectif : Au lieu de simplement viser la note suivante, SIGTPP essaie de générer une chanson entière qui ressemble exactement à l'originale, capturant ainsi le rythme et la structure à long terme.

L'évaluation : Comment savoir si cela fonctionne ?

Les auteurs ont réalisé que la manière habituelle de tester ces modèles était erronée.

Le piège du « Pointwise » (Point par point) :
Habituellement, les gens testent ces modèles en demandant : « À quel point votre prédiction était-elle proche de l'heure réelle du prochain événement ? »

La faille : Imaginez un robot déterministe qui prédit toujours l'heure moyenne d'un événement. Il pourrait être très précis en moyenne (faible erreur), mais il est ennuyeux et se trompe à chaque fois car il ne capture jamais la variété ou l'aspect aléatoire de la vie réelle. C'est comme un présentateur météo qui prédit toujours « 21°C ». Il a souvent raison, mais il n'est pas un bon modèle de la météo.

La nouvelle méthode (Métriques de distribution) :
Les auteurs ont créé de nouveaux tests qui vérifient si l'IA capture la forme complète de l'aléatoire.

Distance d'Énergie et Distance de Wasserstein : Considérez cela comme la comparaison de deux nuages de points de données. Est-ce que les événements générés par l'IA ressemblent au même « nuage » que les événements réels ? Ont-ils la même dispersion, les mêmes regroupements et les mêmes motifs à longue portée ?
La Distance de Signature : Elle mesure si l'« empreinte digitale » de l'histoire de l'IA correspond à l'empreinte digitale de l'histoire réelle.

Les résultats : Un nouveau champion

Les auteurs ont testé SIGTPP sur 9 ensembles de données (4 synthétiques et 5 réelles comme les séismes, les trajets de taxis et les questions sur Stack Overflow).

Le vainqueur : SIGTPP a systématiquement battu les autres modèles de pointe (comme les modèles de diffusion, les VAE et les GAN).
Le score : En moyenne, SIGTPP était le meilleur ou très proche du meilleur dans 64 % des tests.
L'amélioration : Lorsqu'ils ont examiné l'ampleur de l'amélioration, SIGTPP a surpassé les modèles précédents de plus de 19 % en moyenne.
L'idée clé : Alors que les autres modèles étaient bons pour deviner l'événement suivant, SIGTPP était bien meilleur pour capturer la structure entière de la séquence. Il ne s'est pas contenté de trouver les bonnes notes ; il a trouvé la bonne mélodie.

Résumé

Cet article résout un problème mathématique où des données « saccadées » ne s'adaptaient pas à des outils « lisses ».

Ils ont inventé une façon de transformer des sauts en rampes lisses (Interarrival Embedding).
Ils ont utilisé cela pour construire une IA (SIGTPP) qui apprend toute l'histoire d'un seul coup, plutôt que de se concentrer uniquement sur le chapitre suivant.
Ils ont prouvé que cette nouvelle IA crée des séquences d'événements plus réalistes et structurées que n'importe quelle méthode précédente, surtout lorsqu'on regarde l'image globale plutôt que des moments isolés.

L'article conclut que pour véritablement comprendre les séquences d'événements, nous devons cesser de regarder les événements individuels et commencer à regarder la forme de l'ensemble du voyage.

Résumé technique : Des sauts aux signatures : une méthode générative pour les processus ponctuels temporels

Énoncé du problème

Les processus ponctuels temporels (TPP) modélisent des événements discrets se produisant dans un temps continu, sous-tendant des applications en finance, en sismologie et en santé. Bien que les réseaux de neurones TPP (NTPP) aient fait progresser le domaine grâce à des réseaux de neurones expressifs, ils font face à deux limitations principales :

Objectifs d'entraînement : Les méthodes prévalentes optimisent des pertes locales, par événement (par exemple, la maximisation de la log-vraisemblance). Celles-ci se décomposent en sommes de pertes conditionnelles, échouant à fournir un signal global pour les propriétés structurelles telles que l'autocorrélation, les dépendances à longue portée et les distributions de synchronisation conjointes.
Métriques d'évaluation : L'évaluation standard repose sur la log-vraisemblance négative (NLL) ou des métriques ponctuelles (par exemple, l'erreur absolue moyenne). Celles-ci sont peu sensibles à la structure globale de la séquence, peuvent masquer l'effondrement de mode (mode collapse) et favorisent souvent des prédictions sous-dispersées. De plus, les mesures de divergence distributionnelle existantes (comme MMD ou les distances de Wasserstein) manquent de justification théorique sur l'espace des chemins de comptage (fonctions en escalier càdlàg).

Un écart théorique important existe : les signatures de chemins rugueux (rough path signatures), qui offrent des applications de caractéristiques universelles et des garanties de déterminisme pour les chemins continus de variation bornée, ne peuvent pas être directement appliquées aux TPP car les trajectoires d'échantillons des TPP sont discontinues (càdlàg), violant ainsi les hypothèses de continuité requises pour la modélisation générative basée sur les signatures.

Méthodologie : SIGTPP

Le papier propose SIGTPP, un cadre génératif basé sur les signatures qui comble le fossé entre les séquences d'événements discrets et la théorie des chemins continus. La méthodologie se compose de quatre composantes centrales :

1. L'incorporation des intervalles interarrivées ( $\Phi$ )

Pour appliquer les méthodes de signature aux sauts discrets, les auteurs introduisent un levage (lift) stable et injectif de l'espace des chemins de comptage ( $\mathcal{N}$ ) vers l'espace des chemins continus de variation bornée ( $\mathcal{C}$ ).

Mécanisme : Pour un chemin de comptage $\eta$ avec des temps d'événements $t_k$ , l'incorporation construit une fonction continue par morceaux linéaire $x = \Phi(\eta)$ . La valeur de la fonction à chaque temps d'événement $t_k$ est fixée à l'intervalle interarrivée $\tau_k = t_k - t_{k-1}$ .
Augmentation temporelle : La signature est calculée sur la courbe augmentée par le temps $t \mapsto (t, \Phi(\eta)_t)$ dans $\mathbb{R}^2$ . Cela encode à la fois les temps absol[] des événements et les durées interarrivées, supprimant les composantes arborescentes pour garantir que la signature est injective.
Garantie théorique : Le papier prouve que $\Phi$ est Lipschitz continue et injective. Sous des hypothèses de séparation mineures (temps interarrivée minimum $\delta > 0$ ), l'application inverse est Hölder continue, garantissant que les divergences dans l'espace incorporé reflètent de véritables divergences dans l'espace original des chemins de comptage.

2. Perte de signature globale

Au lieu d'optimiser les densités conditionnelles par événement, SIGTPP optimise une perte globale sur des trajectoires complètes.

Fonction de perte : Le modèle minimise la distance Signature-Wasserstein-1 (Sig-W1) entre les signatures tronquées attendues des chemins générés et les chemins de données observés.
Optimisation : La perte est définie comme la distance $\ell_2$ entre les signatures tronquées attendues :
$\text{Sig-W}^{(M)}_1(\mu_\theta, \nu) := \left\| \mathbb{E}_{N_\theta \sim \mu_\theta} [S_M(\Phi(N_\theta))] - \mathbb{E}_{N \sim \nu} [S_M(\Phi(N))] \right\|_2^2$
Cela remplace le discriminateur adversaire des GAN par une métrique directe sur l'algèbre tensorielle, évitant l'instabilité de l'entraînement.

3. Métriques d'évaluation

Les auteurs dérivent trois divergences de distribution théoriquement fondées pour évaluer les TPP génératifs, toutes basées sur la métrique de chemin $d_N(\eta, \xi) = \int_0^{T_{max}} |\eta_t - \xi_t| dt$ :

Distance d'Énergie (E) : Une métrique induite par la propriété de type négatif de l'espace $L_1$ .
Distance de Wasserstein-1 (W1) : Élève la métrique de chemin vers une métrique distributionnelle.
Signature-Wasserstein-1 (Sig-W1) : Utilise les signatures attendues comme mesure de divergence, valide grâce à l'injectivité de $\Phi$ .

4. Architecture du modèle

SIGTPP est implémenté comme un générateur autorégressif à 1 étape utilisant un LSTM à une seule couche. Il prédit les logarithmes des temps interarrivées conditionnés par l'état de l'historique, le temps cumulé actuel et le bruit exogène.

Contributions clés

Incorporation des intervalles interarrivées : Une application (mapping) nouvelle, stable et injective qui permet d'appliquer les méthodes de signature aux séquences d'événements discrets (chemins càdlàg).
Modèle SIGTPP : Le premier modèle génératif basé sur les signatures pour les TPP, entraîné via une perte globale au niveau du chemin plutôt que des pertes conditionnelles locales.
Cadre théorique : Preuves établissant la continuité de Lipschitz et la bijectivité de l'incorporation, ainsi que la dérivation de divergences de distribution mathématiquement valides (E, W1, Sig-W1) sur l'espace des chemins de comptage.
Analyse d'évaluation : Une démonstration que les métriques ponctuelles (MAE/MSE) échouent à évaluer la qualité générative, favorisant souvent des régresseurs déterministes qui ignorent la variation distributionnelle.

Résultats expérimentaux

Le modèle a été évalué sur 4 jeux de données synthétiques (Poisson, Poisson inhomogène, Hawkes univarié, Hawkes multivarié) et 5 jeux de données du monde réel (Séismes, Stack Overflow, Taobao, Taxi, Yelp).

Performance : SIGTPP a obtenu le meilleur rang moyen sur 8 métriques complémentaires. Il a surpassé ou égalé les bases les plus fortes (VAE, DDPM, WGAN) dans 64 % des paires jeu de données-métrique.
Amélioration relative : Selon une métrique de score relatif, SIGTPP s'est amélioré par rapport à chaque base d'au moins 19 % en moyenne.
Fidélité distributionnelle : SIGTPP a nettement surpassé les bases sur les métriques de divergence au niveau du chemin (E, W1, Sig-W1), montrant un meilleur alignement avec la loi temporelle conjointe.
Compromis : Bien que SIGTPP excelle dans la structure globale, il est légèrement moins performant sur le score de probabilité classé continu (CRPS) par rapport aux modèles de diffusion (DDPM) et aux VAE. Les auteurs attribuent cela au fait que les objectifs de niveau chemin privilégient l'alignement distributionnel global sur la calibration conditionnelle locale.
Métriques ponctuelles : La base déterministe (DETER) a obtenu les meilleurs scores MAE/MSE, confirmant que les erreurs ponctuelles ne mesurent pas la qualité générative ou la fidélité distributionnelle.

Signification et affirmations

Le papier affirme fournir un « cadre de chemin commun » qui unifie la génération et l'évaluation des TPP. Sa principale signification réside dans :

Extension des signatures aux événements discrets : Adaptation réussie de la théorie des chemins rugueux aux processus càdlàg via l'incorporation des intervalles interarrivées.
Global vs Local : Démonstration que l'optimisation d'une perte de signature globale produit une meilleure fidélité structurelle (autocorrélation, dépendances à longue portée) que la maximisation traditionnelle de la vraisemblance par événement.
Rigueur de l'évaluation : Établissement du fait que les métriques ponctuelles standard sont insuffisantes pour les TPP génératifs et fourniture d'une suite de divergences de distribution théoriquement justifiées (E, W1, Sig-W1) comme standard d'évaluation.

Les auteurs reconnaissent des limites, notamment le coût computationnel des signatures de haut degré, la nature artificielle du levage par interpolation linéaire, et le caractère préliminaire des bornes théoriques. Cependant, ils affirment que le cadre offre une alternative robuste pour modéliser des dépendances temporelles complexes où la structure globale est critique.