Résumé Technique : Avancées dans les Processus Ponctuels Temporels : Approches Bayésiennes, Neurales et par LLM

Définition du Problème

Les processus ponctuels temporels (Temporal Point Processes - TPP) sont des modèles stochastiques conçus pour caractériser des séquences d'événements se produisant en temps continu. Contra\à des séries temporelles synchrones, les séquences d'événements (par exemple, les pics neuronaux, les ordres financiers, les publications sur les réseaux sociaux) sont asynchrones, présentent souvent des dynamiques d'auto-excitation ou d'inhibition complexes, et peuvent dépendre de l'intégralité de l'historique des événements passés. Le défi central de la recherche sur les TPP réside dans la modélisation de la fonction d'intensité conditionnelle $\lambda^*(t)$, qui définit la probabilité qu'un événement se produise à l'instant $t$ étant donné l'historique $H_{t^-}$.

Bien que les TPP statistiques traditionnels (par exemple, les processus de Poisson, les processus de Hawkes) offrent une interprétabilité, ils reposent souvent sur des hypothèses paramétriques rigides qui limitent leur expressivité sur des ensembles de données complexes. Inversement, les avancées récentes dans l'apprentissage profond et les grands modèles de langage (LLM) offrent une plus grande flexibilité mais introduisent des défis concernant la quantification de l'incertitude, l'efficacité computationnelle en temps continu et l'intégration du contexte sémantique. Cette étude répond au besoin d'une revue complète de ces paradigmes évolutifs, en se concentrant spécifiquement sur la période allant de 2020 à 2025.

Méthodologie et Taxonomie

L'article organise les avancées récentes des TPP en trois cadres méthodologiques principaux : les approches Bayésiennes, Neurales et basées sur les LLM.

1. TPP Non Paramétriques Bayésiens

Ce cadre dépasse les formes paramétriques fixes en traitant la fonction d'intensité elle-même comme une variable aléatoire à dimensions infinies, typiquement modélisée à l'aide de processus gaussiens (GP).

• Processus de Poisson : L'intensité $\lambda(t)$ est modélisée comme $l \circ g(t)$, où $g(t)$ suit un processus a priori GP et $l(\cdot)$ est une fonction de lien (par exemple, exponentielle, sigmoïde). L'inférence est difficile en raison de la nature « doublement intractale » de la distribution a posteriori (intégrales sur le temps et l'espace fonctionnel). Les solutions incluent la méthode de Monte Carlo par chaînes de Markov (MCMC) avec des points d'amincissement latents, les approximations de Laplace (utilisant des méthodes de Kronecker ou spectrales) et l'inférence variationnelle (VI).
• Processus de Hawkes : L'intensité conditionnelle se compose d'une base $\mu(t)$ et d'une fonction de déclenchement $\phi(\tau)$. Les approches non paramétriques bayésiennes placent des GP sur ces deux composantes. Une technique clé implique des variables latentes de branchement (indiquant si un événement est un événement de fond ou déclenché par un événement précédent) pour découpler la vraisemblance en processus de Poisson indépendants, permettant l'utilisation de méthodes standards d'inférence GP (par exemple, échantillonnage de Gibbs, algorithmes EM, VI). Des travaux récents utilisent également l'augmentation de données de Pólya-Gamma pour obtenir une conjugaison conditionnelle.

2. TPP Neuraux

Les TPP neuraux exploitent des architectures d'apprentissage profond pour modéliser l'encodage de l'historique et la distribution conditionnelle du prochain événement. L'étude catégorise ces approches en trois familles architecturales :

• TPP Neuraux Récurrents : Utilisent des RNN, LSTM ou GRU pour mettre à jour un état caché $h_n$ séquentiellement à chaque événement. Bien qu'efficaces pour la prédiction ($O(1)$), ils souffrent de goulots d'étranglement lors de l'entraînement séquentiel ($O(N)$) et de difficultés à capturer les dépendances à long terme. Les intégrations récentes avec les modèles d'espace d'état (par exemple, S4, Mamba) visent à répondre à ces limites.
• TPP Neuraux Autorégressifs : Emploient des architectures Transformer avec des mécanismes d'auto-attention pour capturer les dépendances à long terme et permettre un entraînement parallèle. Ces modèles encodent les temps d'événements et les marques dans des plongements (embeddings) et utilisent des scores d'attention pour générer des représentations d'historique. Cependant, ils induisent généralement une complexité d'entraînement quadratique ($O(N^2)$) et une complexité de prédiction linéaire ($O(N)$), à moins d'être optimisés avec le cache KV.
• TPP Neuraux basés sur des Équations Différentielles : Ces modèles (par exemple, Neural ODE/SDE) définissent l'évolution de l'état caché de manière continue entre les événements. L'état évolue de façon fluide via une Neural ODE et présente des sauts aux instants des événements via une Neural SDE. Cela permet une modélisation flexible de la fonction d'intensité sur des intervalles continus, surmontant les limitations temporelles discrètes des RNN et Transformers, bien qu'au prix d'une intégration numérique coûteuse lors de l'entraînement.
• TPP basés sur la Diffusion : Un nouveau paradigme qui traite la génération de séquences d'événements comme un processus de débruitage. Contrairement aux modèles autorégressifs, les modèles de diffusion génèrent l'ensemble de la séquence (ou plusieurs événements futurs) simultanément, ce qui pourrait atténuer l'accumulation d'erreurs lors de la prévision à long horizon, bien qu'ils soient confrontés à des défis concernant la cohérence temporelle et le coût computationnel.

Stratégies de Paramétrage : L'article souligne que les TPP neuraux peuvent paramétrer la distribution du prochain événement via :

1. La fonction d'intensité conditionnelle ($\lambda^*$) : Nécessite une intégration numérique pour l'estimation du maximum de vraisemblance (MLE).
2. La fonction de densité conditionnelle ($f$) : Modélisation « sans intensité » ; évite l'intégration, permettant un échantillonnage efficace.
3. L'intensité cumulée ($\Lambda^*$) ou la distribution ($F$) : Reformule la log-vraisemblance pour utiliser des dérivées plutôt que des intégrales, améliorant l'efficacité de l'entraînement via la différenciation automatique.

3. TPP basés sur les LLM

Ce domaine émergent intègre les modèles de langage de grande taille pour gérer les aspects sémantiques et multimodaux des séquences d'événements.

• TPP inspirés par les LLM : Utilisent des mécanismes de LLM (par exemple, apprentissage par prompt, raisonnement abductif) pour améliorer les TPP neuraux conventionnels. Les exemples incluent PromptTPP pour l'apprentissage continu et LAMP pour le raisonnement causal.
• Intégration Directe LLM-TPP : Traite le LLM comme le modèle de séquence central. Les événements sont tokenisés (temps, type, texte) et injectés directement dans le LLM. TPP-LLM utilise des descriptions textuelles pour les événements, tandis que Language-TPP encode les intervalles de temps continus comme des tokens de niveau octet, permettant au LLM de modéliser conjointement le temps et la sémantique.
• Extensions : Des travaux récents étendent les TPP aux benchmarks multimodaux (par exemple, DanmakuTPPBench) impliquant du texte, de la vidéo et des horodatages, ainsi qu'aux tâches de génération augmentée par la récupération.

Contributions Clés

1. Taxonomie Complète : L'article fournit une revue structurée des TPP à travers les paradigmes bayésien, neural et LLM, mettant à jour le domaine au-delà de 2020. Il souligne spécifiquement le domaine sous-étudié des TPP non paramétriques bayésiens et le domaine naissant des TPP basés sur les LLM.
2. Synthèse Méthodologique : Il détaille les compromis entre différentes approches de modélisation (par exemple, expressivité vs coût computationnel, temps discret vs continu) et les stratégies de paramétrage (basées sur l'intensité vs la densité).
3. Analyse de l'Entraînement et de l'Évaluation : La revue compare les objectifs d'entraînement (MLE, distance de Wasserstein, estimation de contraste de bruit, divergence de Fisher) et discute de l'absence de benchmarks standardisés, soulignant les efforts récents tels que EasyTPP et DanmakuTPPBench.
4. Revue des Applications : Elle revisite les applications classiques (prédiction d'événements, découverte causale) à travers divers domaines comme la finance, l'épidémiologie et les neurosciences, notant comment les méthodes modernes améliorent les bases traditionnelles.

Résultats et Aperçus Empiriques

L'article synthétise les conclusions empiriques de la littérature existante plutôt que de présenter de nouveaux résultats expérimentaux :

• Performance : Les TPP neuraux, particulièrement les modèles basés sur les Transformers, surpassent généralement les modèles paramétriques classiques (par exemple, Hawkes) sur des ensembles de données à grande échelle et complexes pour la prédiction du prochain événement.
• Efficacité : Les modèles paramétrant la densité conditionnelle ou la fonction d'intensité cumulée atteignent souvent une meilleure efficacité d'entraînement et une précision comparable aux modèles basés sur l'intensité en évitant l'intégration numérique.
• Limitations : La prédiction à long horizon reste un défi pour toutes les classes ; les méthodes autorégressives souffrent d'une accumulation d'erreurs, tandis que les méthodes non autorégressives (diffusion) peinent avec la cohérence temporelle.
• Impact des LLM : Les approches basées sur les LLM montrent un potentiel dans les tâches nécessitant une compréhension sémantique ou un raisonnement multimodal, mais ne dominent pas nécessairement les benchmarks de prédiction purement temporels.

Signification et Directions Futures

L'article affirme sa pertinence en tant que ressource opportune faisant le pont entre la rigueur statistique (méthodes bayésiennes), la flexibilité de l'apprentissage profond (méthodes neurales) et la compréhension sémantique (LLM). Il souligne que le domaine passe de la simple modélisation des probabilités d'occurrence des événements à la compréhension de données d'événements indexées temporellement et riches en contexte.

Défis Identifiés :

• Données et Benchmarks : L'absence de jeux de données standardisés et de protocoles d'évaluation empêche une comparaison équitable.
• Interprétabilité : Les TPP neuraux agissent souvent comme des boîtes noires, rendant difficile la découverte causale et l'aide à la décision.
• Scalabilité : La modélisation en temps continu combinée à de longues séquences crée des goulots d'étranglement computationnels (par exemple, $O(N^2)$ pour l'attention, coûts d'intégration numérique).
• Efficacité de l'Échantillonnage : Générer des séquences d'événements valides reste plus coûteux que l'évaluation de la vraisemblance.
• Intégration Multimodale : Aligner efficacement les représentations temporelles continues avec des modalités discrètes et de haute dimension (texte, images) reste un problème ouvert.

Les auteurs concluent que les progrès futurs dépendront de l'intégration de la rigueur statistique avec la flexibilité neurale et les capacités linguistiques, afin de répondre aux enjeux de scalabilité et d'interprétabilité pour permettre des applications plus larges dans des contextes multimodaux du monde réel.