In-Context Learning of Temporal Point Processes with Foundation Inference Models

Ce papier présente le FIM-PP, un modèle fondé sur l'apprentissage en contexte et préentraîné sur des données synthétiques pour inférer les processus ponctuels temporels marqués (MTPP) à partir de données réelles sans réentraînement, atteignant des performances comparables aux modèles spécialisés.

L'essentiel

🌟 Le Concept : Le "Super-Détective" des Événements

Imaginez que vous essayez de prédire l'avenir, mais pas n'importe quel avenir. Vous voulez prédire quand et quoi va se passer dans un flux d'événements désordonnés.

• C'est comme prédire le prochain tweet viral, la prochaine panne de taxi, ou la prochaine maladie dans une épidémie.
• En langage scientifique, on appelle cela un Processus Ponctuel Temporel Marqué (MTPP).

Jusqu'à présent, pour prédire ces événements, les scientifiques devaient construire un nouveau modèle spécifique pour chaque situation. C'était comme si vous deviez apprendre à conduire une nouvelle voiture à chaque fois que vous changiez de modèle de véhicule. C'était long, coûteux et inefficace.

🚀 La Révolution : Le "Cerveau Pré-Entraîné"

Les auteurs de ce papier (David Berghaus et son équipe) ont eu une idée géniale : et si on créait un seul "Super-Cerveau" capable de comprendre n'importe quel type d'événement, sans avoir besoin de réapprendre de zéro ?

Ils ont créé FIM-PP (Foundation Inference Model for Point Processes). Voici comment cela fonctionne, avec une analogie simple :

1. L'Entraînement dans le "Jardin d'Éden" (Données Synthétiques)

Au lieu d'entraîner le modèle sur des données réelles (qui sont rares et spécifiques), ils l'ont entraîné dans un monde virtuel infini.

• L'analogie : Imaginez un chef cuisinier qui ne cuisine jamais pour de vrais clients, mais qui passe des années à tester des millions de combinaisons d'ingrédients dans un laboratoire. Il a goûté à des plats épicés, sucrés, acides, avec des textures étranges, des ingrédients qui n'existent pas dans la nature, etc.
• Le résultat : Ce chef a développé une intuition incroyable. Il comprend les règles fondamentales de la cuisine (comment les saveurs interagissent, comment la chaleur transforme les aliments).

2. L'Apprentissage "In-Context" (Le Contexte)

C'est la partie la plus magique. Quand on présente un nouveau problème réel au modèle (par exemple, prédire les retweets d'un utilisateur), on ne lui donne pas juste une question. On lui donne un contexte.

• L'analogie : C'est comme si vous demandiez à ce chef cuisinier : "Voici 500 recettes de plats que j'ai mangés hier (le contexte). Maintenant, regardez ce que je mange en ce moment (l'historique) et devinez ce que je vais manger dans 5 minutes."
• Le modèle utilise ces exemples passés (le contexte) pour "deviner" instantanément les règles du jeu, sans avoir besoin de réapprendre la recette. C'est ce qu'on appelle l'apprentissage en contexte (In-Context Learning).

3. Le Résultat : Zéro-Shot et Fine-Tuning

• Mode "Zéro-Shot" (Sans entraînement supplémentaire) : Le modèle arrive sur un nouveau dataset (comme les données de taxis de New York) et dit : "Ah, je vois le schéma ! Je connais ça, c'est comme tel type de processus que j'ai vu dans mon jardin virtuel." Il prédit très bien, presque aussi bien que les experts spécialisés, sans avoir touché à un seul paramètre.
• Mode "Fine-Tuning" (Ajustement rapide) : Si on veut qu'il soit encore meilleur, on lui montre juste quelques exemples réels. C'est comme donner au chef une recette spécifique de sa grand-mère. Il l'adapte en quelques minutes (au lieu de jours) et devient imbattable.

🧠 Pourquoi c'est important ?

1. Gain de temps et d'argent : Plus besoin de former un modèle pendant des jours pour chaque nouvelle application. Un seul modèle pré-entraîné suffit pour tout.
2. Polyvalence : Que ce soit pour la finance, la santé, les réseaux sociaux ou le trafic, le même "cerveau" s'adapte.
3. Compréhension profonde : Le modèle ne fait pas que prédire des chiffres ; il essaie de comprendre la "mécanique" derrière les événements (est-ce que cet événement en provoque un autre ? Est-ce que c'est une période calme ?).

🎯 En Résumé

Imaginez que vous avez un oracle universel.

• Avant : Pour prédire la météo, il fallait un expert en météo. Pour prédire le trafic, un expert en trafic.
• Avec FIM-PP : Vous avez un seul expert qui a lu tous les livres de l'univers sur la façon dont les événements se succèdent. Si vous lui montrez quelques exemples de votre situation actuelle, il comprend instantanément la logique et vous dit ce qui va se passer ensuite.

C'est une étape majeure vers des modèles de fondation (Foundation Models) pour les données temporelles, rendant l'intelligence artificielle beaucoup plus flexible et accessible pour prédire le futur, événement par événement.

Résumé technique

1. Problématique et Contexte

Le papier aborde la modélisation des processus ponctuels temporels marqués (MTPP - Marked Temporal Point Processes). Ces processus sont utilisés pour modéliser des séquences d'événements asynchrones et irréguliers, accompagnés de catégories (marques), tels que les retweets, les transactions financières, ou l'activité neuronale.

Le défi principal : Les approches neuronales actuelles pour l'inférence de MTPP nécessitent généralement l'entraînement d'un modèle spécialisé et distinct pour chaque système cible. Cela implique de réapprendre les représentations dynamiques pour chaque nouvel ensemble de données, ce qui est coûteux en temps et en ressources, et manque de transférabilité.

L'objectif : Développer un modèle fondation (Foundation Model) capable d'inférer les fonctions d'intensité conditionnelle de n'importe quel MTPP à partir de données contextuelles, sans nécessiter d'entraînement spécifique préalable (mode zero-shot) ou avec un ajustement rapide (fine-tuning).

2. Méthodologie : FIM-PP

Les auteurs proposent FIM-PP (Foundation Inference Model for Point Processes), une architecture basée sur l'apprentissage par contexte (in-context learning) et l'inférence amortie.

A. Génération de Données Synthétiques (Pré-entraînement)

Pour entraîner un modèle généraliste, les auteurs ne se basent pas uniquement sur des données réelles, mais génèrent un vaste ensemble de données synthétiques :

• Distribution a priori large : Ils définissent une famille de fonctions d'intensité conditionnelle couvrant divers types de processus (Hawkes classiques, Poisson, processus périodiques, processus à excitation initiale élevée, etc.).
• Diversité des interactions : Les noyaux d'interaction sont paramétrés pour inclure des effets excitatoires, inhibiteurs et neutres, avec des formes variées (exponentielles, Rayleigh, lois de puissance).
• Tâche d'apprentissage : Le modèle est pré-entraîné sur des millions d'événements simulés provenant de 72 000 processus différents. L'objectif est d'apprendre à estimer l'intensité conditionnelle réelle (vérité terrain) à partir d'un contexte de séquences d'événements.

B. Architecture du Modèle

FIM-PP utilise une architecture Transformer hiérarchique :

1. Encodage du Contexte : Un ensemble de séquences d'événements (le contexte) est encodé indépendamment par un encodeur Transformer. Chaque séquence est résumée en un vecteur d'embedding unique. Ces vecteurs sont ensuite combinés par un second encodeur pour former une représentation globale du contexte.
2. Encodage de l'Histoire (Query) : L'historique des événements d'une séquence cible (jusqu'à un temps $t$) est encodé et sert de requête (query) dans un décodeur Transformer.
3. Mécanisme d'Attention : Le décodeur utilise l'encodage du contexte comme clés et valeurs (keys et values) pour pondérer l'information pertinente issue des autres séquences.
4. Paramétrisation de l'Intensité : La sortie du décodeur est combinée avec l'encodage de la marque de l'événement pour prédire les paramètres d'une fonction d'intensité paramétrée (forme similaire à un processus de Hawkes, mais avec des paramètres appris dynamiquement : base $\mu$, amplitude $\alpha$, et taux de relaxation $\beta$).

C. Stratégie d'Inférence

• Zero-shot : Le modèle pré-entraîné est appliqué directement à de nouvelles données réelles sans aucun ajustement des poids.
• Fine-tuning : Le modèle peut être rapidement ajusté sur un petit ensemble de données cibles (train split) pour capturer des motifs spécifiques, en utilisant les autres séquences du jeu de données comme contexte.

3. Contributions Clés

1. Premier Modèle Fondation pour les MTPP : Introduction de FIM-PP, le premier modèle capable d'inférer des intensités conditionnelles de processus ponctuels marqués en mode zero-shot grâce à un pré-entraînement sur des données synthétiques.
2. Cadre de Génération de Données Synthétiques : Développement d'un générateur de données capable de produire une distribution large et diversifiée de processus ponctuels (incluant des noyaux non monotones et des intensités de base variables), servant de prior robuste pour l'apprentissage.
3. Architecture Transformer Adaptée : Conception d'un mécanisme d'attention hiérarchique qui traite efficacement les séquences multiples comme contexte, permettant une mise à l'échelle et une généralisation supérieures aux méthodes séquentielles classiques.
4. Performance et Efficacité : Démonstration qu'un seul modèle pré-entraîné peut égaler ou surpasser des modèles spécialisés sur plusieurs jeux de données réels, avec un temps de fine-tuning négligeable (quelques minutes).

4. Résultats Expérimentaux

Les auteurs ont évalué FIM-PP sur cinq jeux de données réels standards (TAXI, TAOBAO, STACKOVERFLOW, AMAZON, RETWEET) et comparé les résultats à des modèles de pointe (CDiff, Dual-TPP, NHP, etc.).

• Prédiction Multi-Événements (Horizon long) :
  • En mode zero-shot, FIM-PP atteint des performances compétitives, rivalisant avec des modèles spécialisés entraînés de zéro sur les mêmes données.
  • En mode fine-tuned, FIM-PP surpasse systématiquement tous les modèles de base sur la plupart des métriques (OTD, RMSE des temps d'attente, erreur de comptage d'événements) et sur tous les jeux de données.
• Prédiction du Prochain Événement :
  • Le modèle excelle dans la prédiction du temps du prochain événement.
  • La précision de la prédiction de la marque (type d'événement) est initialement inférieure en mode zero-shot sur des données présentant des motifs très spécifiques (ex: alternance stricte entre deux marques), mais s'améliore considérablement après un rapide fine-tuning.
• Généralisation : Le modèle démontre une capacité à généraliser à des types de noyaux non vus lors de l'entraînement (ex: noyaux de type loi de puissance), prouvant la robustesse de la paramétrisation apprise.
• Efficacité : Le fine-tuning prend quelques minutes et nécessite moins de 11 Go de mémoire GPU, contrairement à l'entraînement de modèles de base qui peut prendre plusieurs heures.

5. Signification et Impact

Ce travail marque une étape importante dans l'application des modèles fondation aux systèmes dynamiques.

• Changement de Paradigme : Il démontre qu'il est possible de passer d'une approche "un modèle par tâche" à une approche "un modèle pour tous", où la connaissance des dynamiques temporelles est acquise via un pré-entraînement massif sur des données synthétiques.
• Accessibilité : La capacité de fine-tuning rapide rend cette technologie accessible aux utilisateurs disposant de ressources computationnelles limitées.
• Interprétabilité : Contrairement aux approches purement génératives (comme les modèles de diffusion), FIM-PP estime directement les fonctions d'intensité, conservant ainsi une certaine interprétabilité physique des dynamiques sous-jacentes (taux d'excitation, relaxation, etc.).
• Limites et Perspectives : Les auteurs reconnaissent que la distribution de pré-entraînement, bien que large, ne couvre pas tous les motifs du monde réel (notamment certaines structures d'alternance rigides). Les travaux futurs viseront à élargir cette distribution et à intégrer des méthodes sans intensité (intensity-free) dans ce cadre d'apprentissage amorti.

En résumé, FIM-PP établit un nouvel état de l'art pour la modélisation des processus ponctuels temporels, offrant une solution flexible, efficace et performante pour la prédiction d'événements dans des domaines variés allant de la finance à la santé.