🤖 machine learning

NEST: Nested Event Stream Transformer for Sequences of Multisets

L'article présente NEST, un Transformer de flux d'événements imbriqués qui préserve la structure hiérarchique des séquences d'événements (séquences de multi-ensembles) pour surmonter les inefficacités computationnelles et les limitations de représentation des modèles aplatis existants, en exploitant un nouveau paradigme de modélisation d'ensembles masqués afin d'améliorer à la fois l'efficacité du préentraînement et les performances en aval.

Auteurs originaux : Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre l'historique médical d'un patient, ou peut-être les habitudes d'achat d'un client. Dans le monde réel, ces événements ne se produisent pas un par un dans une ligne parfaite comme des perles sur un fil. Au contraire, ils se produisent par groupes.

À l'hôpital : Un médecin voit un patient (une « rencontre »). Au cours de cette visite, le patient peut subir une prise de sang, obtenir une ordonnance et recevoir un diagnostic, le tout en une seule fois. L'ordre exact de ces trois éléments peut ne pas avoir d'importance, ou les dossiers peuvent être désordonnés. Mais le groupe d'événements appartient à cette visite spécifique.
Dans un épicerie : Un client fait ses courses. Il met du lait, du pain et des œufs dans son panier. Ce « panier » est un groupe. L'ordre dans lequel il a pris les articles n'a pas d'importance ; c'est le panier dans son ensemble qui compte.

La plupart des modèles d'IA actuels (appelés Transformers) tentent d'aplatir ces groupes en une seule et longue ligne d'événements. Ils traitent le lait, le pain et les œufs comme s'ils s'étaient produits les uns après les autres, ignorant qu'ils faisaient partie du même trajet d'achat. C'est comme essayer de comprendre un film en regardant une liste de chaque image individuelle sans savoir quelles scènes appartiennent ensemble. C'est coûteux en calculs et manque souvent la vue d'ensemble.

Voici NEST (Nested Event Stream Transformer).

Les auteurs de cet article ont construit un nouveau modèle d'IA appelé NEST qui respecte ces groupes naturels. Voici comment cela fonctionne, en utilisant des analogies simples :

1. La Danse en Deux Étapes (L'Architecture)

Au lieu d'aplatir les données, NEST conserve les « groupes » (comme les visites à l'hôpital ou les paniers d'achat) intacts. Il utilise un processus astucieux en deux étapes à l'intérieur de chaque couche de son cerveau :

Étape A : La Réunion de Groupe (Encodeur par Ensemble) : D'abord, le modèle examine un groupe (par exemple, une visite à l'hôpital) et permet à tous les événements de ce groupe de se parler. Il détermine ce qui s'est passé à l'intérieur de cette visite. Pensez-y comme à une réunion d'équipe où chacun discute de ses tâches spécifiques.
Étape B : La Table Ronde Globale (Encodeur Inter-Ensembles) : Ensuite, le modèle examine les « capitaines » de chaque groupe (des tokens spéciaux appelés [CLS]). Ces capitaines se réunissent pour partager ce qui s'est passé dans leurs groupes respectifs avec le reste de la chronologie. Cela aide le modèle à comprendre comment la Visite A se rapporte à la Visite B.

Le Tour de Magie : La plupart des modèles font l'Étape A pour tous les groupes, puis l'Étape B pour tous les groupes. NEST les fait entrelacés. Il fait un peu d'Étape A, puis un peu d'Étape B, puis revient à l'Étape A.

Pourquoi cela compte : Imaginez une course de relais. Si vous courez toute la première étape avant de passer le témoin, vous risquez de perdre des informations en cours de route. NEST passe le témoin en arrière et en avant constamment. Cela garantit qu'aucun détail d'un événement spécifique n'est perdu lorsque le modèle tente de comprendre la vue d'ensemble. L'article prouve mathématiquement que ce « contournement » conserve plus d'informations vivantes que l'ancienne méthode.

2. Le « Rapport du Capitaine » (Modélisation d'Ensemble Masquée)

À l'ancienne, après que l'IA ait traité toutes les données, elle devait deviner comment résumer une visite entière en un seul score. C'était comme demander à un élève de résumer tout un chapitre de livre après l'avoir lu, mais ne lui donnant qu'un indice vague.

NEST introduit un nouveau jeu d'entraînement appelé Modélisation d'Ensemble Masquée (MSM).

Comment cela fonctionne : Le modèle se voit présenter un groupe d'événements (comme un panier d'achat), mais il doit deviner le contenu de ce groupe en se basant sur le token « Capitaine », tandis que les articles réels sont cachés.
Le Résultat : Cela force le token « Capitaine » à devenir un résumé parfait de l'ensemble du groupe. Au lieu d'avoir besoin d'un résumé désordonné et basé sur des suppositions plus tard, le modèle dispose déjà d'un résumé de haute qualité prêt à être utilisé pour toute tâche future.

3. Pourquoi C'est Mieux (Les Résultats)

Les auteurs ont testé NEST sur des données réelles :

Dossiers Médicaux (EHR) : Ils ont utilisé des données provenant d'hôpitaux (MIMIC-IV) et d'une base de données pédiatrique privée.
Achats : Ils ont utilisé des données d'épicerie (Instacart).

Les Constats :

Plus Rapide et Plus Léger : Parce que NEST respecte les groupes, il n'a pas à calculer les connexions entre chaque événement individuel. Il ne calcule que les connexions à l'intérieur d'un groupe et entre les capitaines de groupe. Cela le rend plus rapide et utilise moins de mémoire informatique que les anciens modèles, même s'il possède plus de « puissance cérébrale » (paramètres).
Prédictions Plus Intelligentes : NEST était meilleur pour prédire des choses comme :
- Un patient décédera-t-il pendant son séjour à l'hôpital ?
- Un patient sera-t-il réadmis dans les 30 jours ?
- Quels articles un client achètera-t-il ensuite ?
Aucun « Post-Traitement » Nécessaire : Parce que le modèle a appris à résumer les groupes pendant l'entraînement, il n'avait pas besoin d'utiliser des astuces heuristiques maladroites après l'entraînement pour comprendre les données. Les résumés étaient prêts à l'emploi.

Résumé

Pensez à NEST comme à un modèle qui comprend enfin que le contexte compte. Il sait qu'une prise de sang et une ordonnance données lors de la même visite à l'hôpital forment une équipe, et que cette équipe fait partie d'une histoire plus large de la vie du patient. En gardant ces groupes ensemble et en leur permettant de communiquer efficacement, NEST apprend plus vite, consomme moins d'énergie et fait de meilleures prédictions que les modèles qui tentent de forcer tout dans une seule et longue ligne.

Résumé Technique : NEST - Transformateur de Flux d'Événements Emboîté pour Séquences de Multisets

1. Énoncé du Problème

Les données de flux d'événements, telles que les Dossiers de Santé Électroniques (DSE) ou les historiques d'achats des utilisateurs, présentent souvent une structure hiérarchique où plusieurs événements coïncident au sein de fenêtres temporelles spécifiques (par exemple, une consultation clinique ou un panier d'achat). Cette structure est formellement définie comme une Séquence de Multisets (SeqSet). Dans ces séquences, l'ordre des événements au sein d'un ensemble (multiset) peut être inconnu, peu fiable ou sans pertinence, tandis que l'ordre temporel entre les ensembles est critique.

Les modèles de fondation (MF) existants pour les flux d'événements aplatis généralement cette hiérarchie en une séquence unidimensionnelle. Cette approche introduit deux limitations principales :

Inefficacité Computationnelle : L'aplatissement conduit à des mécanismes d'attention denses avec une complexité quadratique par rapport au nombre total de jetons, ignorant la parcimonie inhérente de la structure des données.
Qualité de la Représentation : Les modèles standards apprennent des représentations uniquement au niveau du jeton. Les représentations au niveau de l'ensemble (par exemple, l'état d'un patient après une consultation) ne sont récupérées que par un regroupement heuristique post-entraînement (par exemple, un regroupement moyen ou l'utilisation d'un jeton [CLS] sans supervision explicite), ce que des travaux antérieurs ont montré être sous-optimal. De plus, l'aplatissement force les modèles à apprendre des relations intra-ensemble fallacieuses qui peuvent ne pas exister.

2. Méthodologie

2.1 Architecture : Transformateur de Flux d'Événements Emboîté (NEST)

NEST est un Transformateur hiérarchique conçu spécifiquement pour les données SeqSet. Son innovation centrale est la composition entrelacée de deux types d'encodeurs distincts au sein de chaque couche, plutôt que de les empiler dans des phases séparées.

Encodeur par Ensemble (SWE) : Opère au sein de chaque multiset indépendamment. Il traite les jetons (événements) et un jeton [CLS] apprenable spécifique à cet ensemble. Le SWE impose une invariance par permutation sur les jetons intra-ensemble (sauf si des horodatages granulaires sont disponibles, auquel cas des Encodages de Position Rotatifs (RoPE) peuvent être appliqués). Il agrège les caractéristiques au niveau de l'ensemble dans le jeton [CLS].
Encodeur Inter-Ensembles (CSE) : Opère exclusivement sur la séquence de jetons [CLS] de tous les ensembles. Il modélise la dynamique temporelle entre les consultations en utilisant RoPE pour encoder les intervalles de temps inter-ensembles. Les états cachés des jetons non-[CLS] contournent le CSE.
Entrelacement et Contournement : Le SWE et le CSE sont entrelacés couche par couche ( $L$ couches au total). Crucialement, les états des jetons non-[CLS] sont propagés via des chemins de contournement autour des blocs CSE. Cela garantit que l'information au niveau du jeton n'est pas irrémédiablement perdue lors du passage du traitement au niveau de l'ensemble au traitement au niveau de la séquence.

Justification Théorique de l'Information : L'article soutient via la Proposition 1 que les conceptions séquentielles (empiler tous les SWE avant tous les CSE) violent l'Inégalité de Traitement des Données en jetant l'information au niveau du jeton à la frontière SWE-CSE. La conception entrelacée préserve cette information, permettant au modèle de revisiter les états bruts des jetons à la lumière du contexte inter-ensemble à chaque couche.

2.2 Objectif de Pré-entraînement : Modélisation de Multiset Masqué (MSM)

Pour compléter l'objectif standard de Modélisation de Langage Masqué (MLM), les auteurs introduisent la Modélisation de Multiset Masqué (MSM).

Mécanisme : Pendant le pré-entraînement, des multisets entiers (consultations) sont masqués avec une probabilité de 40 %. Au sein d'un ensemble masqué, tous les jetons non-spéciaux sont remplacés par [MASK].
Objectif : Le modèle doit prédire la distribution des jetons de l'ensemble masqué en utilisant la représentation du jeton [CLS].
Signification : Cela force le jeton [CLS] à agréger explicitement l'information au niveau de l'ensemble et à apprendre une représentation d'ensemble prête à l'emploi, éliminant ainsi le besoin d'un regroupement heuristique post-hoc. Cela complète le MLM, qui se concentre sur la contextualisation fine au niveau du jeton.

3. Contributions Clés

Primitif Architectural pour SeqSet : NEST est un modèle de fondation hiérarchique qui respecte les symétries opposées des données SeqSet : l'échangeabilité intra-ensemble et l'ordre temporel inter-ensemble.
Préservation de l'Information par Contournement : L'article caractérise comment les encodeurs entrelacés préservent l'information au niveau du jeton que les conceptions séquentielles rejettent, confirmé par une étude de simulation isolant la topologie.
Pré-entraînement au Niveau de l'Ensemble : La formulation du MSM, un objectif invariant par permutation qui entraîne explicitement le jeton [CLS] à prédire les distributions de jetons de multisets, une caractéristique absente des modèles de fondation DSE antérieurs.
Efficacité et Performance : NEST atteint une parcimonie structurée, réduisant la complexité de l'attention de $O(N^2)$ à $O(Nn + m^2)$ (où $N$ est le nombre total de jetons, $n$ la taille de l'ensemble, $m$ le nombre d'ensembles), conduisant à un débit plus élevé et à une utilisation mémoire inférieure par rapport aux bases d'attention denses.

4. Résultats Expérimentaux

Les auteurs ont évalué NEST sur trois jeux de données réels : Instacart (Recommandation du prochain panier), MIMIC-IV (Prédiction clinique DSE) et un DSE Institutionnel Propriétaire (Prédiction de risque pédiatrique).

Efficacité Computationnelle : Sur un seul GPU NVIDIA H200, NEST a démontré un débit nettement supérieur (90,46 k jetons/s) et une mémoire de pointe inférieure (34,9 GiB) par rapport aux modèles de type BERT et aux modèles d'attention approximative (par exemple, Longformer, Nyströmformer), malgré un nombre de paramètres plus élevé (~120M).
Performance en Aval :
- MIMIC-IV : NEST a obtenu des résultats à la pointe de l'état de l'art sur cinq tâches (mortalité des patients hospitalisés, réadmission à 30 jours, durée de séjour, classification par chapitre/catégorie ICD), surpassant des bases solides comme Hi-BEHRT, CORE-BEHRT et GT-BEHRT. Par exemple, NEST a atteint 95,57 % d'AUROC pour la prédiction de mortalité contre 93,80 % pour GT-BEHRT.
- Instacart : Bien que NEST seul soit compétitif avec BERT4Rec, la combinaison des représentations pré-entraînées de NEST avec un modèle conscient des répétitions (ReCANet) a surpassé toutes les bases en NDCG@10, indiquant une capture supérieure des dynamiques utilisateur-article.
- DSE Propriétaire : NEST a surpassé LightGBM et CORE-BEHRT sur les tâches de prédiction de risque pédiatrique (rAOM, TSA, réadmission à 30 jours) dans le cadre de sondages linéaires et d'un ajustement fin complet.
Études d'Ablation :
- Le retrait du CSE ou le remplacement du SWE par un regroupement moyen a considérablement dégradé les performances, confirmant la nécessité des deux encodeurs.
- Le mélange de l'ordre temporel des consultations au moment de l'ajustement fin a dégradé les performances au niveau du retrait du CSE, prouvant que le CSE encode une structure temporelle critique.
- L'objectif MSM a été montré pour améliorer l'apprentissage de la représentation au niveau de l'ensemble, les bénéfices résidant dans les représentations de l'encodeur plutôt que simplement dans la tête de tâche.

5. Signification et Revendications

L'article revendique que le biais inductif correct pour les modèles de fondation de flux d'événements est de refléter la structure d'ensemble imbriquée des données plutôt que de l'aplatir. En préservant les limites des multisets et en induisant une parcimonie structurée, NEST atteint un double avantage :

Efficacité : Il réduit les coûts computationnels associés à l'attention dense.
Qualité : Il produit des représentations au niveau de l'ensemble de haute qualité et directement utilisables sans regroupement post-hoc.

Les auteurs positionnent NEST comme une étape vers des modèles de fondation qui respectent les réalités structurelles des flux d'événements réels (comme la santé et le commerce) plutôt que de les forcer dans un paradigme de séquence plate. Ils notent explicitement des limitations, telles que l'accent mis sur l'apprentissage de représentations discriminatives plutôt que sur la modélisation générative de trajectoires, et la nécessité d'une validation inter-domaine supplémentaire au-delà de la santé et de la vente au détail.