🤖 AI

TRACE: A Temporal Conditional Estimation for Multimodal Time Series Foundation Models

L'article propose TRACE, un paradigme d'estimation conditionnelle pour les modèles de fondation de séries temporelles multimodales qui infère systématiquement les modalités cibles incomplètes à partir des modalités auxiliaires disponibles afin de remédier au désalignement temporel et à l'absence partielle de modalités, démontrant une robustesse et des performances supérieures sur les benchmarks de santé et d'informatique affective par rapport aux approches existantes.

Auteurs originaux : Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziwen Kan, Yishuo Chen, Kecheng Li, Andrew Wen, Xiaomeng Wang, Liwei Wang, Jihao Duan, Song Wang, Hongfang Liu, Tianlong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, mais chaque fois que vous regardez l'image, certaines pièces manquent, et les pièces que vous possédez sont éparpillées sur la table à différents moments. C'est la réalité quotidienne des ordinateurs qui tentent d'analyser des données de séries temporelles multimodales (comme le rythme cardiaque, la pression artérielle et les notes d'un médecin, ou une vidéo avec de l'audio, du texte et du visuel).

Dans le monde réel, les capteurs tombent en panne, les notes sont rédigées tardivement et les données arrivent à des vitesses différentes. Les modèles informatiques existants essaient généralement de corriger cela en devinant les pièces manquantes à l'aide de mathématiques simples (comme tracer une ligne droite entre deux points connus) ou en ignorant simplement les lacunes. L'article soutient que cela revient à essayer de compléter un puzzle en devinant la couleur d'une pièce manquante en se basant uniquement sur la pièce située juste à côté, en ignorant le reste de l'image.

Voici la décomposition simple de ce que propose l'article, TRACE :

1. Le Problème : Le « Puzzle Brisé »

Considérez les données de santé d'un patient comme une histoire racontée par trois narrateurs différents :

Narrateur A (Moniteur cardiaque) parle chaque seconde.
Narrateur B (Notes du médecin) ne parle que lorsque le médecin écrit quelque chose.
Narrateur C (Radiographies) ne parle que lorsqu'un examen est réalisé.

Parfois, le Narrateur B et le Narrateur C se taisent pendant une longue période. Les anciens modèles informatiques (comme FuseMoE) essaient de combler le silence en faisant une « meilleure supposition » basée sur la dernière chose qu'ils ont entendue. Mais cela crée souvent une histoire déformée car ils n'écoutent pas ce que le Narrateur A dit en ce moment même pour aider à combler les lacunes de B et C.

2. La Solution : TRACE (Le « Détective Intelligent »)

Les auteurs proposent TRACE, qui signifie Temporal Conditional Estimation (Estimation Temporelle Conditionnelle).

Au lieu de simplement deviner la pièce manquante de manière isolée, TRACE agit comme un détective qui utilise tous les indices disponibles pour reconstruire les parties manquantes de l'histoire.

L'analogie : Imaginez que vous essayez de vous souvenir de ce qu'un ami a dit lors d'une fête bruyante, mais que vous avez manqué quelques phrases. Au lieu de simplement deviner des mots au hasard, vous écoutez ce que l'ami a dit avant et après, et vous écoutez également ce que ses autres amis disaient au même moment pour combler les blancs.
Comment cela fonctionne : TRACE utilise une technique appelée Diffusion. Voyez cela comme un sculpteur qui commence avec un bloc d'argile (du bruit aléatoire) et qui retire lentement le bruit, guidé par les « indices » des autres narrateurs, jusqu'à ce qu'une forme claire et réaliste émerge. Il ne se contente pas de tracer une ligne ; il imagine la donnée manquante en fonction du contexte de tout ce qui est présent.

3. Le Processus en Deux Étapes

TRACE fonctionne en deux étapes distinctes, comme une équipe de deux personnes :

Étape 1 : L'Équipe de Reconstruction (Diffusion Conditionnelle)
Avant que l'équipe ne tente de résoudre le problème final, elle travaille d'abord ensemble pour « réparer » les données brisées. Si le moniteur cardiaque manque un morceau de données, l'équipe regarde les notes du médecin et les radiographies pour reconstruire de manière probabiliste (mathématiquement) ce à quoi ce morceau manquant ressemblait probablement. Ils ne le remplissent pas simplement avec un nombre statique ; ils créent un « nuage de possibilités » qui correspond au contexte.
Étape 2 : L'Équipe de Décision (Mélange d'Experts)
Une fois que les données sont « réparées », une seconde équipe (appelée Mélange d'Experts ou Mixture-of-Experts) examine l'image désormais complète pour faire une prédiction (comme prédire si un patient sera autorisé à sortir ou si une vidéo est joyeuse ou triste). Parce que les données sont plus propres et plus précises, cette équipe prend de meilleures décisions.

4. Ce Qu'Ils Ont Trouvé (Les Résultats)

Les chercheurs ont testé TRACE sur deux types de « puzzles » :

Analyse de Sentiment (CMU-MOSI/MOSEI) : Déterminer si un clip vidéo est positif ou négatif en se basant sur le texte, l'audio et la vidéo.
Prédiction de Santé (MIMIC-IV) : Prédire les résultats pour les patients (comme la mortalité ou la durée de séjour) en se basant sur les signes vitaux, les notes, les radiographies et les ECG.

Le Verdict :

Meilleure Précision : TRACE a systématiquement surpassé les modèles précédents. Dans les tests de santé, il était meilleur pour prédire les issues pour les patients.
Résilience : Plus les données étaient manquantes, plus TRACE excellait. Alors que les autres modèles s'effondraient lorsque les données étaient rares (manquant 30 % ou plus), TRACE gardait son sang-froid.
Plus Proche de la Réalité : L'article montre que les données « réparées » que TRACE crée sont beaucoup plus proches de la « vraie » réalité (ce qui se serait passé si tous les capteurs fonctionnaient parfaitement) que les simples suppositions faites par les autres modèles.

Résumé

En bref, TRACE change la façon dont les ordinateurs gèrent les données manquantes. Au lieu de dire : « Je vais simplement combler ce vide par une moyenne simple », il dit : « Laissez-moi regarder tout ce qui se passe d'autre en ce moment même pour reconstruire intelligemment ce qui manque. » Cela conduit à une image beaucoup plus claire du passé, ce qui aide l'ordinateur à faire des prédictions bien plus intelligentes sur l'avenir.

Résumé Technique : TRACE – Une Estimation Temporelle Conditionnelle pour les Modèles de Fondations de Séries Temporelles Multimodales

1. Énoncé du Problème

Les modèles de fondation de séries temporelles (TS-FM) visent à apprendre des représentations temporelles généralisables, adaptables à diverses tâches en aval. Cependant, les données multimodales de séries temporelles du monde réel, particulièrement dans des domaines comme la santé et l'informatique affective, souffrent fréquemment d'un désalignement temporel et d'une absence partielle de modalités. Dans ces scénarios, différentes modalités sont observées à des échelles temporelles hétérogènes, ou des modalités spécifiques sont partiellement absentes en raison d'un échantillonnage irrégulier ou de défaillances de capteurs.

Les approches existantes traitent généralement ces problèmes par une imputation naïve (par exemple, remplissage par zéro, remplissage par la valeur la plus proche) ou des stratégies de masquage avant la fusion. Les auteurs soutiennent que ces méthodes ne parviennent pas à prendre en compte les dépendances inter-modales. En complétant de manière déterministe les valeurs manquantes, les modèles existants provoquent l'effondrement de l'incertitude conditionnelle, ce qui peut fausser la dynamique temporelle et biaiser la fusion en aval. De plus, de nombreux TS-FM actuels traitent l'absence de données comme une étape de prétraitement plutôt que comme une variable temporelle latente à estimer conditionnellement, ce qui limite leur robustesse face à une forte parcimonie.

2. Méthodologie : TRACE

Les auteurs proposent TRACE (Temporal Conditional Estimation), un paradigme qui reformule la gestion des observations éparses et événementielles. Au lieu d'une complétion déterministe, TRACE traite les entrées de modalités manquantes comme des variables latentes à estimer conditionnellement à partir des modalités auxiliaires disponibles avant la fusion. L'architecture fonctionne selon un pipeline en deux étapes :

Étape 1 : Diffusion Multimodale Conditionnelle

Cette étape réalise une estimation probabiliste des composantes au niveau du signal.

Construction du Contexte Inter-modal : Pour une modalité cible $m$ , le modèle agrège les composantes observées des modalités auxiliaires ( $M \setminus \{m\}$ ) en utilisant un mécanisme de porte inspiré par le mélange d'experts (MoE). Une fonction de porte assigne des scores d'importance à chaque modalité auxiliaire basée sur leurs caractéristiques observées, produisant un contexte inter-modal pondéré $x^{(m)}_c$ .
Processus de Diffusion Conditionnelle : TRACE emploie un modèle de diffusion de débruitage conditionnel (basé sur DDPM) pour estimer les composantes non observées $x^{(m)}_U$ $x_{U}^{(m)}$ .
- Le processus est conditionné par la partie observée de la modalité cible $x^{(m)}_O$ et le contexte inter-modal agrégé $x^{(m)}_c$ .
- Un processus de bruitage direct ajoute un bruit gaussien uniquement aux composantes manquantes, tandis que les entrées observées restent fixes.
- Un processus de débruitage inverse, paramétré par un réseau de neurones $\epsilon_\theta$ , apprend à prédire le bruit et à reconstruire les valeurs manquantes de manière probabiliste, conditionnée par le contexte multimodal.
Entraînement : Le réseau de diffusion est entraîné à l'aide d'une stratégie de masquage auto-supervisée (inspirée de CSDI), où un sous-ensemble de valeurs observées est masqué et traité comme cible d'imputation, conditionné par les observations restantes et le contexte inter-modal.

Étape 2 : Fusion Multimodale et Prédiction

Une fois les composantes manquantes estimées de manière probabiliste, les représentations de modalités complétées sont transmises à une couche de fusion en aval.

Fusion MoE : TRACE adopte la couche de fusion MoE de FuseMoE. Cette couche utilise un mécanisme de porte parcimonieux pour router les représentations spécifiques aux modalités vers un pool partagé d'experts de type "feed-forward", les agrégeant en un embedding unifié pour les têtes de prédiction spécifiques à la tâche.
Régularisation : Un terme de régularisation basé sur l'entropie est ajouté à la perte pour encourager une utilisation équilibrée des experts et prévenir l'effondrement des experts.

3. Principales Contributions

Identification du Problème : Les auteurs identifient que la complétion déterministe des observations manquantes avant la fusion est un goulot d'étranglement critique dans les pipelines de TS-FM, entraînant souvent des représentations désalignées ou dégradées.
Paradigme TRACE : Ils proposent TRACE, un paradigme d'estimation conditionnelle pour les TS-FM multimodaux. Il est instancié via un mécanisme basé sur la diffusion pour l'estimation probabiliste du signal, exploitant explicitement le contexte multimodal complémentaire pour inférer les données manquantes.
Validation Empirique : À travers des expériences approfondies, les auteurs démontrent que TRACE améliore systématiquement les performances en aval sur divers ensembles de données et schémas d'absence de données, établissant l'estimation temporelle conditionnelle comme un levier efficace au niveau du système.

4. Résultats Expérimentaux

TRACE a été évalué sur trois benchmarks couvrant l'analyse de sentiment et la prédiction clinique : CMU-MOSI, CMU-MOSEI, et MIMIC-IV.

Analyse de Sentiment (CMU-MOSI/MOSEI) : TRACE a surpassé les lignes de base de l'état de l'art (incluant MulT, MAG, TFN et FuseMoE) sur toutes les métriques (MAE, Précision, Corrélation, F1). Notamment, il a obtenu une erreur de prédiction plus faible et une précision de classification plus élevée avec une variance réduite, indiquant une estimation inter-modale plus stable.
Prédiction Clinique (MIMIC-IV) : Sur des tâches incluant la mortalité intra-hospitalière à 48 heures (48-IHM), la durée de séjour (LOS) et la classification de phénotype (25-PHE), TRACE a obtenu les meilleures performances moyennes en AUROC et en scores F1, surpassant les bases comme FuseMoE, MISTS et HAIM (dans la plupart des métriques).
Robustesse à l'Absence de Données : Dans les études d'ablation et les expériences contrôlées d'absence de données, TRACE a démontré une robustesse supérieure à mesure que les taux d'absence augmentaient. Alors que l'imputation naïve (FuseMoE) entraînait des représentations dégradées sous une forte absence de données (ex: 30-50%), TRACE maintenait des représentations proches de la vérité terrain "oracle" (entièrement observée).
Études d'Ablation :
- Diffusion Conditionnelle : Supprimer le conditionnement inter-modal ou utiliser une diffusion inconditionnelle a considérablement réduit les performances, confirmant la nécessité de tirer parti des modalités auxiliaires.
- Routage MoE : Désactiver le routage adaptatif (en utilisant des poids fixes) a réduit les performances, soulignant l'importance de la sélection d'experts dépendante des données.
- Nombre d'Experts : Les performances ont atteint un sommet avec 5 experts dans le module de diffusion, avec des rendements décroissants ou une dégradation avec un nombre d'experts plus élevé dû à une supervision parcimonieuse.
Efficacité : TRACE nécessite environ 2,7 millions de paramètres. Bien que l'inférence soit plus lente que les bases déterministes en raison des étapes de diffusion, réduire le nombre d'étapes de 50 à 10 permet une accélération de 4x avec une perte de performance minimale, restant gérable pour les contextes cliniques où une réponse en temps réel strict n'est pas toujours requise.

5. Signification et Revendications

L'article affirme que TRACE répond à une limitation fondamentale de la modélisation actuelle des séries temporelles multimodales : le traitement de l'absence de données comme un problème de remplissage de valeurs statiques plutôt que comme une tâche d'estimation conditionnelle dynamique.

Changement de Paradigme : Ce travail déplace l'accent de "combler les lacunes" vers "l'estimation de variables latentes", préservant la structure probabiliste des données manquantes et tirant parti des dépendances inter-modales.
Fidélité de la Représentation : Les auteurs soutiennent que le principal avantage de TRACE n'est pas seulement l'amélioration de la précision de l'imputation point par point, mais la préservation de représentations temporelles significatives dans l'espace latent sous une forte absence de données. Cela permet aux couches de fusion en aval de fonctionner sur des données plus fidèles, conduisant à une meilleure robustesse.
Généralisabilité : Bien que l'instanciation actuelle se concentre sur des contextes où les modalités sont partiellement observées (absence intra-modalité), le cadre est conçu pour être un paradigme général pour les TS-FM. Les auteurs notent que pour des modalités entièrement absentes, le système repose sur la capacité du backbone à contourner les entrées manquantes, mais la contribution centrale réside dans l'affinement des représentations lorsque les données sont présentes mais éparses.
Limites : Les auteurs reconnaissent modestement que pour des tâches spécifiques dépendant fortement de biais inductifs spécifiques au domaine (ex: HAIM sur la classification de phénotype), des architectures spécialisées peuvent encore surpasser les cadres généraux. Ils suggèrent que combler cet écart via des priors de domaine légers au sein de TRACE est une direction pour les travaux futurs. Ils notent également que le champ actuel cible l'observation partielle plutôt que la génération de modalités entièrement absentes.

En conclusion, TRACE démontre qu'une estimation temporelle conditionnelle explicite via la diffusion est une stratégie supérieure à l'imputation naïve pour construire des modèles de fondation de séries temporelles multimodales robustes et généralisables.