🤖 machine learning

TIDES: Implicit Time-Awareness in Selective State Space Models

Le papier propose TIDES, une variante du modèle à espace d'états sélectif qui préserve le sens physique de la discrétisation du temps pour la prise en charge native des séries temporelles irrégulières tout en maintenant une expressivité élevée par token en déplaçant la dépendance à l'entrée de la taille de pas vers la matrice d'état, atteignant ainsi des performances de pointe sur les benchmarks de séries temporelles.

Auteurs originaux : Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à comprendre une histoire, mais que cette histoire est racontée de manière très étrange. Parfois, le narrateur parle chaque seconde, parfois il attend cinq minutes, et parfois il saute des jours entiers. C'est ce qui se produit avec les données de séries temporelles irrégulières (comme le moniteur de fréquence cardiaque d'un patient qui ne bipe que lorsqu'un changement se produit, ou un capteur météorologique qui cesse de fonctionner pendant des heures).

Pour gérer cela, le robot a besoin de deux superpouvoirs :

Conscience du contexte : Il doit savoir ce qui se passe en ce moment pour décider s'il doit se souvenir du passé ou l'oublier. (Par exemple : « Oh, un arrêt cardiaque vient de se produire ? Mieux vaut que je me souvienne de cela ! » par opposition à « Juste un battement de cœur normal ? Je peux oublier le précédent. »)
Conscience du temps : Il doit comprendre combien de temps s'est écoulé entre les événements. (Par exemple : « Il s'est écoulé 5 secondes depuis le dernier bip » par opposition à « Il s'est écoulé 5 heures. »)

Le problème avec les robots précédents

L'article soutient que les deux meilleurs robots construits jusqu'à présent (appelés Mamba et S5) possèdent chacun l'un de ces superpouvoirs mais manquent l'autre.

Le robot « Mamba » : Ce robot excelle dans la conscience du contexte. Il peut examiner un mot ou un événement spécifique et décider : « Je dois prêter une attention particulière à cela ! » Cependant, pour ce faire, il traite le temps comme un nombre flexible et inventé. Il apprend un « faux temps » basé sur l'entrée.
- Le défaut : Si vous entraînez ce robot sur des histoires où les intervalles sont généralement de 1 minute, puis que vous lui demandez de lire une histoire avec des intervalles d'1 heure, il se perd. Il tente d'appliquer sa logique de « faux temps » à une situation qu'il n'a jamais rencontrée et échoue. C'est comme un chef qui a appris à cuisiner uniquement lorsque le minuteur indique « 5 minutes », mais qui, lorsque le minuteur indique « 5 heures », ne sait pas comment ajuster la chaleur.
Le robot « S5 » : Ce robot excelle dans la conscience du temps. Il traite le temps exactement comme une vraie horloge. Si 5 heures s'écoulent, il sait que 5 heures se sont écoulées, peu importe ce qui se passe.
- Le défaut : Il est trop rigide. Il traite chaque entrée de la même manière. Il ne peut pas dire : « Cet événement spécifique est important, donc je me le rappellerai plus longtemps. » C'est comme un robot qui compte les secondes parfaitement mais qui n'a pas de cerveau pour décider quoi vaut la peine d'être retenu.

La solution : TIDES

Les auteurs ont créé un nouveau robot appelé TIDES (Time-Implicit Decay and Eigenvalue Selectivity).

Pensez à TIDES comme à un chef hybride.

L'horloge (Temps) : TIDES conserve une horloge réelle et physique. Il ne falsifie jamais le temps. Si l'intervalle entre les événements est de 5 heures, le robot sait qu'il s'agit de 5 heures. Il n'essaie pas d'apprendre un « faux temps » à partir de l'entrée. Cela lui permet de gérer parfaitement des intervalles étranges et irréguliers, même s'il n'a jamais rencontré cette taille d'intervalle spécifique auparavant.
Le cerveau (Sélectivité) : Au lieu de falsifier le temps pour être intelligent, TIDES modifie ses paramètres de mémoire interne en fonction de l'entrée. Lorsqu'un événement majeur se produit, il dit à sa mémoire interne : « Ralentis le processus d'oubli pour cette information spécifique. » Lorsqu'un événement banal se produit, il dit : « Oublie cela rapidement. »

Le tour de magie :
Dans les modèles précédents, le robot tentait d'être intelligent en modifiant la vitesse de l'horloge (l'intervalle de temps). TIDES maintient la vitesse de l'horloge réelle et physique, mais modifie le taux de déclin de la mémoire (la vitesse à laquelle il oublie). De cette manière, il obtient le meilleur des deux mondes : il comprend le passage réel du temps et il sait quoi retenir.

Le test « Flash qui s'estompe »

Pour prouver que cela fonctionne, les auteurs ont inventé un jeu simple appelé « Flash qui s'estompe ».
Imaginez une rangée de 40 détecteurs de lumière.

Un flash se produit.
Le détecteur s'illumine puis s'estompe lentement.
La vitesse à laquelle il s'estompe dépend de la « zone » de la rangée dans laquelle il se trouve (Lente, Moyenne ou Rapide).
Le temps entre les flashs est aléatoire et irrégulier.

Les vieux robots : Le robot « S5 » n'a pas pu apprendre les différentes vitesses d'estompage pour les différentes zones. Le robot « Mamba » pouvait apprendre les vitesses, mais si vous modifiez le temps entre les flashs pour quelque chose qu'il n'avait pas vu lors de l'entraînement, il échoue complètement.
Le robot TIDES : Il a appris les différentes vitesses d'estompage pour chaque zone et il a fonctionné parfaitement même lorsque le temps entre les flashs était totalement nouveau et étrange.

Les résultats

Les auteurs ont testé TIDES sur des ensembles de données réels (comme des données de capteurs médicaux et des simulations biologiques).

Il est devenu le nouveau champion (State-of-the-Art) pour la classification des données de séries temporelles.
Il est devenu le nouveau champion pour la prédiction d'équations biologiques.
Crucialement, il ne s'est pas contenté d'avoir de la chance sur les données d'entraînement ; il a géré les données « hors distribution » (intervalles de temps étranges et inédits) bien mieux que ses concurrents.

Résumé

TIDES est un nouveau type d'IA qui cesse d'essayer de « falsifier » le temps pour être intelligent. Au lieu de cela, il maintient le temps réel et physique, mais rend sa mémoire flexible. Cela lui permet de gérer des données réelles désordonnées et irrégulières (comme des capteurs qui tombent en panne ou des dossiers médicaux qui arrivent en retard) sans se perdre lorsque le timing change.

Résumé Technique : TIDES – Conscience Temporelle Implicite dans les Modèles à Espace d'État Sélectifs

Énoncé du Problème

Les données séquentielles du monde réel, telles que les observations cliniques, les lectures de capteurs environnementaux et les événements financiers, sont rarement échantillonnées sur une grille régulière. Les modèles de séquences standards supposent souvent des pas de temps uniformes, les forçant soit à rééchantillonner les données (en perdant des informations temporelles), soit à enrichir les entrées avec des caractéristiques temporelles explicites.

Deux familles dominantes de Modèles à Espace d'État (SSM) abordent la modélisation de séquences mais font face à un compromis fondamental concernant les séries temporelles irrégulières :

SSM à temps continu (par exemple, S5) : Ils préservent le sens physique du pas de temps ( $\tilde{\Delta} \equiv \Delta$ ), leur permettant de gérer nativement des horodatages irréguliers en intégrant les dynamiques continues sur le temps écoulé réel. Cependant, ils sont typiquement Linéaires et Invariants dans le Temps (LTI), ce qui signifie que leurs dynamiques ne changent pas en fonction du contenu de l'entrée, limitant l'expressivité par token.
SSM Sélectifs (par exemple, Mamba) : Ils atteignent une forte expressivité par token en rendant le pas de discrétisation $\tilde{\Delta}$ et les matrices de projection ( $B, C$ ) dépendants de l'entrée. Cela permet au modèle d'adapter sa constante de temps effective token par token. Cependant, cette conception fait s'effondrer $\tilde{\Delta}$ d'un intervalle d'échantillonnage physique en une porte apprise. Par conséquent, le modèle perd sa gestion native de l'irrégularité temporelle ; pour traiter des données irrégulières, il doit traiter les deltas de temps comme des caractéristiques d'entrée explicites. L'article soutient que ce couplage indirect empêche le modèle d'extrapoler vers des régimes d'irrégularité (deltas de temps) non vus pendant l'entraînement.

Méthodologie : TIDES

Les auteurs proposent TIDES (Sélectivité des Valeurs Propres et Décroissance Implicite au Temps), une variante de SSM sélectif conçue pour concilier l'expressivité de Mamba avec la sémantique physique du temps de S5.

Principe de Conception Central

TIDES déplace la dépendance à l'entrée du pas de discrétisation ( $\tilde{\Delta}$ ) vers le générateur à temps continu (la matrice d'état $\Lambda$ et les projections $B, C$ ).

Conscience Temporelle Implicite : Le pas de temps $\tilde{\Delta}$ reste strictement physique ( $\tilde{\Delta} \equiv \Delta$ ), déterminé uniquement par les horodatages d'observation. Il n'est pas une fonction apprise de l'entrée.
Générateur Sélectif : La dépendance à l'entrée est appliquée à :
- $\text{Re}(\Lambda)$ : La partie réelle des valeurs propres (taux de décroissance) devient une fonction de l'entrée. Cela permet au modèle d'"oublier plus vite" ou de "retenir plus longtemps" en fonction du contenu, fournissant la sélectivité nécessaire.
- $B$ et $C$ : Les projections d'entrée et de sortie dépendent de l'entrée, permettant au modèle de filtrer le bruit et de moduler la lecture/écriture de l'état.
- $\text{Im}(\Lambda)$ : La partie imaginaire (fréquence d'oscillation) reste statique. Les auteurs soutiennent que la modulation de la fréquence par token manque d'une interprétation temporelle continue claire et constatent empiriquement que cela nuit aux performances.

Détails de l'Architecture

Initialisation : Le modèle s'initialise avec des biais dérivés de HiPPO pour $\Lambda, B, C$ et des poids de projection initialisés à zéro. Cela garantit que le modèle démarre à partir d'une récurrence LTI bien conditionnée et apprend la sélectivité comme une perturbation douce.
Projections de Rang Faible : Pour gérer le nombre de paramètres, les projections denses pour $B$ et $C$ sont factorisées en structures de rang faible ( $r \ll PH$ ).
Projecteurs Profonds : Le chemin d'entrée inclut des blocs d'Unité Linéaire à Porte (GLU) résiduels avant la projection finale pour introduire de la non-linéarité, similaire au prétraitement de Mamba.
Normalisation : RMSNorm est appliquée aux paramètres projetés ( $\text{Re}(\Lambda), B, C$ ) immédiatement avant la discrétisation pour stabiliser l'entraînement, empêchant des perturbations non bornées dans la récurrence.
Reparamétrisation Stable : $\text{Re}(\Lambda)$ est reparamétrisé (par exemple, via une exponentielle ou une application stable) pour garantir que les valeurs propres restent dans le demi-plan stable, empêchant des récurrences explosives quel que soit l'entrée.

Contributions Clés

Architecture : TIDES introduit une conception où la sélectivité réside dans le générateur à temps continu ( $\text{Re}(\Lambda), B, C$ ) tandis que le pas de discrétisation reste une quantité physique et implicite. Cela permet au modèle de gérer nativement des horodatages irréguliers sans sacrifier l'expressivité par token.
Analyse Mécanistique (Flash Fading) : Les auteurs introduisent un nouveau benchmark diagnostique, Fading Flash, qui isole deux modes d'échec :
- Rigidité LTI : L'incapacité de S5 à modéliser plusieurs taux de décroissance simultanément.
- Échec d'Extrapolation : L'incapacité des modèles de type Mamba à généraliser à des deltas de temps ( $\Delta$ ) hors de la distribution d'entraînement.
- TIDES est montré comme la seule architecture à surmonter les deux, maintenant des performances robustes sur des valeurs $\Delta$ non vues tout en capturant des dynamiques dépendantes de la zone.
Résultats Empiriques : TIDES atteint de nouveaux classements moyens de pointe (SOTA) sur :
- Classification de Séries Temporelles UEA : Surpassant LogNCDE, RFormer et autres bases de référence.
- Régression Physiome-ODE : Dépassant LinODEnet et autres modèles de prévision de séries temporelles irrégulières.

Résultats Expérimentaux

Fading Flash : Dans cette expérience contrôlée, S5 a échoué à capturer des décroissances dépendantes de la zone (faible expressivité), tandis que MambaS (un substitut de Mamba) a échoué à extrapoler vers des valeurs $\Delta$ de test-temps hors de la plage d'entraînement (dérive des taux de décroissance effectifs). TIDES a appris avec succès les taux de décroissance corrects pour toutes les zones et est resté robuste sur une large gamme de $\Delta$ de test-temps.
Ablation par Suppression Aléatoire : Sur le jeu de données EigenWorms avec suppression aléatoire de pas de temps, TIDES a maintenu une haute précision même à des taux de suppression extrêmes ( $r_{test}=0.9$ ) non vus pendant l'entraînement. En revanche, MambaS et RFormer se sont effondrés significativement à des taux de suppression élevés, confirmant que $\tilde{\Delta}$ dépendant de l'entrée ou des fenêtres de signature fixes échouent à généraliser aux régimes d'échantillonnage irréguliers.
Ablation sur $\text{Im}(\Lambda)$ : Rendre la partie imaginaire des valeurs propres dépendante de l'entrée n'a pas amélioré les performances et les a légèrement dégradées, soutenant le choix de conception de maintenir les fréquences d'oscillation statiques.

Importance et Revendications

L'article revendique que TIDES démontre que l'expressivité par token et la sémantique fidèle du temps physique sont compatibles, à condition que la dépendance à l'entrée soit acheminée via le générateur à temps continu plutôt que par le pas de discrétisation.

Les auteurs posent un principe de conception plus large pour les séquences échantillonnées irrégulièrement : maintenir la discrétisation et l'expressivité séparées. L'intervalle d'échantillonnage physique ne doit entrer dans le modèle que par l'intermédiaire de la règle analytique de discrétisation, tandis que l'expressivité doit résider dans le générateur à temps continu. Cette séparation permet aux modèles d'être simultanément expressifs et extrapolables vers des régimes d'échantillonnage non vus pendant l'entraînement.

L'article est modeste dans son ampleur, déclarant explicitement que TIDES est conçu pour les séries temporelles irrégulières (données cliniques, capteurs, simulations) et n'est pas présenté comme un remplacement général de Mamba pour des tâches sur grille régulière comme la modélisation du langage, où le rôle de la porte temporelle dépendante de l'entrée diffère. Le travail suggère que le principe de séparation de la gestion du temps et de l'expressivité peut s'étendre à d'autres architectures à temps continu, y compris les ODEs neuronales et les variantes d'attention à temps continu.