Résumé technique : Encodages fidèles de données irrégulières et asynchrones pour les Log-NCDE en ligne

Énoncé du problème

Les modèles d'apprentissage automatique en temps continu, tels que les Équations Différentielles Contrôlées par Réseaux de Neurones (NCDE) et les Log-NCDE, offrent un cadre naturel pour le traitement de données temporelles irrégulières, asynchrones et éparses. Cependant, un goulot d'étranglement critique de conception subsiste : comment encoder des observations discrètes dans un chemin en temps continu sans introduire d'artefacts.

Les approches standard reposent sur l'interpolation ou l'imputation pour reconstruire un chemin d'observation continu avant de l'alimenter dans le modèle. Comme illustré dans l'article, ces méthodes souffrent d'inconvénients majeurs :

• L'imputation comble les valeurs manquantes avec des données jamais observées en pratique.
• L'interpolation peut générer des valeurs en dehors de la plage observée des données ou imposer des dynamiques artificielles entre les mesures.
• Ces étapes de reconstruction introduisent un « comportement non observé » dans la représentation, contraignant le modèle à consommer des entrées potentiellement irréalistes.

L'article soutient qu'une représentation fidèle en temps continu devrait préserver uniquement les informations qui ont été effectivement observées, laissant la reconstruction du comportement non observé au processus de modélisation lui-même plutôt qu'au processus d'encodage.

Méthodologie

1. Fondement théorique : Encodages fidèles

Les auteurs formalisent le concept d'encodage fidèle. Ils démontrent un résultat de transfert d'universalité (Lemme 1) stipulant que si l'espace des données $X$ et l'espace d'entrée du modèle $P$ sont des espaces topologiques de Hausdorff, et que l'encodage $\phi: X \to P$ est continu et injectif, alors l'universalité d'un modèle en aval sur des sous-ensembles compacts de $P$ se transfère à l'espace des données original $X$.

Cela implique que pour les modèles universels tels que les NCDE et les Log-NCDE, l'encodage n'a pas besoin de reconstruire le chemin ; il doit simplement être une application continue et injective qui préserve la distinguabilité des flux de données distincts.

2. Encodage proposé : Chemin de contrôle Log-NCDE

S'appuyant sur le chemin de contrôle rectiligne introduit pour les NCDE par Morrill et al. [2022], les auteurs construisent un encodage fidèle spécifiquement pour les Log-NCDE. Contrairement aux NCDE standards qui utilisent des valeurs ponctuelles d'un chemin de contrôle, les Log-NCDE opèrent sur des signatures logarithmiques d'intervalles.

L'encodage proposé fonctionne comme suit :

• Représentation d'entrée : L'entrée consiste en un flux d'observations discrètes $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ et de variables observées en continu $C$ (par exemple, le temps).
• Encodage incrémental : Au lieu d'interpoler des valeurs, chaque observation est convertie en un incrément d'algèbre de Lie $\Delta_i$. Cet incrément capture :
  • Le changement de valeur pour chaque canal observé depuis sa dernière observation.
  • Un incrément dans une « coordonnée de comptage » dédiée pour distinguer une valeur répétée de l'absence d'une nouvelle observation.
  • Optionnellement, des informations locales d'ordre supérieur (par exemple, des aires signées précalculées) si disponibles.
• Composition d'intervalles : Pour tout intervalle de requête $[\alpha, \beta)$, l'encodage construit un facteur de signature $G_{\alpha, \beta}$ en composant :
  • Des facteurs de signature issus des variables observées en continu (par exemple, le temps) sur les écarts entre les événements.
  • Des facteurs exponentiels $E_i = \exp(\Delta_i)$ pour chaque événement discret se produisant dans l'intervalle.
• Extraction de signature logarithmique : La signature logarithmique d'intervalle $\Phi_{\alpha, \beta}$ est obtenue en appliquant le logarithme à la signature composée $G_{\alpha, \beta}$.

Cette construction permet un calcul en ligne et un traitement parallèle dans le temps via des balayages associatifs, car la signature logarithmique d'un intervalle dépend uniquement des observations jusqu'à la fin de cet intervalle.

3. Architecture du modèle : Log-SLiCE

Les auteurs implémentent cet encodage dans les Équations Différentielles Contrôlées Linéaires Structurées (SLiCE), spécifiquement la variante Log-SLiCE.

• L'évolution de l'état caché sur un intervalle est régie par une mise à jour Log-ODE pilotée par la signature logarithmique de l'intervalle.
• Pour les modèles linéaires, le flot d'intervalle possède une solution sous forme fermée impliquant des exponentielles de matrices de la signature logarithmique.
• Cette structure permet de calculer les états cachés à travers les intervalles en parallèle en utilisant un balayage associatif, réduisant considérablement la complexité computationnelle par rapport aux solveurs d'EDO séquentiels.

Contributions clés

1. Formalisation de l'encodage fidèle : L'article démontre que les encodages continus et injectifs transfèrent l'universalité de l'espace d'entrée du modèle vers l'espace des données, justifiant la suppression des étapes d'interpolation.
2. Construction d'un encodage novateur : Un encodage continu et injectif pour des flux irréguliers qui enregistre les observations sous forme de facteurs d'algèbre tensorielle (incréments) et les compose en signatures logarithmiques d'intervalles sans interpolation.
3. Implémentation efficace de Log-SLiCE : Un algorithme parallèle dans le temps pour les Log-NCDE exploitant la formulation de signature logarithmique d'intervalle, permettant un entraînement et une inférence efficaces sur de longues séquences.
4. Validation empirique : Expériences exhaustives démontrant la précision, l'efficacité et la robustesse face à l'irrégularité et à la parcimonie.

Résultats expérimentaux

1. Efficacité et précision (EigenWorms)

Sur le jeu de données EigenWorms (17 984 observations par série), la méthode Log-ODE combinée à Log-SLiCE (BD-SLiCE) a obtenu :

• Précision : 86,1 % de précision de test (contre 75,0 % pour les NCDE standards), soit une amélioration de 11,1 points de pourcentage.
• Vitesse : Réduction du temps par étape d'entraînement d'un facteur près de 3 000 (de 26,02 s à 0,009 s).
• Mémoire : Maintien d'une utilisation de la mémoire GPU comparable à celle des NCDE standards.

2. Généralisation à l'échantillonnage irrégulier (Données couplées synthétiques)

En utilisant un système sinusoïdal synthétique, les auteurs ont testé la généralisation inter-régimes.

• Les modèles entraînés sur des données asynchrones et éparse (le régime le plus difficile) sont restés robustes sur tous les autres régimes d'échantillonnage (synchrone régulier, synchrone irrégulier, asynchrone irrégulier).
• Les modèles entraînés sur des données régulières n'ont pas réussi à généraliser aux paramètres asynchrones et éparse, suggérant qu'ils avaient appris des raccourcis basés sur des grilles d'échantillonnage fixes.
• L'encodage fidèle a permis aux modèles d'apprendre la dynamique sous-jacente indépendamment de la grille d'observation.

3. Exploitation des informations d'ordre supérieur (Mouvement brownien)

Dans un système linéaire piloté par un mouvement brownien où la solution dépend de termes de crochet de Lie d'ordre deux (aire de Lévy) :

• Les modèles utilisant des signatures logarithmiques de niveau 2 (incluant des informations sur l'aire) ont obtenu une erreur quadratique moyenne (MSE) significativement plus faible que ceux utilisant uniquement le niveau 1 (incréments).
• L'approche a intégré avec succès des informations d'ordre supérieur précalculées, démontrant une flexibilité au-delà des incréments d'ordre un.

4. Robustesse à la suppression d'entrées (Benchmarks UEA)

Sur six jeux de données de classification de séries temporelles multivariées UEA, les auteurs ont simulé une suppression sévère d'entrées (jusqu'à 95 % des observations supprimées).

• BD-SLiCE avec l'encodage proposé a maintenu de hautes performances, ne chutant que de 64,0 % (sans suppression) à 62,5 % (95 % de suppression).
• Il a obtenu le meilleur rang moyen sur tous les niveaux de suppression, surpassant les bases récurrentes (S5, LRU, S6, Mamba) et les NCDE standards, en particulier sous une parcimonie sévère.

Importance et affirmations

L'article affirme que les représentations en temps continu devraient privilégier la préservation des données observées par rapport à la reconstruction du comportement non observé. En formalisant les « encodages fidèles » et en démontrant qu'ils préservent l'universalité des modèles en aval, les auteurs fournissent une justification théorique pour contourner l'interpolation.

La méthode proposée offre une alternative fidèle, en ligne et efficace aux encodages basés sur l'interpolation. Elle découple les temps d'échantillonnage des entrées des grilles de requête de sortie, prend en charge le calcul parallèle et démontre une robustesse supérieure face à l'irrégularité, l'asynchronie et la parcimonie des données. Les résultats suggèrent que pour les modèles universels en temps continu, la qualité de l'encodage réside dans sa capacité à encoder fidèlement les incréments et les intervalles observés, plutôt que dans sa capacité à deviner le chemin entre les observations.