🤖 machine learning

FADTI: Fourier and Attention Driven Diffusion for Multivariate Time Series Imputation

Le papier introduit FADTI, un cadre basé sur la diffusion pour l'imputation de séries temporelles multivariées qui améliore la généralisation sous des taux de données manquantes élevés et des décalages de distribution en intégrant un module de projection de biais de Fourier apprenable avec l'auto-attention et la convolution à porte pour injecter des biais inductifs explicites dans le domaine fréquentiel.

Auteurs originaux : Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Runze Li, Hanchen Wang, Wenjie Zhang, Binghao Li, Yu Zhang, Xuemin Lin, Ying Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de terminer un puzzle, mais que quelqu'un a arraché de gros morceaux de l'image. Certaines pièces manquent de manière aléatoire (comme quelques étoiles éparpillées), tandis que d'autres fois, des sections entières du ciel ont disparu. Votre objectif est de deviner à quoi ressemblaient ces pièces manquantes en vous basant sur les indices restants.

C'est exactement ce que fait FADTI, mais au lieu d'un puzzle, il répare des flux de données brisés (comme des rapports météorologiques, des fréquences cardiaques ou des capteurs de trafic) où l'information est manquante.

Voici comment l'article explique cette solution en termes simples :

Le Problème : L'effet « Disque Rayé »

La plupart des programmes informatiques actuels tentent de combler les données manquantes en regardant les voisins immédiats. C'est comme essayer de deviner le mot suivant dans une phrase en ne regardant que le mot qui précède immédiatement.

Le problème : Si un capteur tombe en panne pendant une longue période (un « long intervalle »), ces programmes s'embrouillent. Ils essaient souvent de combler l'intervalle par une ligne plate ou une supposition aléatoire, ce qui ruine le rythme naturel des données.
Le problème de fréquence : Certains programmes tentent d'analyser la « musique » des données (leurs motifs et leurs cycles). Mais si vous essayez d'analyser la musique d'une chanson qui comporte de gros morceaux de silence, l'ordinateur s'embrouille. Il pense que le silence fait partie de la chanson, créant ainsi un son distordu et bruyant.

La Solution : FADTI (L'« Architecte Musical »)

Les auteurs ont construit un nouveau système appelé FADTI (Fourier and Attention Driven Diffusion). Considérez-le comme un architecte intelligent qui ne se contente pas de regarder les briques à côté du trou, mais qui écoute toute la chanson que le bâtiment est censé chanter.

Voici les trois astuces principales utilisées par FADTI :

1. L'« Oreille Fantôme » (Projection de Biais de Fourier)

C'est la plus grande innovation de l'article.

Comment ça marche : Au lieu d'essayer d'analyser directement les parties brisées ou silencieuses des données (ce qui provoque des distorsions), FADTI observe les parties saines des données pour apprendre le « rythme » ou la « fréquence » de toute l'histoire.
L'analogie : Imaginez que vous essayiez de terminer une chanson, mais que le micro s'est cassé au milieu. Un ordinateur normal essaie de deviner les notes manquantes en regardant le silence. FADxi, cependant, écoute le reste de la chanson pour comprendre la « forme » de la mélodie. Il projette ensuite cette « forme » (le biais de fréquence) sur la partie manquante comme un guide. Il dit à l'ordinateur : « Ne te contente pas de deviner ; rappelle-toi que cette chanson monte et descend habituellement en une onde fluide, alors remplis l'intervalle avec cette onde. »
Les outils : Ils utilisent trois « oreilles » différentes pour écouter ce rythme :
- DFT : Écoute toute la chanson à la fois (bon pour les rythmes réguliers).
- STFT : Écoute de courts extraits de la chanson (bon pour les rythmes qui changent au fil du temps).
- FrSST : Une oreille ultra-précise capable d'entendre des rythmes complexes et oscillants que les autres oreilles manquent.

2. L'« Équipe d'Attention » (Auto-attention)

Pendant que l'« Oreille Fantôme » gère le rythme, FADTI utilise également un Mécanisme d'Attention.

L'analogie : Imaginez une équipe de détectives. Certains détectives regardent la chronologie (ce qui s'est passé hier par rapport à aujourd'hui), tandis que d'autres regardent les relations entre différentes variables (par exemple, si la température augmente, l'humidité diminue-t-elle ?).
FADTI combine ces détectives. Il examine l'historique à long terme et les relations entre différents capteurs simultanément pour faire une supposition intelligente.

3. Le « Sculpteur de Débruitage » (Modèle de Diffusion)

Enfin, FADTI utilise un Modèle de Diffusion.

L'analogie : Imaginez un sculpteur partant d'un bloc d'argile bruyant et plein de statique. Le sculpteur ne sculpte pas la forme finale instantanément. Au lieu de cela, il retire lentement le bruit, étape par étape, affinant la statue jusqu'à ce que les pièces manquantes émergent clairement.
FADTI commence par une supposition aléatoire pour les données manquantes et « débruite » progressivement l'ensemble, en utilisant le guide rythmique (de l'étape 1) et les indices des détectives (de l'étape 2) pour sculpter la forme la plus précise possible.

Pourquoi est-ce meilleur ? (Les Résultats)

L'article a testé FADTI sur plusieurs ensembles de données réels, notamment :

Données énergétiques (consommation d'électricité).
Données météorologiques (température, humidité).
Données de trafic (vitesse des voitures).
Données de levure (un nouvel ensemble de données biologiques suivant la croissance des cellules).

Les conclusions :

Précision : FADTI a comblé les pièces manquantes plus précisément que n'importe quelle autre méthode, surtout lorsque de grands blocs de données manquaient (jusqu'à 50 % des données disparues !).
Gestion du chaos : Il était particulièrement efficace pour gérer les données « non stationnaires » — des données dont le rythme change au fil du temps (comme un rythme cardiaque qui s'accélère ou une tempête qui change de direction).
Efficacité : Bien qu'il effectue des calculs mathématiques complexes, il peut générer des résultats de haute qualité avec moins de « suppositions » (échantillons) que les méthodes précédentes, ce qui le rend plus rapide en pratique.

Résumé

En bref, FADTI est une nouvelle façon de réparer les données brisées. Au lieu de simplement regarder les voisins immédiats ou de s'embrouiller face au silence, il écoute la « musique » de l'ensemble du jeu de données pour comprendre le rythme sous-jacent. Il utilise ensuite ce rythme pour guider un processus de sculpture étape par étape, comblant les lacunes avec une forme qui s'intègre parfaitement au reste de l'histoire.

Résumé Technique : FADTI – Diffusion pilotée par Fourier et l'Attention pour l'imputation de séries temporelles multivariées

1. Définition du Problème

L'imputation de séries temporelles multivariées (MTSI) traite le problème omniprésent des valeurs manquantes dans des domaines tels que la santé, la prévision du trafic et la modélisation biologique. Ces lacunes proviennent de défaillances de capteurs, de pertes de communication et d'échantillonnages irréguliers. Bien que les méthodes existantes, particulièrement les modèles basés sur les Transformers (ex: SAITS) et les modèles basés sur la diffusion (ex: CSDI), aient amélioré la modélisation des dépendances temporelles et l'estimation de l'incertitude, elles font face à une limitation critique : la distorsion de fréquence.

Les approches actuelles reposent souvent lourdement sur la modélisation dans le domaine temporel. Lorsque l'on applique des techniques du domaine fréquentiel directement à des entrées masquées ou remplies de zéros, les positions manquantes sont traitées comme des valeurs de signal réelles. Cette projection naïve distord le spectre estimé, faisant en sorte que les caractéristiques de fréquence soient dominées par les artefacts d'absence plutôt que par la dynamique temporelle sous-jacente. Par conséquent, la récupération de motifs périodiques à long terme ou de lacunes temporelles structurées sous une forte parcimonie reste un défi.

2. Méthodologie : Le cadre FADTI

Les auteurs proposent FADTI (Fourier and Attention Driven Diffusion), un cadre de diffusion conditionnelle conçu pour intégrer un biais inductif du domaine fréquentiel dans le processus de débruitage sans estimer directement les spectres à partir d'entrées corrompues.

Architecture Centrale

FADTI suit un pipeline de diffusion conditionnelle où le processus inverse est conditionné sur les valeurs observées ( $x^{co}_0$ ) et le masque d'observation ( $m$ ). Le réseau de débruitage se compose de blocs résiduels empilés qui combinent trois composants clés :

Modélisation Temporelle-Fréquentielle : L'innovation centrale, le module Fourier Bias Projection (FBP).
Attention de Caractéristiques : Capture les dépendances inter-variables.
Filtrage à Porte (Gated Filtering) : Met à jour efficacement les représentations résiduelles.

Le Module Fourier Bias Projection (FBP)

Contra-irement à une projection de Fourier directe sur des entrées masquées, le FBP injecte un biais apprenable sensible à la fréquence dans les états cachés intermédiaires du réseau de débruitage. Le processus fonctionne comme suit :

Décomposition : Les états cachés intermédiaires ( $H$ ) sont séparés en une tendance lisse ( $H_{trend}$ ) et un résidu haute fréquence ( $H_{res}$ ) via un pooling moyen 1D.
Transformation Spectrale : Un opérateur spectral $F_\nu(\cdot)$ $F_{ν} (\cdot)$ est appliqué par canal à ces composants. Le papier instancie cela avec trois transformations :
- DFT (Transformée de Fourier Discrète) : Capture la périodicité globale et les tendances stables.
- STFT (Transformée de Fourier à Fenêtre Courte) : Capture les motifs de fréquence localisés et variables dans le temps.
- FrSST (Transformée de Fourier Fractionnaire à Fenêtre Courte basée sur le Synchrosqueezing) : Affine les structures temps-fréquence non stationnaires.
Injection de Biais : Les coefficients spectraux complexes sont projetés sur des bases cosinus et sinus fixes pour conserver l'information d'amplitude et de phase. Ceux-ci sont remappés vers l'espace des caractéristiques temporelles pour former un biais apprenable ( $H_{freq}$ ).
Intégration : Ce biais sensible à la fréquence est fusionné avec les caractères originaux et injecté dans l'auto-attention temporelle ou les convolutions dilatées à porte, guidant le réseau pour préserver les tendances lisses et les structures périodiques.

Entraînement et Inférence

Entraînement : Le modèle est entraîné en utilisant un objectif de correspondance de score de débruitage masqué. Un masque conditionnel ( $M^{co}$ ) est échantillonné à partir du masque d'observation pour révéler les valeurs au modèle, tandis qu'un masque cible ( $M^{ta}$ ) cache les valeurs initialement observées pour fournir la supervision. La perte est calculée uniquement sur les entrées cibles supervisées.
Inférence : Les entrées manquantes sont initialisées avec un bruit gaussien. Le modèle applique de manière itérative le processus de diffusion inverse, en se conditionnant sur les valeurs observées fixes, pour générer des imputations probabilistes.

3. Principales Contributions

Le papier présente quatre contributions principales :

Cadre FADTI : Un cadre de diffusion conditionnelle sensible à la fréquence qui intègre le biais inductif du domaine de Fourier directement dans le processus de débruitage, répondant au défi des motifs d'absence structurés.
Module FBP Flexible : Un nouveau module supportant les instanciations DFT, STFT et FrSST. Cela permet une modélisation adaptative des structures temporelles stationnaires et non stationnaires sans dépendre de spectres corrompus issus d'entrées masquées.
Modélisation Temporelle Efficace : L'incorporation d'un module de modélisation locale léger (convolution à porte) pour compléter les dépendances d'attention globale, réduisant ainsi la charge de calcul.
Évaluation Complète : Expérimentations approfondies sur plusieurs jeux de données de référence, incluant un nouveau jeu de données de séries temporelles biologiques (Yeast), démontrant des améliorations constantes de la précision, de l'estimation de l'incertitude et de l'efficacité de l'échantillonnage.

4. Résultats Expérimentaux

Les auteurs ont évalué FADTI sur trois jeux de données réels : ETT (Énergie), Weather (Météorologie) et Yeast (Biologie), sous des schémas de données manquantes ponctuelles et temporelles à des taux de 10 % et 50 %.

Précision (MAE) : FADTI a obtenu l'erreur absolue moyenne (MAE) la plus faible dans la plupart des configurations. Notamment, il a montré des gains significatifs par rapport aux modèles de référence comme CSDI, MTSCI et SAITS, particulièrement sous des taux de données manquantes élevés (50 %) et sur le jeu de données Yeast.
Incertitude (CRPS) : FADTI a démontré une meilleure calibration et netteté, atteignant le score de probabilité classé (CRPS) le plus bas dans la plupart des cas, indiquant une meilleure qualité probabiliste.
Robustesse : Le modèle a maintenu de fortes performances sous des schémas de données manquantes temporelles (écarts contigus), là où de nombreux modèles de référence se sont dégradés de manière significative.
Efficacité d'Échantillonnage : FADTI a atteint une meilleure précision et un meilleur CRPS avec moins d'échantillons générés ( $K$ ) par rapport à CSDI et MTSCI. Par exemple, FADTI avec $K=2$ a surpassé CSDI et MTSCI avec $K=28$ sur le jeu de données ETT.
Études d'Ablation :
- Le retrait de FBP (en utilisant une simple rétro-projection) a entraîné des baisses de performance, confirmant que le couplage du biais avec la projection de fréquence est critique.
- Les variantes basées sur DFT ont mieux performé sur les motifs réguliers (ETT, Weather), tandis que les variantes STFT et FrSST étaient plus compétitives pour les lacunes temporelles nécessitant une analyse spectrale localisée.
Prévision Zero-Shot : Dans une expérience de prédiction zero-shot d'imputation-vers-prévision sur Yeast, FADTI a surpassé les bases déterministes et le modèle de diffusion MTSCI, montrant de fortes capacités d'extrapolation.

5. Signification et Revendications

Le papier affirme que FADTI représente une avancée significative en comblant le fossé entre le traitement du signal dans le domaine fréquentiel et les modèles de diffusion générative pour l'imputation. Sa signification réside dans :

Résolution de la Distorsion de Fréquence : En projetant les états cachés intermédiaires plutôt que les entrées masquées brutes, FADTI évite les artefacts spectraux qui affectent les approches fréquentielles naïves.
Gestion de la Non-Stationnarité : L'inclusion de FrSST permet au modèle de capturer des motifs oscillatoires non stationnaires, une capacité rarement vue dans la littérature MTSI.
Robustesse dans les Régimes de Parcimonie : Le cadre est particulièrement efficace sous des taux de données manquantes élevés et des schémas d'absence irréguliers, courants dans les données de capteurs réels.
Généralisabilité : L'introduction du jeu de données Yeast et les résultats réussis de prévision zero-shot suggèrent que l'applicabilité du modèle s'étend au-delà des tâches d'imputation standards vers des environnements biologiques complexes et non stationnaires.

Les auteurs concluent que bien que FADTI atteigne des performances de pointe, les travaux futurs se concentreront sur l'extension du cadre aux grilles temporelles irrégulières et aux transformations spectrales adaptatives.