Improving Variational Autoencoder using Random Fourier Transformation: An Aviation Safety Anomaly Detection Case-Study

1. Problématique

Les réseaux de neurones profonds (DNN), y compris les Autoencodeurs (AE) et les Autoencodeurs Variationnels (VAE), souffrent d'un phénomène connu sous le nom de biais spectral (spectral bias). Ce biais se manifeste par la tendance des réseaux à apprendre préférentiellement les composantes de basse fréquence des données (les structures globales et lisses) avant de pouvoir capturer les composantes de haute fréquence (les détails fins, les variations subtiles et les caractéristiques localisées).

Dans le contexte de la détection d'anomalies, en particulier pour la sécurité aérienne où les signaux peuvent contenir des irrégularités complexes et localisées, cette incapacité à modéliser efficacement les hautes fréquences limite la performance des modèles. L'objectif de cette étude est de surmonter ce biais spectral en intégrant une Transformation de Fourier Aléatoire (RFT) dans l'architecture des réseaux, et d'explorer si une version apprenable (Trainable Fourier Transformation - TFT) de cette couche offre des avantages supplémentaires par rapport à la version aléatoire fixe.

2. Méthodologie

Les auteurs proposent une approche structurée en plusieurs étapes :

• Intégration de la RFT : La RFT est utilisée comme une couche précurseur (pré-traitement) dans les architectures d'Autoencodeurs et de VAE. Elle projette les données d'entrée dans un espace de caractéristiques de Fourier en utilisant des combinaisons linéaires aléatoires de fonctions sinus et cosinus. Mathématiquement, pour une entrée $x$, la transformation $\gamma(x)$ génère des vecteurs contenant des termes de la forme $\sin(2\pi b_i^T x)$ et $\cos(2\pi b_i^T x)$, où $b_i$ sont des paramètres aléatoires fixes.
• Variante Apprenable (TFT) : Les auteurs ont développé une variante où les paramètres de la transformation (notamment les vecteurs de fréquence $b_i$) ne sont pas fixes mais sont optimisés via la rétropropagation du gradient au sein du graphe de calcul. Cela transforme la couche RFT en une couche de réseau de neurones apprenable.
• Analyse par le Principe de Fréquence (F-Principle) : Pour comprendre le comportement d'apprentissage, les auteurs utilisent l'analyse du F-Principe (proposée par Xu et al.). Cette méthode décompose les signaux en fréquences pour observer l'ordre dans lequel le réseau apprend les différentes composantes spectrales.
• Architectures Testées :
  • Autoencodeurs (AE/CAE) : Pour la reconstruction et la détection d'anomalies basée sur l'erreur de reconstruction.
  • Autoencodeurs Variationnels (VAE/CVAE) : Qui introduisent un espace latent probabiliste et optimisent une borne inférieure de la vraisemblance (ELBO), permettant de mieux gérer l'incertitude.
• Jeux de Données :
  1. Données synthétiques de basse dimension : Pour visualiser l'apprentissage des fréquences (ex: $y = \sin(x) + \sin(3x) + \sin(5x)$).
  2. Données réelles de sécurité aérienne (Dashlink) : Un jeu de données haute dimension (10 variables temporelles) provenant de 16 000 vols commerciaux. Il contient des anomalies réelles liées au déploiement des volets (flaps), aux déviations de trajectoire (path) et aux anomalies de vitesse, ainsi qu'une classe nominale (vol normal).

3. Contributions Clés

• Mitigation du Biais Spectral : Démonstration empirique que l'intégration de la RFT permet aux réseaux de neurones d'apprendre simultanément les fréquences basses et hautes dès le début de l'entraînement, contrairement aux réseaux conventionnels qui apprennent progressivement des basses vers les hautes fréquences.
• Évaluation de la RFT vs TFT : Introduction et comparaison rigoureuse d'une version de RFT dont les paramètres sont optimisables (TFT) par rapport à la version aléatoire fixe.
• Application à la Sécurité Aérienne : Validation de l'approche sur un cas d'usage critique (détection d'anomalies de vol), montrant une amélioration significative de la détection d'événements rares et complexes.
• Analyse des Variables : Identification des variables spécifiques (ex: vitesse air calculée, angle d'attaque) où les modèles enrichis par RFT montrent une meilleure capacité à discriminer les anomalies.

4. Résultats

Les résultats sont présentés à travers des expériences sur des données synthétiques et le jeu de données Dashlink :

• Comportement d'Apprentissage (F-Principle) :

  • Les réseaux "vanilla" (standards) apprennent d'abord les basses fréquences, puis les hautes.
  • Les réseaux avec RFT et TFT apprennent les deux types de fréquences simultanément, ce qui confirme la réduction du biais spectral.
  • La convergence vers les données réelles (surtout les zones à caractéristiques abruptes) est plus rapide avec RFT/TFT.

• Performance de Détection d'Anomalies (Dashlink) :

  • Amélioration Globale : L'ajout de RFT (et dans une moindre mesure TFT) améliore significativement les métriques (Précision, Rappel, F1-score) par rapport aux AE et VAE standards.
    • Exemple (Anomalie "Flaps") : Le Rappel (Recall) passe de ~53% (CAE standard) à ~84% (CAE + RFT). Le F1-score passe de ~51% à ~69%.
  • Comparaison AE vs VAE : Les VAE (CVAE) surpassent généralement les AE standards, mais l'écart de performance se réduit lorsque les deux architectures sont équipées de transformations de Fourier.
  • RFT vs TFT (Le résultat le plus surprenant) : Bien que la TFT soit théoriquement plus flexible, aucun avantage significatif n'a été observé par rapport à la RFT aléatoire fixe. Dans certains cas (anomalie "Path"), la RFT a même surpassé la TFT. Cela suggère que l'initialisation aléatoire est souvent suffisante pour capturer les structures de Fourier nécessaires, et que l'optimisation des paramètres de Fourier n'apporte pas de gain supplémentaire notable, voire peut introduire de l'instabilité.

• Analyse des Variables : Les modèles avec RFT montrent des écarts plus marqués entre les données nominales et les anomalies sur des variables critiques comme la vitesse air calculée et l'angle d'attaque, prouvant une meilleure sensibilité aux détails fins.

5. Signification et Conclusion

Cette étude démontre que l'intégration de la Transformation de Fourier Aléatoire (RFT) est une méthode efficace et peu coûteuse pour atténuer le biais spectral des réseaux de neurones, améliorant ainsi leur capacité à modéliser des données complexes et à détecter des anomalies subtiles dans des environnements critiques comme l'aviation.

Points saillants de la conclusion :

1. Efficacité de la RFT : La RFT permet une représentation équilibrée des fréquences, améliorant la robustesse et la généralisation des modèles.
2. Limites de la version Apprenable (TFT) : Contrairement à l'intuition, rendre les paramètres de Fourier apprenables n'apporte pas de bénéfice significatif par rapport à la version aléatoire fixe dans les scénarios testés. Cela indique que la complexité ajoutée par l'entraînement de ces paramètres peut ne pas être justifiée.
3. Impact Pratique : Pour les applications de sécurité où la détection précoce et précise est cruciale, l'ajout d'une couche RFT fixe est une stratégie recommandée pour améliorer les performances des Autoencodeurs et VAE sans nécessiter un surcoût computationnel majeur ni une complexité d'entraînement accrue.

En résumé, l'article valide l'usage de la RFT comme un préprocesseur puissant pour les tâches de reconstruction et de détection d'anomalies, tout en mettant en garde contre l'optimisation excessive des paramètres de transformation de Fourier dans ce contexte spécifique.