Improving Variational Autoencoder using Random Fourier Transformation: An Aviation Safety Anomaly Detection Case-Study

Titolo

Miglioramento degli Autoencoder Variazionali tramite Trasformazione di Fourier Random: Uno Studio di Caso sull'Anomalia nella Sicurezza Aeronautica

1. Il Problema

Le reti neurali profonde (DNN), inclusi gli Autoencoder (AE) e gli Autoencoder Variazionali (VAE), sono strumenti fondamentali per l'apprendimento non supervisionato, la riduzione della dimensionalità e la rilevazione di anomalie. Tuttavia, soffrono di un fenomeno noto come "spectral bias" (bias spettrale).

• Natura del problema: Le DNN convenzionali tendono a imparare prima le componenti a bassa frequenza dei dati (pattern globali e lisci) e faticano a catturare le componenti ad alta frequenza (dettagli fini, variazioni sottili e caratteristiche localizzate) fino a stadi avanzati dell'addestramento, se ci riescono affatto.
• Impatto: Questo comportamento limita l'efficacia dei modelli nella ricostruzione di dati complessi e nella rilevazione di anomalie sottili, che spesso si manifestano proprio come deviazioni ad alta frequenza rispetto al comportamento nominale.
• Contesto: Il problema è particolarmente critico nella sicurezza aeronautica, dove è necessario rilevare anomalie complesse (es. ritardi nel dispiegamento dei flap o deviazioni di traiettoria) in dati temporali ad alta dimensionalità.

2. Metodologia

Gli autori propongono l'integrazione della Trasformazione di Fourier Random (RFT) come strato preliminare (precursore) nelle architetture di Autoencoder e VAE per mitigare il bias spettrale.

• Trasformazione di Fourier Random (RFT):

  • Mappa i dati di input in uno spazio di caratteristiche a bassa dimensionalità utilizzando combinazioni lineari random di funzioni sinusoidali (seno e coseno).
  • Matematicamente, trasforma l'input $x$ in $\gamma(x)$ utilizzando parametri fissi casuali ($b_i$) per le frequenze.
  • Agisce come un layer di convoluzione con kernel di dimensione 1, espandendo i canali di input in canali di Fourier.
  • Obiettivo: Introdurre esplicitamente informazioni sulle frequenze nello spazio delle caratteristiche, permettendo al modello di apprendere simultaneamente basse e alte frequenze.

• Trasformazione di Fourier Addestrabile (TFT):

  • Una variante della RFT in cui i parametri delle frequenze ($b_i$) non sono fissi casualmente, ma vengono ottimizzati tramite backpropagation all'interno del grafo computazionale.
  • L'ipotesi è che rendere i parametri "addestrabili" possa ulteriormente ottimizzare la rappresentazione delle frequenze rispetto alla versione puramente casuale.

• Architetture Testate:

  • Autoencoder (AE) e Variational Autoencoder (VAE): Entrambi implementati con e senza i layer RFT/TFT.
  • Obiettivo: Ricostruzione dei dati e calcolo dell'errore di ricostruzione per identificare le anomalie (le anomalie avranno un errore di ricostruzione più alto).

• Dataset Utilizzati:

  1. Dataset Sintetici a Bassa Dimensionalità: Per analizzare il comportamento di apprendimento delle frequenze (curve sinusoidali complesse e dati discreti).
  2. Dataset Aeronautico (Dashlink): Dati temporali reali da 16.000 voli commerciali durante l'avvicinamento finale. Include 10 variabili (sensori di posizione, velocità, flap, ecc.) e tre tipi di anomalie: ritardi nel dispiegamento dei flap, deviazioni di percorso e anomalie di velocità.

• Analisi:

  • Utilizzo dell'analisi del Principio di Frequenza (F-Principle) per monitorare come i modelli apprendono le diverse componenti frequenziali durante gli epoch di addestramento.

3. Contributi Chiave

1. Mitigazione del Bias Spettrale: Dimostrazione empirica che l'uso della RFT permette alle reti neurali di apprendere simultaneamente componenti a bassa e alta frequenza, a differenza delle DNN convenzionali che seguono un approccio sequenziale (prima basse, poi alte frequenze).
2. Confronto RFT vs. TFT: Introduzione e valutazione di una variante "addestrabile" della RFT. Lo studio indaga se l'ottimizzazione dei parametri di frequenza porti a benefici significativi rispetto alla versione randomizzata.
3. Applicazione alla Sicurezza Aeronautica: Validazione del metodo su un dataset reale e complesso (Dashlink), dimostrando l'efficacia nella rilevazione di anomalie operative critiche per la sicurezza del volo.
4. Analisi del Comportamento di Apprendimento: Fornitura di evidenze visive e quantitative su come l'architettura del modello influenzi la dinamica di apprendimento delle frequenze.

4. Risultati

• Dataset Sintetici:

  • I modelli con RFT e TFT convergono più velocemente verso i dati reali rispetto alle reti "vanilla", specialmente nelle regioni con caratteristiche acute (alte frequenze).
  • L'analisi del F-Principle conferma che i modelli con trasformazioni di Fourier apprendono basse e alte frequenze simultaneamente, mentre le reti convenzionali mostrano il tipico ritardo nell'apprendimento delle alte frequenze.
  • Non sono state osservate differenze significative tra RFT e TFT nei dati sintetici.

• Rilevazione di Anomalie (Dataset Dashlink):

  • Performance Generale: I modelli con trasformazioni di Fourier (sia RFT che TFT) superano nettamente gli AE e VAE convenzionali in termini di Precisione, Recall e F1-score su tutti e tre i tipi di anomalie (Flap, Path, Speed).
  • Confronto AE vs. VAE: I VAE mostrano generalmente prestazioni migliori degli AE, ma l'uso della RFT riduce il divario di performance tra le due architetture, rendendo gli AE con RFT molto competitivi.
  • RFT vs. TFT: Il risultato più sorprendente è che non ci sono vantaggi significativi nell'uso della versione addestrabile (TFT) rispetto alla versione random (RFT). In alcuni casi (es. anomalia "Path"), la RFT ha persino superato la TFT. Questo suggerisce che l'inizializzazione casuale è sufficiente e che l'addestramento dei parametri di frequenza non garantisce un'ulteriore ottimizzazione, o potrebbe addirittura portare a sovradattamento o instabilità.

• Analisi delle Variabili:

  • L'analisi dei singoli sensori mostra che i modelli con RFT riescono a distinguere meglio le anomalie in variabili critiche come la "Velocità Aria Calcolata" (Computed Airspeed) e l'"Angolo di Attacco" (Angle of Attack), evidenziando discrepanze più marcate tra dati nominali e anomali rispetto ai modelli base.

5. Significato e Conclusioni

Lo studio dimostra che l'integrazione della Trasformazione di Fourier Random è una strategia efficace ed efficiente per migliorare le capacità di apprendimento delle reti neurali, in particolare per compiti di ricostruzione e rilevazione di anomalie dove i dettagli ad alta frequenza sono cruciali.

• Impatto Pratico: Per l'industria aeronautica, questo approccio offre un metodo più robusto per monitorare la sicurezza del volo e rilevare incidenti potenziali che potrebbero sfuggire ai metodi tradizionali.
• Implicazioni Teoriche: I risultati mettono in discussione la necessità di rendere "addestrabili" i parametri di trasformazione di Fourier in questo contesto. La semplicità e l'efficienza computazionale della RFT (senza bisogno di ottimizzare i parametri di frequenza) la rendono preferibile alla TFT, poiché offre prestazioni superiori o equivalenti con meno complessità.
• Sintesi Finale: La RFT risolve efficacemente il problema del bias spettrale, permettendo una rappresentazione più completa dei dati. Tuttavia, l'ottimizzazione aggiuntiva tramite addestramento dei parametri di Fourier (TFT) non sembra portare benefici sostanziali rispetto alla versione randomizzata in questi specifici scenari di rilevazione anomalie.