Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

Titolo: Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

Autori: Karim Aly, Alexei Sharpanskykh, Jacco Hoekstra (TU Delft)

---

1. Il Problema: Previsione di Eventi Rari e Squilibrio delle Classi

Il lavoro affronta la sfida critica della previsione delle deviazioni di volo (flight diversions) nel settore dell'aviazione. Le deviazioni sono eventi ad alto impatto ma estremamente rari (nel dataset utilizzato, solo 127 deviazioni su 61.000 voli), il che crea un grave problema di squilibrio delle classi (class imbalance) per gli algoritmi di Machine Learning (ML).

• Limitazioni attuali: I modelli ML addestrati su dati storici sbilanciati tendono a favorire la classe maggioritaria (voli non devianti), ottenendo un'alta accuratezza generale ma fallendo nel rilevare gli eventi critici (deviazioni).
• Mancanza di dati correlati: I dati operativi pubblici spesso mancano di caratteristiche fortemente correlate alle cause delle deviazioni (es. condizioni meteorologiche specifiche, stato di manutenzione), rendendo difficile la discriminazione tra voli che verranno devianti e quelli che non lo saranno.
• Obiettivo: Utilizzare l'aumento dei dati sintetici (synthetic data augmentation) per arricchire la classe minoritaria, migliorando la capacità di generalizzazione e predizione dei modelli.

2. Metodologia

Lo studio propone un framework innovativo che combina generazione di dati sintetici e ottimizzazione multi-obiettivo.

A. Dati e Preprocessing

• Dataset: Utilizzo del database "TranStats" (BTS) con 61.000 voli domestici USA.
• Feature Engineering: Selezione di 14 feature per l'addestramento dei modelli generativi. Le feature relazionali (es. ID aeroporto) sono state inferite post-generazione per preservare le dipendenze. È stato necessario un preprocessing specifico per uniformare le feature tra voli devianti e non (es. imputazione dei tempi di volo mancanti per i voli devianti) evitando che il task di classificazione fosse banale.

B. Modelli Generativi

Sono stati valutati quattro modelli per generare record sintetici di voli devianti:

1. Gaussian Copula (GC) + KDE: Modello statistico di riferimento (baseline) che non richiede architetture profonde.
2. TVAE (Tabular Variational Autoencoder): Modello profondo basato su autoencoder probabilistici.
3. CTGAN (Conditional Tabular GAN): GAN adattato per dati tabellari, con campionamento condizionale per gestire classi sbilanciate.
4. CopulaGAN: Combina trasformazioni di copula con l'apprendimento avversario.

C. Framework di Ottimizzazione Multi-Obiettivo

Il contributo metodologico principale è un sistema di ricerca automatica degli iperparametri basato sull'algoritmo TPE (Tree-structured Parzen Estimator).

• Funzione Obiettivo: Una funzione composita che massimizza quattro metriche con pesi uguali (0.25 ciascuna):
  1. Realismo: Percentuale di rotte origine-destinazione storicamente valide.
  2. Similarità Statistica: Media delle similarità marginali e bivariato (test KS, distanza variazione totale, similarità di correlazione).
  3. Fidelity (Fedeltà): Minimizzazione del punteggio F1 di un classificatore che deve distinguere tra dati reali e sintetici (un F1 basso indica che i dati sono indistinguibili).
  4. Utility: Massimizzazione della PR-AUC (Area Under the Precision-Recall Curve) di un modello di previsione delle deviazioni addestrato sui dati aumentati.

D. Framework di Valutazione a 6 Stadi

I dati generati sono stati valutati su sei dimensioni: Realismo, Diversità, Validità Operativa, Similarità Statistica, Fidelity e Utility.

3. Contributi Chiave

1. Framework di Ottimizzazione Multi-Obiettivo: Sviluppo di una funzione di costo personalizzata per l'ottimizzazione degli iperparametri di modelli generativi su eventi rari, bilanciando realismo, fedeltà statistica e utilità predittiva.
2. Valutazione Olistica: Dimostrazione che la valutazione della qualità dei dati sintetici non può basarsi su una singola metrica, ma richiede un approccio multidimensionale (inclusa la validità operativa e l'utilità predittiva).
3. Analisi Comparativa: Confronto rigoroso tra modelli addestrati solo su dati reali (TRTR) e modelli addestrati su dati reali + sintetici (TATR), dimostrando il valore dell'aumento sintetico anche in assenza di feature fortemente correlate.
4. Studio sulla Dimensione dell'Aumento: Analisi dell'impatto della quantità di dati sintetici generati (da 300 a 200.000 record) sulle performance predittive.

4. Risultati

• Miglioramento dei Modelli Ottimizzati: I modelli con iperparametri ottimizzati hanno superato significativamente le loro controparti con parametri di default e il baseline statistico (GC) in termini di realismo e diversità.
  • Esempio: L'ottimizzazione ha migliorato il punteggio di realismo del TVAE di 7 volte e raddoppiato quello di CTGAN e CopulaGAN.
• Qualità dei Dati Sintetici: I dati ottimizzati hanno mostrato una migliore copertura delle distribuzioni reali (diversità) e una similarità statistica superiore, pur mantenendo una validità operativa accettabile (sebbene siano state rilevate alcune anomalie nelle correlazioni operative che richiedono vincoli di dominio futuri).
• Fidelity: I modelli ottimizzati hanno prodotto dati così realistici da confondere i classificatori (F1 score basso e accuratezza bilanciata vicina a 0.5), indicando un'alta fedeltà.
• Utilità Predittiva (Risultato Principale):
  • I modelli addestrati con dati aumentati (TATR) hanno ottenuto punteggi PR-AUC e MCC significativamente più alti rispetto ai modelli addestrati solo su dati reali (TRTR).
  • L'aumento dei dati sintetici ha migliorato la capacità di rilevare le deviazioni, anche senza feature meteorologiche o di manutenzione.
  • Effetto della dimensione: L'PR-AUC è aumentato rapidamente con la dimensione dell'aumento fino a raggiungere un punto di equilibrio delle classi, mentre il MCC è diminuito con un eccesso di sovracampionamento (oversampling), evidenziando il trade-off tra rilevamento di eventi rari e falsi positivi.

5. Significato e Implicazioni

• Avanzamento nella Predizione di Eventi Rari: Lo studio dimostra che l'aumento dei dati sintetici, se guidato da un'ottimizzazione multi-obiettivo rigorosa, è una soluzione efficace per il problema dello squilibrio delle classi in contesti critici come l'aviazione.
• Indipendenza dalle Feature: Il metodo è indipendente dalle feature specifiche, rendendolo applicabile a una vasta gamma di settori oltre l'aviazione dove gli eventi rari sono cruciali.
• Guida Operativa: Fornisce indicazioni pratiche su come bilanciare la dimensione dell'aumento e la scelta della metrica di ottimizzazione (PR-AUC per la sicurezza/rilevamento, MCC per l'equilibrio operativo) in base agli obiettivi specifici dell'operatore.
• Sostenibilità della Ricerca: Il framework proposto permette di costruire modelli predittivi robusti anche quando i dati storici sono scarsi, migliorando la resilienza e la sicurezza del sistema di trasporto aereo.

In sintesi, il paper valida l'uso di modelli generativi profondi ottimizzati per creare dati sintetici di alta qualità, trasformando un problema di scarsità di dati in un'opportunità per migliorare la previsione di eventi ad alto impatto nel settore aereo.