Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

Probleemstelling

Vliegtuigdiverties (het omleiden van een vlucht naar een alternatieve luchthaven) zijn zeldzame maar hoog-impact gebeurtenissen in de luchtvaart. Hun zeldzaamheid in historische gegevens creëert een ernstig class imbalance-probleem (ongeveer 127 diverted vluchten tegenover 61.000 normale vluchten in de gebruikte dataset). Dit leidt tot de volgende uitdagingen voor machine learning-modellen:

• Bias naar de meerderheidsklasse: Modellen neigen ertoe om de meerderheidsklasse (niet-gediverteerde vluchten) te voorspellen, wat resulteert in een hoge algehele nauwkeurigheid maar een slechte detectie van de zeldzame diverties.
• Gebrek aan correlerende features: Beschikbare operationele data mist vaak sterk correlerende variabelen (zoals specifieke weersomstandigheden of technische storingen) die direct leiden tot een divertie, wat de discriminatiekracht van conventionele modellen beperkt.
• Data-schaarste: Het trainen van diepe generatieve modellen op zo'n kleine dataset (127 voorbeelden) is inherent moeilijk en vatbaar voor overfitting of het genereren van irreële data.

Methodologie

De auteurs stellen een framework voor dat synthetische data gebruikt om de minderheidsklasse aan te vullen, gekoppeld aan een geautomatiseerde hyperparameter-optimalisatie.

1. Data en Preprocessing:

• Gebruik van de "TranStats Database" (BTS) met Amerikaanse binnenlandse vluchten.
• Feature Engineering: Om een eerlijke classificatietaken te garanderen, werden specifieke divertie-features (zoals "Diversion Actual Elapsed Time") gebruikt om ontbrekende waarden in niet-divertie records te imputeren, zodat beide klassen dezelfde feature-set hebben.
• Relationale features (zoals specifieke luchthavenparen) werden na de generatie gereconstrueerd om realisme te behouden.

2. Generatieve Modellen:
Vier modellen werden getraind op de subset van diverted vluchten:

• Gaussian Copula (GC) met KDE: Een statistisch baseline-model dat marginaal gedrag en afhankelijkheden modelleert zonder diepe architectuur.
• TVAE (Tabular Variational Autoencoder): Een diep leermodel dat waarschijnlijkheidsmodellen toepast op tabulaire data.
• CTGAN (Conditional Tabular GAN): Een GAN-architectuur ontworpen voor onbalans, gebruikmakend van conditionele sampling en mode-specifieke normalisatie.
• CopulaGAN: Combineert copula-transformaties met adversariaal leren.

3. Multi-objective Hyperparameter Optimalisatie:
In plaats van standaard configuraties te gebruiken, werd een Tree-structured Parzen Estimator (TPE) algoritme ingezet voor automatische zoektocht naar optimale hyperparameters.

• Doelfunctie: Een samengestelde score die vier metriken maximaliseert/minimaliseert met gelijke weging (0.25):
  1. Realisme: Percentage van geldige oorsprong-bestemming paren.
  2. Statistische Similariteit: Gemiddelde van univariate en bivariate distributiesimilariteit.
  3. Fidelity: Minimaliseren van de F1-score van een classifier die probeert onderscheid te maken tussen echte en synthetische data (hoe lager, hoe beter).
  4. Utility: Maximaliseren van de PR-AUC (Precision-Recall Area Under Curve) van een voorspellingsmodel voor diverties.

4. Evaluatie Framework (6-staps):
De kwaliteit van de gegenereerde data werd getoetst op: Realisme, Diversiteit, Operationele Validiteit, Statistische Similariteit, Fideliteit en Voorspellende Utility.

Belangrijkste Bijdragen

1. Multi-objectief Optimalisatie Framework: Een nieuw framework dat hyperparameters van generatieve modellen optimaliseert specifiek voor zeldzame gebeurtenissen, in plaats van te vertrouwen op één metriek.
2. Uitgebreide Evaluatie: Demonstratie dat synthetische data-kwaliteit niet op één metriek mag worden beoordeeld, maar een multifaceted benadering vereist (van statistiek tot operationele haalbaarheid).
3. Empirisch Bewijs voor Augmentatie: Een vergelijking die laat zien dat modellen getraind op een mix van echte en synthetische data (TATR-scenario) significant beter presteren dan modellen die alleen op echte data zijn getraind (TRTR-scenario), zelfs zonder sterk correlerende features.
4. Invloed van Augmentatiegrootte: Analyse van hoe de grootte van de synthetische dataset (van 300 tot 200.000 records) de voorspellende prestaties beïnvloedt.

Resultaten

• Realisme en Diversiteit: De geoptimaliseerde modellen (TVAE, CTGAN, CopulaGAN) presteerden aanzienlijk beter dan hun niet-geoptimaliseerde tegenhangers. De realisme-score van TVAE verbeterde zevenvoudig, en CTGAN/CopulaGAN verdubbelde hun realisme.
• Statistische Similariteit: De geoptimaliseerde modellen benaderden de verdelingen van de echte data nauwkeuriger, hoewel het GC-model (als statistische baseline) nog steeds zeer sterk presteerde op pure statistische similariteit.
• Fideliteit: De geoptimaliseerde modellen produceerden data die zo realistisch was dat een classifier moeite had om onderscheid te maken tussen echt en synthetisch (F1-score en balanced accuracy daalden naar ~0.5).
• Voorspellende Utility (De Kern):
  • Modellen getraind op geaugmenteerde data (TATR) behaalden een significante stijging in PR-AUC en MCC vergeleken met het baseline (alleen echte data).
  • Invloed van grootte: De PR-AUC steeg snel met de augmentatiegrootte en stabiliseerde rond het punt van class balance (waar het aantal diverted en niet-divertie vluchten gelijk is).
  • Trade-off: Hoewel PR-AUC (detectie van zeldzame events) bleef stijgen, daalde de MCC bij zeer grote augmentaties door een toename van vals-positieven. Dit suggereert dat er een optimale augmentatiegrootte is die afhangt van de operationele prioriteit (detectie vs. balans).

Betekenis en Conclusie

Dit onderzoek toont aan dat generatieve AI een krachtige oplossing biedt voor het voorspellen van zeldzame luchtvaartgebeurtenissen, zelfs wanneer de dataset extreem onbalans is en kritieke causale features ontbreken.

• Operationele Impact: Door synthetische divertie-records toe te voegen, kunnen luchtvaartmaatschappijen en luchtverkeersleiding proactiever beslissingen nemen om disrupties te mitigeren.
• Algemene Toepasbaarheid: De methode is feature-onafhankelijk en kan worden toegepast op andere zeldzame gebeurtenissen in diverse domeinen (zoals fraude, medische incidenten of cyberveiligheid).
• Aanbeveling: De keuze voor de optimalisatiemetriek (PR-AUC vs. MCC) en de augmentatiegrootte moet worden afgestemd op het specifieke gebruiksscenario: maximale detectie van zeldzame events (veiligheid) versus het vermijden van overmatige alarmen (operationele efficiëntie).

De studie concludeert dat hyperparameter-geoptimaliseerde generatieve modellen een essentiële stap zijn voor het verbeteren van de betrouwbaarheid van voorspellende modellen voor zeldzame, maar hoog-risico gebeurtenissen in de luchtvaart.