Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

1. 연구 배경 및 문제 정의 (Problem)

• 비행기 우회 (Flight Diversion) 의 중요성: 항공기 우회는 안전과 운영 효율성에 중대한 영향을 미치는 사건이지만, 역사적 데이터에서 매우 드물게 발생합니다 (61,000 건 중 127 건).
• 데이터 불균형 (Class Imbalance) 문제: 머신러닝 모델은 우회 사건 (소수 클래스) 이 극도로 드물기 때문에 학습이 어렵습니다. 이로 인해 모델이 비우회 (다수 클래스) 에 치우쳐 전체 정확도는 높지만, 실제 우회 사건을 탐지하지 못하는 문제가 발생합니다.
• 특성 (Feature) 의 한계: 공개된 비행 데이터에는 우회를 유발하는 복잡한 인과 관계 (기상 악화, 기술적 고장, 의학적 응급 상황 등) 를 직접적으로 나타내는 강력한 상관관계 변수가 부족할 수 있습니다.
• 기존 방법의 한계: 단순한 보간법 (SMOTE 등) 을 사용한 과소표집 (Oversampling) 은 데이터의 현실성 (Realism) 을 보장하지 못해 과적합 (Overfitting) 을 초래할 수 있습니다.

2. 방법론 (Methodology)

이 연구는 희귀 사건인 비행기 우회 기록을 생성하여 데이터 불균형을 해결하고 예측 성능을 향상시키기 위해 다음과 같은 프레임워크를 제안합니다.

A. 데이터 전처리 및 특징 공학

• 데이터 소스: 미국 국내선 61,000 건 (우회 127 건 포함) 의 TranStats 데이터베이스 사용.
• 특징 정제: 우회 여부에 따라 누락된 값 (예: 실제 소요 시간) 을 보정하고, 우회 전용 속성을 제거하여 우회/비우회 비행이 동일한 특징 집합을 갖도록 통일했습니다.
• 관계형 특징 (Relational Features): 생성 후 재구성하여 현실성을 유지했습니다.

B. 생성 모델 (Generative Models)

다음 4 가지 모델을 사용하여 우회 기록을 생성했습니다.

1. Gaussian Copula (GC): 커널 밀도 추정 (KDE) 과 결합된 통계적 베이스라인 모델.
2. TVAE (Tabular Variational Autoencoder): 표 데이터에 특화된 변이형 오토인코더.
3. CTGAN (Conditional Tabular GAN): 불균형한 범주형 데이터를 처리하기 위한 조건부 생성적 적대 신경망.
4. CopulaGAN: 의존성 모델링을 위해 코풀라 변환과 적대적 학습을 결합한 모델.

C. 다목적 최적화 프레임워크 (Multi-objective Optimisation)

• 자동화된 하이퍼파라미터 튜닝: Tree-structured Parzen Estimator (TPE) 알고리즘을 사용하여 각 모델의 하이퍼파라미터를 최적화했습니다.
• 목적 함수 (Objective Function): 단일 지표가 아닌 4 가지 지표를 통합하여 최적화했습니다.
  • 극대화: 현실성 (Realism), 통계적 유사성 (Statistical Similarity), 유틸리티 (Utility, PR-AUC).
  • 극소화: 충실도 (Fidelity, F1 점수 - 생성 데이터와 실제 데이터를 구분하는 분류기의 성능).
• 최적화 대상: 에포크 수, 임베딩 차원, 레이어당 뉴런 수 등 (레이어 깊이는 2 로 고정).

D. 6 단계 평가 프레임워크

생성된 데이터의 품질을 다음과 같은 6 가지 차원에서 평가했습니다.

1. 현실성 (Realism): 역사적 데이터에 존재하지 않는 새로운 출발지 - 목적지 (OD) 쌍이 생성되지 않았는지 확인.
2. 다양성 (Diversity): PCA 및 t-SNE 를 통해 실제 데이터의 분포와 클러스터를 잘 복제했는지 시각화 및 확인.
3. 운영 타당성 (Operational Validity): 거리와 비행 시간 간의 상관관계 등 물리적/운영적 제약 조건 위반 여부 확인.
4. 통계적 유사성 (Statistical Similarity): 단변량 및 이변량 분포의 통계적 일치도 (KS 검정, 총변동 거리 등) 측정.
5. 충실도 (Fidelity): 랜덤 포레스트 분류기를 사용하여 실제 데이터와 생성 데이터를 구분할 수 있는지 테스트 (구분하기 어려울수록 우수).
6. 유틸리티 (Utility): 생성된 데이터를 추가하여 학습한 우회 예측 모델의 성능 (PR-AUC, MCC) 평가.

3. 주요 기여 (Key Contributions)

1. 희귀 사건을 위한 다목적 최적화 프레임워크: 비행기 우회와 같은 극도로 불균형한 데이터셋에 적용할 수 있는 생성 모델 하이퍼파라미터 튜닝 프레임워크를 제안했습니다.
2. 종합적 품질 평가: 단일 지표가 아닌 현실성, 다양성, 운영 타당성, 통계적 유사성, 충실도, 유틸리티를 아우르는 6 단계 평가 체계를 정립했습니다.
3. 실제 데이터 대비 예측 성능 향상: 실제 데이터만 학습한 모델 대비, 생성된 합성 데이터로 증강 (Augmentation) 된 데이터로 학습한 모델이 우회 예측 성능이 월등히 높음을 입증했습니다.
4. 증강 크기의 영향 분석: 합성 데이터의 양 (300~200,000 건) 이 예측 성능에 미치는 영향을 분석하여 최적의 증강 규모에 대한 통찰을 제공했습니다.

4. 실험 결과 (Results)

• 최적화의 효과: 최적화된 모델 (Opt-TVAE, Opt-CTGAN, Opt-CopulaGAN) 은 기본 설정 모델보다 현실성 점수가 7 배 (TVAE) 에서 2 배 (CTGAN, CopulaGAN) 까지 향상되었습니다.
• 통계적 및 운영적 품질: 최적화된 모델은 실제 데이터의 분포를 더 잘 모방했으며, 운영적 제약 조건 위반 사례를 줄였습니다.
• 예측 성능 (Utility):
  • PR-AUC (정밀도 - 재현율 곡선 아래 면적): 최적화된 생성 모델을 사용하여 학습한 모델은 실제 데이터만 학습한 모델보다 우회 사건 탐지 능력이 크게 향상되었습니다.
  • 증강 크기의 영향: 증강 데이터 양이 증가함에 따라 PR-AUC 는 급격히 상승하다가 클래스 균형 (우회/비우회 비율 1:1) 부근에서 정체되는 경향을 보였습니다. 반면 MCC 는 과도한 오버샘플링으로 인한 위양성 증가로 인해 감소하는 경향을 보였습니다.
  • 결론: 적절한 양의 합성 데이터 증강은 희귀 사건 예측에 필수적이며, 목표에 따라 PR-AUC(탐지율 중시) 또는 MCC(균형 중시) 를 최적화 목표로 설정해야 합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 희귀 사건 예측의 새로운 패러다임: 강력한 상관관계 변수가 없더라도, 고품질의 합성 데이터를 생성하여 데이터 불균형을 해결함으로써 희귀 사건 (비행기 우회) 의 예측 정확도를 획기적으로 높일 수 있음을 입증했습니다.
• 일반화 가능성: 이 프레임워크는 항공 교통 관리뿐만 아니라 금융 사기 탐지, 의료 이상 징후 감지 등 다양한 분야의 희귀 사건 예측에 적용 가능한 방법론입니다.
• 실용적 가치: 생성된 합성 데이터가 단순히 통계적 유사성만 갖는 것이 아니라, 실제 운영 환경에서 유효한 예측 모델 학습에 기여함을 보여주었습니다.

이 연구는 생성형 AI 와 다목적 최적화를 결합하여 데이터 부족 및 불균형이라는 근본적인 문제를 해결함으로써, 항공 안전 및 운영 효율성 향상에 기여할 수 있는 강력한 도구임을 제시합니다.