Synthetic Flight Data Generation Using Generative Models

논문 요약: 생성 모델을 활용한 합성 비행 데이터 생성

1. 연구 배경 및 문제 정의 (Problem)
항공 산업은 인공지능 (AI) 과 머신러닝 (ML) 을 통해 운항 효율성을 높이고 지연을 줄이려 노력하고 있으나, 다음과 같은 데이터 관련 제약으로 인해 모델 개발이 어렵습니다.

• 데이터 부족 및 기밀성: 실제 비행 데이터는 상업적 경쟁, 개인정보 보호 규정, 규제 장벽 등으로 인해 접근이 제한적입니다.
• 희귀 사건의 불균형 (Class Imbalance): 지연, 취소, 우회 등 중요한 사건들은 역사적 데이터에서 매우 드물게 발생하여, 이를 학습한 예측 모델의 정확도가 낮아집니다.
• 기존 연구의 한계: 기존 연구는 주로 예측 모델 자체를 개선하는 데 집중했으나, 데이터의 근본적인 한계 (부족함과 불균형) 를 해결하기 위한 합성 데이터 생성 (Synthetic Data Generation, SDG) 에 대한 체계적인 검증은 부족했습니다.

2. 연구 방법론 (Methodology)
이 연구는 실제 비행 데이터의 통계적 속성을 유지하면서 기밀성을 보호할 수 있는 합성 데이터를 생성하기 위해 두 가지 생성 모델을 비교 분석했습니다.

• 사용된 데이터: 미국 교통통계국 (BTS) 의 'TranStats' 데이터베이스 (2023 년 1 월 뉴욕주 내 입출항 데이터, 약 61,000 건, 109 개 특성) 를 사용했습니다.
• 데이터 전처리:
  • 결측치 처리: 결측값이 있는 열을 '값이 존재하는지 여부 (Yes/No)'를 나타내는 범주형 열과 값이 채워진 열로 분할하여 처리했습니다.
  • 특성 공학: 시간 관련 특성 (UTC 기준 등) 을 일관성 있게 변환하고, 30 개의 핵심 특성으로 축소했습니다.
  • 데이터프레임 구성: 생성 모델의 입력 특성과 데이터 타입 (datetime, numeric 등) 의 영향을 분석하기 위해 3 가지 다른 데이터프레임 (df_utc_ts, df_utc_d, df_utc_d2) 을 구성했습니다.
• 생성 모델:
  1. TVAE (Tabular Variational Autoencoder): 딥러닝 기반 모델로, 인코더와 디코더를 통해 잠재 공간 (Latent Space) 에서 데이터를 학습하고 재구성합니다. 대규모 데이터 처리에 유리합니다.
  2. GC (Gaussian Copula): 통계 기반 모델로, 변수의 주변 분포 (Marginal Distribution) 를 보존하면서 변수 간의 복잡한 의존성 (Dependency) 을 모델링합니다.
• 실험 설계: 5 가지 실험을 통해 서로 다른 입력 특성 조합과 모델 (TVAE 3 회, GC 2 회) 을 비교했습니다.
• 평가 프레임워크 (4 단계):
  1. 다양성 (Diversity): PCA 를 통한 시각적 군집 분석 및 클래스 불균형 유지 여부 확인.
  2. 통계적 유사성 (Statistical Similarity): 단변량/이변량 분포 비교 (TVD, KS 검정, 상관관계 유사성).
  3. 정확도/신뢰도 (Fidelity): 7 가지 분류기 (Random Forest, SVM 등) 를 이용해 실제 데이터와 합성 데이터를 구별하는 능력을 평가 (구별이 어려울수록 우수).
  4. 유틸리티 (Utility): 합성 데이터로 학습된 모델이 실제 데이터로 테스트되었을 때의 비행 지연 예측 성능 (MAE, RMSE, R²) 평가.

3. 주요 기여 (Key Contributions)

• 항공 분야 특화 평가 프레임워크 제안: 통계적 유사성, 정확도, 다양성, 예측 유틸리티를 종합적으로 평가하는 4 단계 프레임워크를 구축했습니다.
• 모델 비교 및 트레이드오프 규명: 통계적 정확도가 높은 GC 와 확장성이 뛰어난 TVAE 의 장단점을 명확히 비교했습니다.
• 특성 선택의 중요성 강조: 시간 데이터의 표현 방식 (datetime vs duration) 이 생성된 데이터의 품질과 다양성에 결정적인 영향을 미친다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 다양성 및 통계적 유사성:
  • GC (가우시안 코풀라): 통계적 유사성 (단변량 94.41%, 이변량 83.7%) 과 정확도 (분류기 구별 정확도 66.93%) 면에서 TVAE 보다 우월했습니다. 실제 데이터의 분포와 상관관계를 매우 정밀하게 복제했습니다.
  • TVAE: 특성 선택 (특히 시간 데이터의 표현) 에 매우 민감했습니다. 초기 실험에서는 지연 패턴을 학습하지 못했으나, df_utc_d2 (실제 출발 시간 포함) 를 입력으로 사용했을 때 다양성과 클래스 균형이 크게 개선되었습니다.
• 예측 유틸리티 (핵심 발견):
  • TVAE 의 승리: 통계적 유사성은 GC 가 높았지만, 예측 모델 학습 성능에서는 TVAE 가 더 우수했습니다.
  • 이유: GC 는 메모리 제약으로 인해 학습 데이터 (5,000 건) 와 생성 데이터 (2,000 건) 의 크기가 작았습니다. 반면 TVAE 는 약 60,000 건의 데이터를 학습하고 50,000 건 이상의 합성 데이터를 생성할 수 있었습니다.
  • 결과: TVAE 로 학습된 지연 예측 모델은 실제 데이터로 학습된 모델과 유사한 정확도 (평균 절대 오차 약 11 분) 를 보였으나, GC 로 학습된 모델은 데이터 크기가 부족하여 특정 노선의 패턴을 학습하지 못해 성능이 저하되었습니다 (평균 절대 오차 14.66 분).

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 접근성 해결: 합성 데이터는 실제 데이터의 기밀성 문제와 희귀 사건 부족 문제를 해결하여 항공 운송 연구에 새로운 가능성을 열었습니다.
• 규모의 중요성: 통계적 정확도만 높다고 해서 예측 성능이 좋은 것은 아닙니다. **대규모 데이터셋을 처리할 수 있는 확장성 (Scalability)**이 예측 모델 학습에는 더 중요한 요소임을 시사합니다.
• 실용적 적용: TVAE 는 대규모 항공 데이터를 효율적으로 처리하고 확장 가능한 합성 데이터를 생성할 수 있어, 실제 항공 운항 관리 (ATM) 및 지연 예측 시스템에 적용하기에 더 실용적인 도구로 판단됩니다.
• 향후 연구: GC 를 대규모 데이터에 적용하기 위한 연산 자원 확보, TVAE 의 후방 붕괴 (Posterior Collapse) 문제 해결, 생성된 새로운 항로의 타당성 분석 등을 향후 과제로 제시했습니다.

요약: 이 연구는 생성형 AI 를 이용해 합성 비행 데이터를 생성하는 방법을 탐구했으며, 통계적 정확도는 GC 가 높았으나, 실제 예측 모델 학습에는 확장성이 뛰어난 TVAE 가 더 효과적임을 입증했습니다. 이는 항공 분야에서 데이터 부족 문제를 해결하기 위해 대규모 데이터를 처리할 수 있는 생성 모델의 중요성을 강조합니다.