Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعزيز التوليدي لسجلات الطيران غير المتوازنة للتنبؤ بتحويل مسار الرحلات: إطار تحسين متعدد الأهداف."

1. بيان المشكلة

تعد عمليات تحويل مسار الرحلات أحداثاً نادرة وعالية التأثير في مجال الطيران (127 عملية تحويل من أصل حوالي 61,000 رحلة في مجموعة البيانات)، مما يفرض تحديات كبيرة على الصعيد الأمني والاقتصادي والتشغيلي. إن التنبؤ بهذه الأحداث باستخدام تعلم الآلة يعوقه عدم التوازن الشديد في الفئات، حيث تفوق عدد الرحلات العادية (الفئة الأكثر تمثيلاً) عدد الرحلات المحولة (الفئة الأقل تمثيلاً) بفارق هائل. هذا الخلل يؤدي إلى انحياز النماذج نحو الفئة الأكثر تمثيلاً، مما ينتج عنه ضعف في اكتشاف عمليات التحويل الفعلية.

علاوة على ذلك، تعاني النماذج التنبؤية القياسية لأن بيانات الطيران المتاحة علنًا تفتقر غالبًا إلى الميزات المرتبطة بقوة بعمليات تحويل المسار (مثل ظروف جوية محددة، أو حالة الطاقم، أو مشكلات الصيانة). كما أن تقنيات الإفراط في أخذ العينات التقليدية مثل SMOTE غالبًا ما تفشل لأنها تعتمد على الاستيفاء البسيط، مما يؤدي إلى توليد نقاط بيانات غير واقعية تؤدي إلى فرط التخصيص (Overfitting). وتتمثل المشكلة الجوهرية في كيفية توليد بيانات اصطناعية عالية الدقة للفئة الأقل تمثيلاً تحافظ على التبعيات الإحصائية المعقدة والقيود التشغيلية دون إدخال ضجيج أو أنماط غير واقعية.

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتضمن معالجة مسبقة للبيانات، ونمذجة توليدية، وتحسين المعلمات الفائقة متعدد الأهداف، وبروتوكول تقييم مكون من ست مراحل.

أ. البيانات والمعالجة المسبقة

• مجموعة البيانات: استُخدمت قاعدة بيانات "TranStats Database" (BTS) التي تحتوي على حوالي 61,000 رحلة داخلية في الولايات المتحدة.
• هندسة الميزات: تم اختيار 14 ميزة لعملية التوليد (مثل الناقل، معرفات المطارات، الأوقات، التأخيرات).
• معالجة عدم التوازن: تم تقسيم مجموعة البيانات لعزل الـ 127 رحلة المحولة. تم استكمال القيم المفقودة في سجلات التحويل (مثل "الوقت الفعلي المنقضي") باستخدام سمات خاصة بالتحويل لضمان اتساق مجموعة الميزات لتدريب المصنفات.
• ما بعد التوليد: تمت إعادة بناء الميزات العلاقاتية (مثل أسماء مطارات محددة) بعد التوليد، وتم تطبيق أخذ العينات بالرفض لإزالة المسارات غير الموجودة في البيانات التاريخية.

ب. النماذج التوليدية

تم تقييم أربعة نماذج لتوليد سجلات تحويل المسار الاصطناعية:

1. نسخة غاوس كوبولا (GC) مع تقدير كثافة النواة (KDE): نموذج إحصائي أساسي يستخدم تقدير كثافة النواة لنمذجة الهوامش وكوبولا غاوس للتبعيات.
2. المشفر التلقائي التبويبي المتغير (TVAE): نموذج تعلم عميق يستخدم بنية مشفر-فك تشفير مع توزيع في الفضاء الكامن.
3. شبكة الخصومة التوليدية التبويبية الشرطية (CTGAN): نسخة من GAN تستخدم أخذ العينات الشرطي للتعامل مع البيانات الفئوية غير المتوازنة والنمذجة الطبيعية النوعية للمتغيرات المستمرة.
4. كوبولا غان (CopulaGAN): يجمع بين تحويلات كوبولا والتعلم الخصومي لالتقاط التبعيات قبل تدريب الـ GAN.

ج. تحسين المعلمات الفائقة متعدد الأهداف

بدلاً من استخدام التكوينات الافتراضية، استخدمت الدراسة مقدر بارزن (TPE) للضبط الآلي للمعلمات الفائقة.

• دالة الهدف: تم تصميم درجة مركبة مخصصة لموازنة أربعة مقاييس متنافسة:
  1. تعظيم الواقعية: نسبة أزواج (المصدر-الوجهة) الصالحة.
  2. تعظيم التشابه الإحصائي: متوسط تشابه التوزيعات الهامشية والثنائية.
  3. تعظيم المنفعة: مساحة منحنى الدقة والاستدعاء (PR-AUC) لمصنف لاحق.
  4. تقليل الدقة (Fidelity): مقياس F1 لمصنف يحاول التمييز بين البيانات الحقيقية والاصطناعية (الأقل هو الأفضل).
• فضاء البحث: شملت المعلمات التي تم تحسينها عدد الدورات (epochs)، أبعاد التضمين، أعماق الطبقات (ثابتة عند 2 لمنع فرط التخصيص على البيانات الصغيرة)، ومعدلات التعلم.

د. إطار التقييم ذو المراحل الست

تم تقييم جودة البيانات الاصطناعية من خلال:

1. الواقعية: صلاحية أزواج المصدر والوجهة.
2. التنوع: تغطية مجموعات البيانات عبر PCA و t-SNE.
3. الصلاحية التشغيلية: فحوصات الارتباط (مثل المسافة مقابل وقت الطيران) لضمان الجدوى الفيزيائية.
4. التشابه الإحصائي: اختبارات KS للميزات العددية ومسافة التباين الكلي للميزات الفئوية.
5. الدقة (Fidelity): مدى صعوبة تصنيف "الغابة العشوائية" (Random Forest) للتمييز بين البيانات الحقيقية والاصطناعية (مقاسة بـ F1 والدقة المتوازنة).
6. المنفعة: أداء نموذج التنبؤ بتحويل المسار المدرب على بيانات معززة (Train-Augmented-Test-Real) مقابل البيانات الحقيقية فقط (Train-Real-Test-Real).

3. المساهمات الرئيسية

1. إطار تحسين متعدد الأهداف: قدم نهجاً مبتكراً لضبط النماذج التوليدية العميقة خصيصاً للأحداث النادرة، مما يوازن بين الواقعية، والدقة الإحصائية، والمنفعة التنبؤية للنماذج اللاحقة في آن واحد.
2. تقييم شامل: أثبتت الدراسة أن الاعتماد على مقياس واحد غير كافٍ؛ بل يتطلب الأمر تقييماً متعدد الأوجه (يشمل الصلاحية التشغيلية والمنفعة) لبيانات الطيران.
3. الأداء في حالات عدم التوازن الشديد: أظهرت أن النماذج التوليدية العميقة المحسنة (TVAE, CTGAN, CopulaGAN) يمكن أن تتفوق على القواعد الإحصاسية (GC) والنماذج العميقة غير المحسنة حتى مع وجود فئات دنيا صغيرة للغاية (127 عينة).
4. تحليل حجم التعزيز: بحثت الدراسة في تأثير تغيير أحجام التعزيز (من 300 إلى 200,000 عينة)، وكشفت عن مقايضة بين قدرة الكشف (PR-AUC) ومعدلات الإيجاب الكاذب (MCC).

4. النتائج

• الواقعية والتنوع: تفوقت النماذج المحسنة بشكل كبير على نظيراتها غير المحسنة. أظهر نموذج TVAE المحسن تحسناً بمقدار 7 أضعاف في الواقعية، بينما ضاعفت نماذج CTGAN و CopulaGAN درجات واقعيتها. كما نجحت النماذج المحسنة في التقاط التنوع الكامل لمجموعات البيانات الحقيقية، بينما فشلت النماذج غير المحسنة في تغطية فضاء البيانات.
• التشابه الإحصائي: حققت النماذج المحسنة تشابهاً إحصائياً مقارباً أو أفضل قليلاً من نموذج GC الأساسي، مع تحسين في الارتباطات الثنائية.
• الدقة (Fidelity): أنتجت النماذج المحسنة بيانات لا يمكن تمييزها عن البيانات الحقيقية بواسطة مصنف الغابة العشوائية (انخفضت درجات F1 بشكل كبير، واستقرت الدقة المتوازنة حول 0.5، مما يشير إلى أقصى درجات الارتباك لدى المصنف).
• المنفعة (الأداء التنبؤي):
  • تفوقت النماذج المدربة على البيانات المعززة (TATR) بشكل كبير على تلك المدربة على البيانات الحقيقية فقط (TRTR) في التنبؤ بتحويل المسار.
  • ارتفع PR-AUC بشكل ملحوظ مع التعزيز المحسن، مما يثبت قدرة أفضل على اكتشاف الأحداث النادرة.
  • حجم التعزيز: تحسن PR-AUC مع زيادة حجم التعزيز حتى نقطة توازن الفئات، حيث استقر بعدها. وعلى العكس من ذلك، انخفض MCC (الذي يعاقب على الإيجاب الكاذب) مع الإفراط في أخذ العينات، مما يسلط الضೆء على الحاجة لموازنة حجم التعزيز بناءً على الهدف التشغيلي المحدد (السلامة مقابل تجنب الإنذارات الكاذبة).
• الصلاحية التشغيلية: رغم جودتها العامة، ولدت بعض النماذج المحسنة سجلات مستحيلة فيزيائياً (مثل أوقات طيران قصيرة لمسافات طويلة)، مما يشير إلى الحاجة لقيود مرتبطة بالمجال في العمل المستقبلي.

5. الأهمية والخاتمة

تقدم هذه الدراسة دليلاً قوياً على أن تعزيز البيانات الاصطناعية، عندما يتم توجيهه بواسطة تحسين المعلمات الفائقة متعدد الأهداف، يعد استراتيجية قابلة للتطبيق وفعالة للتنبؤ بأحداث الطيران النادرة.

• الأثر العملي: يتيح ذلك لشركات الطيران وإدارة الحركة الجوية تطوير أدوات اتخاذ قرار استباقية لتحويل مسار الرحلات، حتى عندما تكون البيانات التاريخية شحيحة وتفتقر إلى ميزات تنبؤية قوية.
• القابلية للتعميم: المنهجية مستقلة عن الميزات وقابلة للتطبيق في أي مجال يعاني من عدم توازن شديد في الفئات (مثل كشف الاحتيال، أو التشخيص الطبي).
• رؤية رئيسية: اختيار هدف التحسين أمر بالغ الأهمية. فإعطاء الأولوية لـ PR-AUC هو الأفضل للاكتشاف في الحالات الحرجة للسلامة (لتعظيم الاستدعاء)، بينما إعطاء الأولوية لـ MCC هو الأفضل للتوازن التشغيلي (لتقليل الإنذارات الكاذبة).

تخلص الدراسة إلى أنه على الرغم من صعوبة تدريب النماذج التوليدية العميقة على مجموعات البيانات الصغيرة، فإن التحسين المنهجي لمعلماتها الفائقة يمكن أن ينتج بيانات اصطناعية لا تحاكي الإحصاءات الحقيقية فحسب، بل تعمل بنشاط على تحسين القدرات التنبؤية لنماذج تعلم الآلة اللاحقة.