Generative Augmentation of Imbalanced Flight Records for Flight Diversion Prediction: A Multi-objective Optimisation Framework

Título:

Aumento Generativo de Registros de Vuelo Desequilibrados para la Predicción de Desvíos de Vuelo: Un Marco de Optimización Multiobjetivo

1. Planteamiento del Problema

Los desvíos de vuelo (cuando una aeronave no puede llegar a su destino planificado y aterriza en otro aeropuerto) son eventos raros pero de alto impacto en la aviación, con consecuencias económicas, operativas y de seguridad significativas.

• Desafío Principal: La escasez de registros históricos de desvíos (en este estudio, solo 127 desvíos de 61,000 vuelos) crea un desequilibrio de clases severo en los conjuntos de datos. Esto sesga los algoritmos de aprendizaje automático hacia la clase mayoritaria (vuelos sin desviar), resultando en modelos que tienen alta precisión general pero fallan en detectar los eventos críticos.
• Limitación de Datos: Los datos públicos de operaciones aéreas a menudo carecen de características fuertemente correlacionadas con las causas de los desvíos (como condiciones meteorológicas específicas, estado de mantenimiento o disponibilidad de tripulación), lo que dificulta aún más la discriminación efectiva entre vuelos desviados y no desviados.
• Solución Propuesta: Utilizar datos sintéticos generados para aumentar la clase minoritaria, equilibrando el conjunto de datos y mejorando la capacidad de generalización de los modelos predictivos.

2. Metodología

El estudio propone un marco integral que combina la generación de datos con una optimización sistemática de hiperparámetros.

• Datos: Se utilizó la base de datos "TranStats" de la Administración Federal de Aviación de EE. UU. (BTS). Se seleccionaron 14 características para el entrenamiento (códigos de aerolínea, aeropuertos, tiempos de despegue/aterrizaje, retrasos, etc.), imputando valores faltantes en los vuelos desviados para estandarizar el conjunto de características.
• Modelos Generativos Evaluados:
  1. Gaussian Copula (GC): Modelo estadístico con Estimación de Densidad de Kernel (KDE) como línea base.
  2. TVAE (Tabular Variational Autoencoder): Modelo de aprendizaje profundo basado en autoencoders.
  3. CTGAN (Conditional Tabular GAN): Red Generativa Antagónica adaptada para datos tabulares con muestreo condicional.
  4. CopulaGAN: Combina transformaciones de cópula con aprendizaje adversario.
• Marco de Optimización Multiobjetivo:
  • Se implementó un algoritmo de Estimador Parzen Estructurado en Árbol (TPE) para la búsqueda automática de hiperparámetros.
  • Se diseñó una función objetivo compuesta que maximiza cuatro métricas simultáneamente (con peso 0.25 cada una):
    1. Realismo: Porcentaje de rutas origen-destino válidas (históricas).
    2. Similitud Estadística: Promedio de similitudes marginales y bivariadas.
    3. Utilidad (PR-AUC): Capacidad del modelo sintético para mejorar la predicción de desvíos.
    4. Fidelidad (Minimización F1): Se busca minimizar la capacidad de un clasificador para distinguir entre datos reales y sintéticos (un F1 bajo indica alta fidelidad).
• Evaluación en 6 Etapas: Los datos generados se evaluaron mediante: Realismo, Diversidad, Validez Operativa, Similitud Estadística, Fidelidad y Utilidad Predictiva.

3. Contribuciones Clave

1. Marco de Optimización Multiobjetivo: Desarrollo de un sistema de ajuste de hiperparámetros específico para eventos raros en aviación, superando las configuraciones predeterminadas de los modelos.
2. Evaluación Holística: Demostración de que la calidad de los datos sintéticos no puede medirse con una sola métrica; se requiere un enfoque multifacético (desde la validez operativa hasta la utilidad predictiva).
3. Evidencia de Mejora Predictiva: Comparación directa que muestra que los modelos entrenados con datos reales + sintéticos (escenario TATR) superan significativamente a los entrenados solo con datos reales (escenario TRTR), incluso sin características correlacionadas fuertes.
4. Análisis de Tamaño de Aumento: Estudio de cómo el volumen de datos sintéticos (de 300 a 200,000 registros) afecta la utilidad, identificando puntos de equilibrio y saturación.

4. Resultados Principales

• Mejora en la Calidad de los Datos: La optimización multiobjetivo mejoró drásticamente el rendimiento de los modelos.
  • Realismo: El modelo TVAE optimizado mejoró su puntuación de realismo 7 veces respecto a su configuración predeterminada. CTGAN y CopulaGAN duplicaron su realismo.
  • Diversidad: Los modelos optimizados capturaron mejor la variabilidad y los clústeres de los datos reales (visualizado mediante PCA y t-SNE).
  • Fidelidad: Los modelos optimizados lograron confundir eficazmente a los clasificadores (F1 y precisión balanceada cercanas a 0.5), indicando que los datos sintéticos son indistinguibles de los reales.
• Utilidad Predictiva (Predicción de Desvíos):
  • Los modelos entrenados con datos aumentados mostraron un aumento significativo en el PR-AUC (Área bajo la curva de Precisión-Recall) y el MCC (Coeficiente de Correlación de Matthews) en comparación con la línea base de solo datos reales.
  • Efecto del Tamaño: El PR-AUC aumentó rápidamente con el tamaño del aumento hasta alcanzar un punto de equilibrio de clases, mientras que el MCC declinó ligeramente con aumentos excesivos debido a un incremento en falsos positivos. Esto sugiere la necesidad de un tamaño de aumento óptimo.
• Limitaciones Detectadas: Algunos modelos optimizados generaron registros con correlaciones operativas implausibles (ej. tiempos de vuelo demasiado cortos para distancias largas), lo que indica la necesidad de incorporar restricciones de dominio específicas en el futuro.

5. Significado e Impacto

• Avance en la Predicción de Eventos Raros: El estudio demuestra que la generación de datos sintéticos, cuando se combina con una optimización rigurosa de hiperparámetros, es una herramienta viable para superar la escasez de datos en dominios críticos como la aviación.
• Independencia de Características: El método es efectivo incluso cuando faltan características fuertemente correlacionadas con el evento objetivo, lo que lo hace aplicable a diversos escenarios donde los datos históricos son limitados o incompletos.
• Aplicabilidad General: Aunque el caso de uso es la aviación, el marco metodológico es agnóstico al dominio y puede aplicarse a cualquier sector que requiera la predicción de eventos raros (finanzas, salud, ciberseguridad).
• Recomendación Operativa: Se destaca la importancia de elegir la métrica de optimización según el objetivo final: priorizar el PR-AUC si el objetivo es la detección máxima de eventos raros (seguridad), o el MCC si se busca un equilibrio para evitar falsas alarmas (eficiencia operativa).

En conclusión, el artículo valida que la aumentación de datos sintéticos optimizada es una estrategia superior a los métodos tradicionales para mejorar la resiliencia y eficiencia de los sistemas de gestión del tráfico aéreo frente a eventos disruptivos raros.