LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

Resumen Técnico: LLM4Delay

1. Planteamiento del Problema

La predicción de retrasos en vuelos es un componente crítico para la gestión del tráfico aéreo (ATM). Aunque existen numerosos estudios sobre predicción de retrasos, la mayoría de los enfoques actuales presentan limitaciones significativas:

• Dependencia de características fijas: Los métodos tradicionales utilizan datos tabulares estructurados que requieren parsers manuales rígidos, lo que dificulta la integración de textos no estructurados como informes meteorológicos (METAR, TAF) o avisos a los navegantes (NOTAM).
• Limitación en el contexto espacial: Muchos modelos basados en trayectorias solo analizan la trayectoria de un solo avión (el "foco"), ignorando la congestión del espacio aéreo y las interacciones con otras aeronaves.
• Falta de integración multimodal: Existe una brecha en la capacidad de los modelos actuales para procesar simultáneamente datos textuales (contexto operativo) y series temporales (trayectorias de vuelo) de manera efectiva para predecir retrasos en la fase post-terminal (desde la entrada en la zona de maniobras terminal -TMA- hasta la llegada).

El objetivo de este trabajo es desarrollar un marco que permita a los controladores de tráfico aéreo (ATC) predecir con mayor precisión el retraso de llegada, integrando información textual compleja y múltiples trayectorias de aeronaves.

2. Metodología

El marco propuesto, LLM4Delay, es un sistema multimodal que combina un Modelo de Lenguaje Grande (LLM) preentrenado con un codificador de trayectorias preentrenado. La arquitectura se divide en los siguientes componentes clave:

• Formulación del Problema:

  • Se define el retraso post-terminal ($\Delta t_{post}$) como el tiempo transcurrido desde la entrada en la TMA hasta el aterrizaje real.
  • El modelo toma como entrada un escenario $s_{i,t}$ que incluye:
    • Datos Textuales: Información de vuelo, METAR (tiempo actual), TAF (pronóstico) y NOTAMs.
    • Datos de Trayectoria: Tres grupos de trayectorias en series temporales:
      1. Foco ($X^f$): Trayectoria del avión objetivo.
      2. Activas ($X^a$): Trayectorias de otras aeronaves en la TMA (reflejan congestión actual).
      3. Previas ($X^p$): Trayectorias completadas de vuelos anteriores (reflejan patrones históricos y condiciones del suelo).

• Adaptación de Modos Cruzados (Cross-Modality Adaptation):

  • Proyección a Nivel de Instancia (Instance-Level Projection): Esta es la contribución central. A diferencia de métodos anteriores que tokenizan series temporales en dígitos o parches (que obligan al LLM a inferir dependencias temporales desde cero), LLM4Delay utiliza un codificador de trayectorias preentrenado (fijo) para generar representaciones semánticas de nivel de instancia.
  • Estas representaciones se proyectan mediante una red MLP ligera al espacio de incrustación del LLM. Esto permite que el LLM procese las trayectorias como "conceptos" semánticos completos en lugar de secuencias de números crudos.

• Arquitectura del Modelo:

  • Backbone LLM: Se utiliza un LLM de código abierto (ej. Pythia-1B, LLaMA) con sus parámetros congelados. Se reemplaza la cabeza de modelado de lenguaje por una cabeza de regresión.
  • Codificador de Trayectorias: Se preentrena un codificador (usando aprendizaje auto-supervisado con TS2Vec) en datos de trayectorias del Aeropuerto de Incheon. Este codificador permanece congelado durante el entrenamiento del modelo final.
  • Entrenamiento: Solo se actualizan las capas de adaptación (proyección de trayectorias) y la cabeza de regresión, minimizando el costo computacional y aprovechando el conocimiento preexistente.

3. Contribuciones Clave

1. Marco Multimodal Unificado: Introducción de LLM4Delay, capaz de integrar datos aeronáuticos textuales (METAR, TAF, NOTAM) y múltiples series temporales de trayectorias en un solo modelo basado en tokens.
2. Proyección a Nivel de Instancia: Propuesta de una técnica de adaptación novedosa que mapea representaciones semánticas de trayectorias completas (nivel de instancia) al espacio del lenguaje, superando las limitaciones de los métodos de tokenización o parches que pierden el contexto global de la maniobra.
3. Conjunto de Datos Multimodal: Construcción y publicación de un dataset multimodal para la predicción de retrasos que incluye información de vuelo, meteorología y múltiples trayectorias de vigilancia (ADS-B) para el Aeropuerto Internacional de Incheon.
4. Validación Operativa: Demostración de que el modelo puede actualizar predicciones en tiempo real a medida que llega nueva información, simulando el flujo de trabajo de un controlador de tráfico aéreo.

4. Resultados y Evaluación

El modelo fue evaluado en 12 conjuntos de datos mensuales (2022) comparado con baselines de tablas, modelos de series temporales (LSTM, Transformer, TCN) y otras técnicas de adaptación de modos cruzados.

• Rendimiento Superior: LLM4Delay superó consistentemente a todos los modelos baselines.
  • Error Absoluto Medio (MAE): Logró un MAE promedio de 1.1261, superando a los mejores modelos basados en trayectorias (TCN: 1.3956) y modelos tabulares (XGBoost: 2.8047).
  • Coeficiente de Determinación ($R^2$): Alcanzó un $R^2$ promedio de 0.8634 para la predicción de la duración post-terminal, indicando una alta capacidad explicativa.
• Análisis de Ablación:
  • Adaptación: La "Proyección a Nivel de Instancia" superó significativamente a la tokenización directa y a la reprogramación de parches, demostrando que la semántica de alto nivel es crucial.
  • Codificadores: El uso de TS2Vec como codificador de trayectorias fue el más efectivo, seguido de TCN-AE e InfoTS.
  • Backbone LLM: Pythia-1B mostró el mejor rendimiento entre los LLMs probados, sugiriendo que la capacidad lingüística y el corpus de entrenamiento son más importantes que el tamaño masivo del modelo para esta tarea específica.
  • Importancia del Contexto: La eliminación de datos de trayectoria causó la mayor caída en el rendimiento, seguida de la eliminación de datos textuales. Esto confirma que tanto el movimiento de las aeronaves como el contexto operativo (clima, restricciones) son complementarios e indispensables.
• Visualización: Los análisis de sensibilidad mostraron que el modelo presta atención concentrada a las incrustaciones de las trayectorias, pero también utiliza eficazmente los tokens textuales cuando son relevantes (ej. condiciones meteorológicas adversas).

5. Significado e Impacto

• Relevancia Operativa: El marco permite actualizaciones continuas de las predicciones a medida que el avión avanza hacia el destino, lo cual es vital para la coordinación de servicios en tierra y la gestión de la rotación de aeronaves.
• Flexibilidad: Al tratar todos los inputs como secuencias de tokens, el modelo elimina la necesidad de parsers rígidos para textos no estructurados (como NOTAMs), lo que lo hace más robusto ante cambios en los formatos de datos.
• Eficiencia: Al mantener congelados el LLM y el codificador de trayectorias, el método es computacionalmente eficiente y escalable, permitiendo el uso de hardware de consumo (una sola GPU) para despliegues potenciales.
• Futuro: Este trabajo sienta las bases para modelos multimodales más avanzados en aviación que puedan integrar otros tipos de datos (imágenes de radar, audio de comunicaciones) y extenderse a otras fases del vuelo.

En conclusión, LLM4Delay demuestra que la adaptación efectiva de modelos de lenguaje grandes a datos de series temporales de aviación, mediante la preservación de la semántica de nivel de instancia, mejora significativamente la precisión en la predicción de retrasos, ofreciendo una herramienta prometedora para la gestión moderna del tráfico aéreo.