LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

Resumo Técnico: LLM4Delay

1. Problema e Contexto

A previsão de atrasos de voo é um foco crítico na Gestão do Tráfego Aéreo (ATM), pois reflete ineficiências no sistema. O artigo foca especificamente no atraso pós-terminal, que ocorre após a aeronave entrar na Área de Manobra Terminal (TMA) até o pouso e chegada ao portão.

• Desafio Atual: Métodos tradicionais de ATM dependem de dados tabulares fixos (como contagem de tráfego ou dados meteorológicos estruturados) ou de uma única trajetória de voo. Eles frequentemente falham em integrar informações textuais não estruturadas (como NOTAMs, METARs, TAFs) e múltiplas trajetórias simultâneas que refletem o congestionamento real do espaço aéreo.
• Limitação de Modelos Existentes: Modelos de séries temporais e redes neurais convencionais exigem parsers rígidos para converter texto em números e não conseguem capturar o contexto operacional dinâmico e semântico necessário para prever atrasos complexos. Além disso, a maioria dos modelos lida apenas com uma trajetória de referência, ignorando a interação com outras aeronaves no espaço aéreo.

2. Metodologia Proposta: LLM4Delay

O LLM4Delay é um framework baseado em Modelos de Linguagem Grande (LLMs) que trata a previsão de atraso como um problema de regressão multimodal. A abordagem integra dados textuais aeronáuticos e séries temporais de trajetórias de múltiplas aeronaves.

Componentes Principais:

1. Entrada Multimodal ($s_{i,t}$): O modelo recebe um cenário composto por:
   • Dados Textuais: Informações do voo, relatórios meteorológicos (METAR), previsões (TAF) e avisos aos aeronautas (NOTAMs).
   • Dados de Trajetória (Séries Temporais):
     • Trajetória de Foco ($X^f$): A trajetória da aeronave alvo desde a entrada na TMA.
     • Trajetórias Ativas ($X^a$): Aeronaves operando na TMA no momento atual (refletem congestionamento).
     • Trajetórias Anteriores ($X^p$): Trajetórias completas de aeronaves que já pousaram (refletem padrões históricos e tráfego de solo).
2. Arquitetura do Modelo:
   • Codificador de Trajetória Congelado ($f_{enc}$): Um encoder pré-treinado (usando aprendizado auto-supervisionado, como TS2Vec) que extrai representações de nível de instância das trajetórias. Isso captura a semântica das manobras sem exigir que o LLM aprenda a física do voo do zero.
   • Adaptação Cross-Modality (Projeção de Nível de Instância): Uma técnica inovadora proposta pelos autores. Em vez de tokenizar pontos de dados brutos (como dígitos) ou segmentos de características, o método projeta as representações de nível de instância (já aprendidas pelo encoder) diretamente no espaço de embeddings do LLM. Isso permite que o LLM entenda a "semântica" da trajetória completa.
   • Backbone LLM: Um modelo de linguagem pré-treinado (focado em modelos open-source pequenos, como Pythia-1B ou LLaMA) que processa a sequência concatenada de prompts textuais e embeddings de trajetória. O cabeçalho de linguagem é substituído por uma cabeça de regressão para prever a duração restante do voo ($\Delta t_{post}$).
   • Cabeça de Regressão: Um MLP simples que mapeia o estado oculto final do LLM para o valor de atraso previsto.

Treinamento:
O framework utiliza uma estratégia de fine-tuning eficiente: o encoder de trajetória e o backbone do LLM permanecem congelados. Apenas a camada de adaptação (projeção) e a cabeça de regressão são treinadas, reduzindo o custo computacional e permitindo atualizações contínuas conforme novas informações surgem.

3. Contribuições Chave

• Framework Multimodal Unificado: Primeira abordagem que integra nativamente dados textuais aeronáuticos (não estruturados) e múltiplas trajetórias de séries temporais dentro de um LLM para previsão de atrasos.
• Projeção de Nível de Instância (Instance-Level Projection): Uma nova técnica de adaptação cross-modality que mapeia representações semânticas de trajetórias inteiras para o espaço de linguagem, superando métodos que dependem de tokenização de baixo nível ou segmentação de características.
• Conjunto de Dados Multimodal: Construção e disponibilização de um dataset público que combina dados de voo, meteorologia, NOTAMs e dados de vigilância (ADS-B) para o Aeroporto Internacional de Incheon (2022).
• Contexto Operacional Dinâmico: O modelo consegue atualizar previsões em tempo real à medida que novas trajetórias e informações textuais se tornam disponíveis, simulando a consciência situacional de um controlador de tráfego aéreo.

4. Resultados e Desempenho

Os experimentos foram conduzidos em 12 conjuntos de dados mensais (2022) e comparados com:

• Modelos baseados em tabelas (Regressão Linear, SVM, XGBoost, MLP).
• Modelos baseados em trajetória única (LSTM, Transformer, TCN).
• Técnicas existentes de adaptação de séries temporais para linguagem (Tokenização, Reprogramação de Patch, Embedding de Segmento).

Principais Achados:

• Superioridade de Desempenho: O LLM4Delay superou consistentemente todas as linhas de base, alcançando um MAE (Erro Absoluto Médio) médio de 1.1261 minutos e um $R^2$ de 0.8634 para a duração pós-terminal.
• Comparação com Adaptação: A técnica de "Projeção de Nível de Instância" superou significativamente métodos como tokenização direta e reprogramação de patch, demonstrando que capturar a semântica da trajetória inteira é crucial.
• Ablação de Contexto: A remoção de dados de trajetória causou a maior queda de desempenho, seguida pela remoção de dados textuais. Isso confirma que tanto o movimento das aeronaves quanto o contexto operacional (clima, NOTAMs) são complementares e essenciais.
• Robustez do LLM: O modelo funcionou bem com backbones menores (Pythia-1B), indicando que a qualidade da adaptação e dos dados é mais importante do que apenas o tamanho do modelo.
• Visualização: Análises de sensibilidade mostraram que o modelo atribui alta importância aos tokens de trajetória, mas utiliza dados textuais para refinar previsões em casos específicos (ex: condições climáticas adversas).

5. Significado e Impacto

• Operacionalidade: O framework oferece uma ferramenta prática para controladores de tráfego aéreo (ATC), permitindo previsões de atraso contínuas e atualizadas, o que facilita a coordenação de serviços de solo e o gerenciamento de turnaround.
• Avanço Científico: Demonstra que LLMs, quando adequadamente adaptados via projeção de instâncias, podem processar dados físicos complexos (séries temporais de trajetórias) de forma mais eficaz do que modelos tradicionais, unindo a capacidade de raciocínio semântico dos LLMs com a precisão de modelos de séries temporais.
• Escalabilidade: A arquitetura modular permite a substituição fácil do backbone do LLM por modelos maiores e mais capazes no futuro, sem reestruturar todo o sistema.

Em resumo, o LLM4Delay representa um avanço significativo na previsão de atrasos de voo, superando as limitações dos métodos tradicionais ao tratar o problema como uma tarefa multimodal integrada, onde o contexto textual e a dinâmica espacial das trajetórias são compreendidos conjuntamente por um modelo de linguagem.