Synthetic Flight Data Generation Using Generative Models

Título: Geração de Dados de Voo Sintéticos Utilizando Modelos Generativos

Autores: Karim Aly e Alexei Sharpanskykh (Universidade Tecnológica de Delft - TU Delft).

---

1. Problema e Motivação

A indústria da aviação enfrenta desafios significativos no desenvolvimento de modelos de Inteligência Artificial (IA) e Aprendizado de Máquina (ML) devido à escassez de dados e às restrições de confidencialidade.

• Limitações de Dados: Dados reais de voo são frequentemente protegidos por regulamentações de privacidade, restrições comerciais e barreiras regulatórias.
• Desequilíbrio de Classes: Eventos críticos (atrasos, cancelamentos, desvios) ocorrem com baixa frequência em conjuntos de dados históricos, criando um problema de desequilíbrio de classes que dificulta a previsão precisa desses eventos.
• Necessidade: Há uma necessidade urgente de gerar dados sintéticos realistas que preservem as propriedades estatísticas dos dados reais, permitindo o treinamento robusto de modelos preditivos sem violar a privacidade ou depender de dados raros.

2. Metodologia

O estudo propõe um framework de avaliação em quatro estágios para gerar e validar dados sintéticos de voo, comparando duas abordagens de modelagem:

A. Modelos Generativos Utilizados

1. Tabular Variational Autoencoder (TVAE): Um modelo de aprendizado profundo baseado em redes neurais, adaptado para dados tabulares mistos (categóricos, numéricos e datetime). Otimizado para maximizar a Evidence Lower Bound (ELBO).
2. Gaussian Copula (GC): Um modelo estatístico que modela dependências complexas entre variáveis preservando suas distribuições marginais, utilizando estimativa de densidade de kernel (KDE).

B. Pré-processamento e Engenharia de Atributos

• Fonte de Dados: Base de dados "TranStats" da BTS (EUA), focada em voos domésticos do estado de Nova York (Janeiro de 2023), com ~61.000 voos e 109 atributos originais.
• Tratamento de Dados:
  • Conversão de tempos locais para UTC.
  • Tratamento de valores ausentes: Colunas com dados faltantes foram divididas em uma coluna de valor imputado e uma coluna categórica indicando a presença/ausência.
  • Estrutura de Experimentos: Os dados foram organizados em três DataFrames distintos (df_utc_ts, df_utc_d, df_utc_d2) para testar diferentes combinações de atributos (timestamps vs. durações em minutos) e suas relações.
• Limitações Computacionais: Devido a restrições de memória, o GC foi treinado apenas com 5.000 voos, enquanto o TVAE utilizou todos os ~61.000 voos.

C. Framework de Avaliação (4 Estágios)

1. Diversidade: Análise visual via PCA e verificação do equilíbrio de classes (atrasos vs. pontualidade) para garantir que a variabilidade dos dados reais foi capturada.
2. Similaridade Estatística: Comparação numérica das distribuições marginais (Teste de Kolmogorov-Smirnov, Distância de Variação Total) e das dependências bivariadas (Similaridade de Correlação).
3. Fidelidade: Treinamento de 7 classificadores (Random Forest, KNN, etc.) para distinguir dados reais de sintéticos. Uma baixa precisão de classificação indica alta fidelidade (o modelo não consegue diferenciar).
4. Utilidade (Utility): Treinamento de 16 modelos de regressão para prever atrasos de chegada. Compara-se o desempenho de modelos treinados em dados sintéticos e testados em reais (TSTR) contra o baseline treinado e testado em dados reais (TRTR).

3. Principais Resultados

Desempenho do TVAE vs. GC

• TVAE:
  • Vantagem: Escalabilidade. Conseguiu processar o conjunto de dados completo (61k voos), gerando um conjunto sintético grande (52k voos limpos).
  • Desafio: Sensibilidade à seleção de atributos e tipos de dados. A representação de dados temporais como datetime causou colapso do espaço latente (posterior collapse). A melhoria ocorreu ao usar durações numéricas e incluir atributos específicos de partida (df_utc_d2).
  • Resultado de Utilidade: Modelos treinados com dados sintéticos do TVAE alcançaram precisão comparável ou superior aos modelos treinados com dados reais (RMSE médio de ~14.7 min vs. 15.5 min no baseline).
• Gaussian Copula (GC):
  • Vantagem: Superioridade estatística. Alcançou maior similaridade estatística (89.06% vs. 81.47% no TVAE) e fidelidade (menor capacidade dos classificadores de distinguir dados reais dos sintéticos).
  • Desvantagem Crítica: Custo computacional elevado limitou o tamanho do conjunto de dados sintéticos a ~2.400 voos.
  • Resultado de Utilidade: Apesar da alta fidelidade estatística, a utilidade preditiva foi inferior (RMSE de 20.11 min). A pequena amostra não conseguiu capturar a variabilidade de todas as rotas e padrões de atraso, levando a um underfitting em tarefas de previsão.

Descobertas Chave

• A simples similaridade estatística (distribuições univariadas) não garante utilidade preditiva; a escala do conjunto de dados é crucial para capturar padrões complexos de atrasos.
• A representação correta de atributos temporais e a inclusão de atributos derivados (como "Taxi In Time") são essenciais para a fidelidade do TVAE.
• O GC demonstrou ser mais robusto à seleção de recursos, mas sua aplicação em grandes volumes de dados de aviação é inviável com a configuração atual.

4. Contribuições Principais

1. Framework de Avaliação Abrangente: Proposição de um método rigoroso de 4 etapas (Diversidade, Similaridade, Fidelidade, Utilidade) especificamente adaptado para dados de aviação.
2. Análise Comparativa: Evidência empírica de que, para tarefas de aviação que exigem a captura de padrões raros e complexos, a escalabilidade do modelo (TVAE) pode ser mais importante do que a fidelidade estatística pura (GC), devido à necessidade de grandes volumes de dados para treinamento.
3. Validação de Viabilidade: Demonstração de que dados sintéticos podem substituir dados reais no treinamento de modelos de previsão de atrasos com precisão equivalente, resolvendo problemas de acesso a dados confidenciais.

5. Significado e Conclusão

O estudo conclui que a geração de dados sintéticos é uma solução viável e promissora para a aviação, permitindo o avanço de modelos preditivos de ML sem depender de dados restritos.

• Recomendação Prática: Para aplicações de grande escala em gestão de tráfego aéreo, modelos baseados em aprendizado profundo (como TVAE) são preferíveis devido à sua capacidade de escalar para grandes conjuntos de dados, mesmo que exijam um ajuste cuidadoso de hiperparâmetros e seleção de recursos.
• Trabalho Futuro: Os autores planejam explorar técnicas para mitigar o colapso posterior no TVAE, testar o GC em conjuntos de dados maiores com maior poder computacional e investigar a plausibilidade de novas rotas sintéticas geradas (que não existiam nos dados históricos).

Em suma, o artigo estabelece que dados sintéticos de alta qualidade podem ser gerados para suportar a tomada de decisão na aviação, superando barreiras de privacidade e escassez de dados, desde que a metodologia de geração e avaliação seja rigorosamente validada.