Improving Variational Autoencoder using Random Fourier Transformation: An Aviation Safety Anomaly Detection Case-Study

Título: Melhoria de Autoencoders Variacionais usando Transformada de Fourier Aleatória: Um Estudo de Caso de Detecção de Anomalias na Segurança Aérea

1. Problema e Motivação

O artigo aborda um limite fundamental nas Redes Neurais Profundas (DNNs), conhecido como viés espectral (spectral bias). Redes neurais convencionais tendem a aprender preferencialmente componentes de baixa frequência dos dados (padrões suaves e globais) e demoram significativamente para aprender componentes de alta frequência (detalhes finos, variações sutis e características localizadas).

No contexto de detecção de anomalias, especialmente em dados complexos como os de segurança aérea, essa limitação é crítica. Anomalias muitas vezes manifestam-se como desvios sutis ou padrões de alta frequência que os modelos tradicionais podem ignorar ou reconstruir incorretamente, levando a falsos negativos. O objetivo do estudo é mitigar esse viés espectral em Autoencoders (AEs) e Autoencoders Variacionais (VAEs) para melhorar a capacidade de reconstrução e detecção de anomalias.

2. Metodologia

Os autores propõem a integração da Transformada de Fourier Aleatória (RFT - Random Fourier Transformation) como uma camada pré-processadora nas arquiteturas de redes neurais.

• Transformada de Fourier Aleatória (RFT):

  • Baseia-se no teorema de Bochner, mapeando dados de entrada para um espaço de características de dimensão inferior usando combinações lineares aleatórias de funções base senoidais e cossenoidais.
  • A função de mapeamento é dada por: $\gamma(x) = [a_1 \cos(2\pi b_1^T x), a_1 \sin(2\pi b_1^T x), \dots]$.
  • Isso expande os dados para um espaço de Fourier, permitindo que a rede neural capture tanto frequências baixas quanto altas simultaneamente.

• Transformada de Fourier Treinável (TFT):

  • Os autores introduzem uma variante onde os parâmetros da transformação (especificamente as frequências $b_i$) não são fixos aleatoriamente, mas são otimizáveis via retropropagação (backpropagation) dentro do grafo computacional da rede.
  • A hipótese é que permitir o treinamento desses parâmetros poderia levar a uma representação de Fourier ainda mais otimizada para o conjunto de dados específico.

• Arquiteturas Testadas:

  • Autoencoder (AE) e Autoencoder Variacional (VAE): Utilizados para tarefas de reconstrução. O VAE incorpora um espaço latente probabilístico e otimiza a Evidence Lower Bound (ELBO), equilibrando a perda de reconstrução e a divergência KL.
  • Comparação: Foram testados modelos "Vanilla" (sem RFT), com RFT e com TFT.

• Conjuntos de Dados:

  1. Dados Sintéticos de Baixa Dimensão: Usados para validar o princípio de aprendizado de frequências (incluindo ondas senoidais com múltiplas frequências).
  2. Conjunto de Dados Dashlink (Aviação): Dados de séries temporais de alta dimensão (10 variáveis) de 16.000 voos comerciais durante a fase de aproximação final. Inclui anomalias reais relacionadas ao atraso no acionamento de flaps, desvios de trajetória e anomalias de velocidade.

3. Principais Contribuições

1. Análise do Princípio da Frequência (F-Principle): O estudo demonstra empiricamente que, enquanto DNNs convencionais aprendem frequências baixas primeiro e altas gradualmente, os modelos com RFT aprendem frequências baixas e altas simultaneamente, mitigando o viés espectral.
2. Integração de RFT em AEs e VAEs: Propõe um framework onde a RFT atua como uma camada precursora, melhorando a capacidade de reconstrução de detalhes finos em dados de alta dimensão.
3. Investigação da Variante Treinável (TFT): Explora se a otimização dos parâmetros de Fourier traz benefícios adicionais em relação à versão aleatória fixa, oferecendo uma análise comparativa detalhada.
4. Aplicação em Segurança Aérea: Validação prática do método em um cenário crítico de detecção de anomalias operacionais, demonstrando ganhos em métricas de precisão, recall e F1-score.

4. Resultados

Os resultados foram divididos em experimentos de benchmark e detecção de anomalias reais:

• Análise de Frequência (Dados Sintéticos):

  • Modelos com RFT e TFT convergiram mais rápido para os dados de referência, especialmente em regiões com características agudas (alta frequência).
  • A análise de decomposição espectral confirmou que os modelos com Fourier aprendem todas as frequências ao mesmo tempo, ao contrário do modelo vanilla.
  • Observação Crítica: Não houve diferença significativa de desempenho entre RFT (aleatório) e TFT (treinável), sugerindo que a aleatoriedade inicial já é suficiente para capturar as características necessárias.

• Detecção de Anomalias (Dados de Aviação - Dashlink):

  • Desempenho Geral: Modelos com RFT e TFT superaram consistentemente os modelos vanilla (AE e VAE) em todas as métricas (Precisão, Recall e F1-score) para os três tipos de anomalias (Flaps, Trajetória e Velocidade).
  • AE vs. VAE: O VAE geralmente apresentou melhor desempenho que o AE devido à sua natureza probabilística. No entanto, a introdução de RFT reduziu a lacuna de desempenho entre AE e VAE, indicando que a RFT melhora tanto a reconstrução determinística quanto a probabilística.
  • RFT vs. TFT:
    • Para o conjunto de dados de Flaps e Trajetória, o RFT e o TFT tiveram desempenho comparável, com o RFT sendo ligeiramente superior ou igual em alguns casos.
    • Para o conjunto de dados de Velocidade, o TFT mostrou um leve aumento em relação ao RFT, mas ambos ainda ficaram aquém do desempenho geral do AE com RFT em termos de convergência de baixas frequências.
    • Conclusão sobre TFT: Em geral, a variante treinável não trouxe benefícios substanciais em relação à variante aleatória. Isso sugere que a complexidade adicional de treinar os parâmetros de Fourier pode não ser necessária, pois a projeção aleatória já fornece uma representação rica o suficiente.

• Análise de Variáveis: A análise detalhada mostrou que os modelos com RFT conseguiram distinguir anomalias em variáveis específicas (como Velocidade Calculada e Ângulo de Ataque) com maior clareza do que os modelos base.

5. Significado e Conclusão

O estudo conclui que a Transformada de Fourier Aleatória (RFT) é uma técnica eficaz e computacionalmente eficiente para mitigar o viés espectral em redes neurais, melhorando significativamente a capacidade de modelos de reconstrução (AEs e VAEs) de detectar anomalias em dados complexos e de alta dimensão.

A principal descoberta técnica é que a aleatoriedade na transformação de Fourier é suficiente para obter ganhos de desempenho; a tentativa de tornar essa transformação "treinável" (TFT) não resultou em melhorias consistentes ou significativas nos casos de uso analisados. Isso implica que, para aplicações de detecção de anomalias em segurança aérea e possivelmente em outros domínios, a implementação de RFT fixa é uma solução robusta, escalável e de menor custo computacional do que tentar otimizar os parâmetros de Fourier via gradiente.

O trabalho reforça a importância de considerar a estrutura de frequência dos dados no design de arquiteturas de aprendizado profundo, especialmente quando a detecção de detalhes sutis (alta frequência) é crítica para a segurança e tomada de decisão.