Improving Variational Autoencoder using Random Fourier Transformation: An Aviation Safety Anomaly Detection Case-Study

Título: Mejora de Autoencoders Variacionales mediante Transformación de Fourier Aleatoria: Un Caso de Estudio de Detección de Anomalías en Seguridad Aérea

1. Problema

Las redes neuronales profundas (DNN), incluidos los Autoencoders (AE) y los Autoencoders Variacionales (VAE), enfrentan un desafío fundamental conocido como "sesgo espectral" (spectral bias). Este fenómeno describe la tendencia de las redes neuronales a aprender preferentemente componentes de baja frecuencia de los datos (patrones suaves y generales) antes de poder capturar componentes de alta frecuencia (detalles finos, variaciones sutiles y características localizadas).

En el contexto de la detección de anomalías, especialmente en datos complejos como las series temporales de seguridad aérea, esta limitación es crítica. Las anomalías a menudo se manifiestan como desviaciones de alta frecuencia o patrones sutiles que los modelos convencionales ignoran o aprenden muy lentamente, lo que resulta en una reconstrucción deficiente de los datos anómalos y, por ende, en una baja tasa de detección.

2. Metodología

Los autores proponen integrar la Transformación de Fourier Aleatoria (RFT, por sus siglas en inglés) como una capa precursora en la arquitectura de las redes neuronales para mitigar el sesgo espectral.

• Transformación de Fourier Aleatoria (RFT): Se basa en el mapeo de los datos de entrada a un espacio de características de baja dimensión utilizando combinaciones lineales aleatorias de funciones base sinusoidales. Matemáticamente, transforma la entrada $x$ en un espacio $\gamma(x)$ mediante funciones seno y coseno con frecuencias aleatorias. Esto permite que la red acceda directamente a representaciones de frecuencia, facilitando el aprendizaje de patrones de alta frecuencia desde el inicio del entrenamiento.
• Transformación de Fourier Entrenable (TFT): Los autores introducen una variante donde los parámetros de frecuencia ($b_i$) de la transformación no son fijos ni puramente aleatorios, sino que se optimizan mediante retropropagación (backpropagation) dentro del grafo de cómputo. Esto convierte la capa RFT en una capa neuronal entrenable que busca la expansión de Fourier óptima para el problema específico.
• Arquitecturas Evaluadas:
  • Autoencoder (AE) y Autoencoder Variacional (VAE): Se utilizan para la reconstrucción de datos. El VAE incorpora un espacio latente probabilístico y minimiza la Evidencia Lower Bound (ELBO), equilibrando la pérdida de reconstrucción y la divergencia KL.
  • Detección de Anomalías: Se basa en el error de reconstrucción. Los datos anómalos, al no seguir la distribución de los datos normales (nominales), generan errores de reconstrucción más altos.
• Análisis de Frecuencia (F-Principle): Se emplea el análisis del Principio de Frecuencia para descomponer las señales y observar cómo evolucionan las redes durante el entrenamiento, comparando la velocidad de aprendizaje de frecuencias bajas versus altas.

3. Contribuciones Clave

• Mitigación del Sesgo Espectral: Demostración empírica de que incorporar RFT permite a las redes neuronales aprender frecuencias bajas y altas simultáneamente, a diferencia de las DNN convencionales que aprenden primero las bajas y luego las altas.
• Nueva Arquitectura para Detección de Anomalías: Desarrollo de un marco que integra RFT y TFT en AE y VAE para la detección de anomalías en datos de aviación de alta dimensión.
• Propuesta de TFT: Introducción y evaluación de una versión entrenable de la transformación de Fourier, explorando si la optimización de los parámetros de frecuencia ofrece ventajas sobre la versión puramente aleatoria.
• Validación en Datos Reales: Aplicación exitosa del método en el conjunto de datos Dashlink de la NASA, que contiene series temporales de sensores aeronáuticos para detectar anomalías en el despliegue de flaps, desviaciones de trayectoria y anomalías de velocidad durante el aterrizaje.

4. Resultados

Los experimentos se dividieron en conjuntos de datos sintéticos de baja dimensión y el conjunto de datos de aviación de alta dimensión.

• Comportamiento de Aprendizaje (Principio de Frecuencia):
  • Las redes "vanilla" (sin RFT) mostraron el comportamiento típico de sesgo espectral: aprendizaje lento de características de alta frecuencia.
  • Las redes con RFT y TFT mostraron una convergencia más rápida y la capacidad de aprender frecuencias bajas y altas al mismo tiempo, eliminando el sesgo espectral.
• Rendimiento en Detección de Anomalías (Dashlink):
  • Superioridad General: Los modelos con transformaciones de Fourier (tanto RFT como TFT) superaron consistentemente a los modelos base (AE y VAE estándar) en métricas de Precisión, Recall y F1-score para los tres tipos de anomalías (Flaps, Path, Speed).
  • Comparación RFT vs. TFT:
    • En el caso de Flaps, RFT y TFT tuvieron un rendimiento muy similar, ambos superando a los modelos base.
    • En el caso de Path, RFT superó significativamente a TFT, sugiriendo que la optimización de gradientes no siempre mejora la transformación de Fourier y que la aleatoriedad inicial puede ser suficiente o incluso preferible.
    • En el caso de Speed, TFT mostró una ligera mejora sobre RFT en algunos casos, pero los beneficios generales de entrenar los parámetros de Fourier fueron inconclusos y marginales.
  • Análisis de Variables: El modelo con RFT fue capaz de discernir anomalías en variables críticas como la velocidad aérea calculada y el ángulo de ataque, mostrando discrepancias más marcadas entre datos nominales y anómalos en comparación con los modelos base.

5. Significado e Implicaciones

• Eficacia en Seguridad Aérea: El estudio demuestra que la integración de RFT mejora la capacidad de los modelos de IA para detectar anomalías operativas críticas en aviación, lo cual es vital para la seguridad de vuelo y la prevención de incidentes.
• Simplicidad vs. Complejidad: Un hallazgo crucial es que la versión aleatoria (RFT) es tan efectiva, o en algunos casos más efectiva, que la versión entrenable (TFT). Esto sugiere que para muchas aplicaciones de reconstrucción y detección de anomalías, el costo computacional y la complejidad de entrenar los parámetros de Fourier pueden no ser necesarios, ya que la transformación aleatoria ya proporciona un espacio de características óptimo para romper el sesgo espectral.
• Dirección Futura: La investigación sugiere que el enfoque debe estar en la arquitectura de la transformación de Fourier aleatoria como una herramienta de regularización y mejora de características, más que en la optimización exhaustiva de sus parámetros internos, abriendo nuevas vías para el diseño de redes neuronales más robustas y eficientes en la detección de patrones complejos.