TTCD:Transformer Integrated Temporal Causal Discovery from Non-Stationary Time Series Data

Resumen Técnico: TTCD – Descubrimiento Causal Temporal Integrado con Transformer

Enunciado del Problema
El artículo aborda el desafío del descubrimiento causal en datos de series temporales no estacionarios, no lineales y ruidosos, un escenario común en dominios como la ciencia ambiental, la epidemiología y la economía. Los métodos existentes enfrentan limitaciones significativas: los enfoques basados en restricciones dependen de pruebas de independencia condicional (CIT) que se degradan con muestras limitadas y distribuciones complejas, generando a menudo clases de equivalencia en lugar de grafos precisos. Los métodos basados en puntuación, aunque mitigan la propagación de errores, imponen frecuentemente supuestos estadísticos fuertes respecto a las distribuciones de ruido o los procesos de generación de datos, y a menudo asumen estacionariedad. Además, los métodos recientes que abordan escenarios específicos de no estacionariedad (por ejemplo, detección de puntos de cambio o desplazamientos de distribución) carecen de una solución unificada para datos temporales no estacionarios generales sin requerir conocimiento previo del ruido o información paramétrica.

Metodología
Los autores proponen el marco Descubrimiento Causal Temporal Integrado con Transformer (TTCD), un enfoque de extremo a extremo diseñado para aprender tanto relaciones causales contemporáneas como con retraso a partir de series temporales no estacionarias sin supuestos restrictivos. El marco consta de dos módulos principales:

1. Aprendiz de Características No Estacionarias:

   • Este módulo utiliza una arquitectura codificador-decodificador basada en transformer mejorada con un mecanismo de atención especializado.
   • Integra atenciones en el dominio temporal y frecuencial para capturar patrones complejos. Una Transformada de Fourier convierte las señales del dominio temporal en espectros de frecuencia, permitiendo que la red atienda a bandas espectrales distintas.
   • Para abordar la atenuación de las características no estacionarias durante la normalización, el módulo introduce una Red de Perfilado No Estacionario y un Bloque de Aprendizaje de Factores de Desestacionariedad (DSB). La red de perfilado extrae estadísticas dinámicas y localizadas (por ejemplo, variabilidad local) para crear señales de meta-condicionamiento ($\gamma_Q, \gamma_K$) que adaptan dinámicamente los pesos de atención. El DSB aprende factores de escala ($\tau$) y vectores de desplazamiento ($\Delta$) para restaurar explícitamente las características intrínsecas no estacionarias, las cuales se integran luego en el cálculo de la atención.
   • El decodificador reconstruye la señal de entrada a partir de estas representaciones latentes. Crucialmente, el proceso de reconstrucción actúa como un filtro para destilar señales causales esenciales, mitigando el ruido y las correlaciones espurias mientras preserva dependencias significativas. La salida se proporciona al siguiente módulo en su escala no normalizada.

2. Aprendiz de Estructura Causal:

   • Este módulo opera sobre las señales destiladas y reconstruidas para inferir el grafo causal subyacente.
   • Emplea N capas convolucionales Causal Conv2D personalizadas no secuenciales, una para cada variable objetivo. Cada capa aprende los enlaces causales desde todos los posibles padres (tanto con retraso como contemporáneos) hacia una variable objetivo específica.
   • La matriz de adyacencia se deriva de los pesos aprendidos de estas capas convolucionales. Una operación de umbralización poda las dependencias débiles.
   • El proceso de aprendizaje impone una restricción de aciclicidad específicamente sobre la parte contemporánea de la matriz de adyacencia (ya que las aristas con retraso son inherentemente acíclicas por precedencia temporal) utilizando un método de Lagrangiano aumentado para convertir la restricción de igualdad en un problema de optimización sin restricciones.

Optimización
El marco se entrena utilizando una función objetivo que minimiza cuatro términos:

• Pérdida de Reconstrucción ($L_r$): Error Cuadrático Medio (MSE) entre la entrada y la salida reconstruida.
• Pérdida de Estimación de Variable Objetivo ($L_{tve}$): MSE entre los valores reales y los valores estimados mediante las conexiones causales aprendidas.
• Restricción de Aciclicidad: Impuesta mediante la exponencial de la traza de la matriz de adyacencia contemporánea, resuelta utilizando el método de Lagrangiano aumentado.
• Pérdida de Dispersión ($L_s$): Una penalización de norma $L_1$ para fomentar un grafo disperso con menos enlaces causales pero más fuertes.

Contribuciones Clave

1. Transformer No Estacionario: Una arquitectura novedosa que aprende características dominantes de series temporales utilizando atenciones en los dominios temporal y frecuencial, aumentadas por perfilado no estacionario y aprendizaje de características de desestacionariedad para retener características no estacionarias significativas.
2. Aprendiz de Estructura Causal Basado en Convolución: Un módulo personalizado que identifica simultáneamente enlaces causales con retraso y contemporáneos utilizando señales destiladas, incorporando restricciones de aciclicidad y penalizaciones de dispersión directamente en la optimización.
3. Marco Unificado: Un método capaz de capturar estructuras causales a partir de datos no estacionarios sin suposiciones respecto a distribuciones de ruido, procesos de generación de datos o independencia de variables.

Resultados
Los autores evaluaron TTCD en conjuntos de datos sintéticos (Conjunto de Datos-1 con ruido gaussiano y Conjunto de Datos-2 con ruido de Poisson) y conjuntos de datos del mundo real (Energía Cinética de Turbulencia, Hielo Marino Ártico y el punto de referencia FMRI). El método se comparó contra ocho líneas base de última generación, incluyendo CD-NOD, LIN, PCMCI+ y DAG-GNN.

• Rendimiento: TTCD superó consistentemente a las líneas base en Distancia de Hamming Estructural (SHD), Puntuación F1 y Tasa de Falsos Descubrimientos (FDR) en la mayoría de los conjuntos de datos.
• Hallazgos Específicos: TTCD logró los mejores resultados en el Conjunto de Datos Sintético-1, TKE y los conjuntos de datos de Hielo Marino Ártico. En el conjunto de datos FMRI, logró la mejor puntuación FDR con una SHD comparable a la de la línea base de mejor rendimiento (DAG-GNN).
• Estudios de Ablación: Eliminar el Bloque de Factor de Desestacionariedad (DSB), la atención en el dominio frecuencial, o reemplazar el transformer no estacionario con un transformer estándar resultó en un rendimiento degradado en todos los conjuntos de datos, confirmando la necesidad de cada componente para un descubrimiento causal robusto en entornos no estacionarios.

Significado
El artículo afirma que TTCD ofrece una solución robusta para el descubrimiento causal en contextos reales desafiantes donde los datos son no estacionarios, no lineales y ruidosos. Al relajar condiciones específicas sobre la distribución de datos y los mecanismos de generación, el marco evita la necesidad de conocimiento previo del ruido o información paramétrica requerida por otros métodos. La integración de la destilación de señales guiada por reconstrucción permite que el modelo filtre las correlaciones espurias de manera efectiva. Los autores posicionan a TTCD como un fuerte contendiente para el descubrimiento causal en series temporales, demostrando una precisión superior y consistencia con el conocimiento del dominio en comparación con los enfoques de última generación existentes.