Resumen Técnico: FADTI – Difusión Impulsada por Fourier y Atención para la Imputación de Series Temporales Multivariantes

1. Definición del Problema

La Imputación de Series Temporales Multivariantes (MTSI, por sus siglas en inglés) aborda el problema persistente de los valores faltantes en dominios como la atención médica, la previsión de tráfico y el modelado biológico. Estas brechas surgen debido a fallos en los sensores, pérdidas de comunicación e muestreo irregular. Aunque los métodos existentes, particularmente los modelos basados en Transformers (por ejemplo, SAITS) y los modelos basados en difusión (por ejemplo, CSDI), han mejorado el modelado de dependencias temporales y la estimación de la incertidumbre, enfrentan una limitación crítica: la distorsión de frecuencia.

Los enfoques actuales suelen depender fuertemente del modelado en el dominio del tiempo. Al aplicar técnicas de dominio de frecuencia directamente a entradas enmascaradas o con relleno de ceros, las posiciones faltantes se tratan como valores reales de la señal. Esta proyección ingenua distorsiona el espectro estimado, causando que las características de frecuencia se vean dominadas por artefactos de ausencia en lugar de la dinámica temporal subyacente. En consecuencia, la recuperación de patrones periódicos de largo alcance o brechas temporales estructuradas bajo una dispersión severa sigue siendo un desafío.

2. Metodología: El Marco FADTI

Los autores proponen FADTI (Difusión Impulsada por Fourier y Atención), un marco de difusión condicional diseñado para integrar el sesgo inductivo del dominio de la frecuencia en el proceso de eliminación de ruido sin estimar directamente los espectros a partir de entradas corruptas.

Arquitectura Central

FADTI sigue un proceso de difusión condicional donde el proceso inverso está condicionado en los valores observados ($x^{co}_0$) y la máscara de observación ($m$). La red de eliminación de ruido consiste en bloques residuales apilados que combinan tres componentes clave:

1. Modelado Temporal-Frecuencial: La innovación central, el módulo de Proyección de Sesgo de Fourier (FBP).
2. Atención de Características: Captura las dependencias entre variables.
3. Filtrado con Compuerta (Gated Filtering): Actualiza las representaciones residuales de manera eficiente.

El Módulo de Proyección de Sesgo de Fourier (FBP)

A diferencia de la proyección de Fourier directa sobre entradas enmascaradas, el FBP inyecta un sesgo de conocimiento de frecuencia aprendible en los estados ocultos intermedios de la red de eliminación de ruido. El proceso opera de la siguiente manera:

• Descomposición: Los estados ocultos intermedios ($H$) se separan en una tendencia suave ($H_{trend}$) y un residuo de alta frecuencia ($H_{res}$) utilizando el agrupamiento (pooling) promedio 1D.
• Transformación Espectral: Se aplica un operador espectral $F_\nu(\cdot)$ canal por canal a estos componentes. El artículo instancia esto con tres transformaciones:
  • DFT (Transformada Discreta de Fourier): Captura la periodicidad global y las tendencias estables.
  • STFT (Transformada de Fourier de Tiempo Corto): Captura patrones de frecuencia localizados y variables en el tiempo.
  • FrSST (Transformada de Fourier Fraccionaria de Tiempo Corto basada en Synchrosqueezing): Agudiza las estructuras de tiempo-frecuencia no estacionarias.
• Inyección de Sesgo: Los coeficientes espectrales complejos se proyectan sobre bases fijas de coseno y seno para retener la información de magnitud y fase. Estos se mapean de vuelta al espacio de características temporales para formar un sesgo aprendible ($H_{freq}$).
• Integración: Este sesgo consciente de la frecuencia se fusiona con las características originales y se alimenta a la autoatención temporal o a convoluciones dilatadas con compuerta, guiando a la red para preservar tendencias suaves y estructuras periódicas.

Entrenamiento e Inferencia

• Entrenamiento: El modelo se entrena utilizando un objetivo de coincidencia de puntuación de eliminación de ruido enmascarado. Se muestrea una máscara condicional ($M^{co}$) a partir de la máscara de observación para revelar valores al modelo, mientras que una máscara objetivo ($M^{ta}$) oculta los valores originalmente observados para proporcionar supervisión. La pérdida se calcula únicamente en las entradas objetivo supervisadas.
• Inferencia: Las entradas faltantes se inicializan con ruido gaussiano. El modelo aplica iterativamente el proceso de difusión inversa, condicionándose en los valores observados fijos, para generar imputaciones probabilísticas.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Marco FADTI: Un marco de difusión condicional consciente de la frecuencia que integra el sesgo inductivo del dominio de Fourier directamente en el proceso de eliminación de ruido, abordando el desafío de los patrones de ausencia estructurados.
2. Módulo FBP Flexible: Un nuevo módulo que soporta instancias de DFT, STFT y FrSST. Esto permite el modelado adaptativo de estructuras temporales tanto estacionarias como no estacionarias sin depender de espectros corruptos de entradas enmascaradas.
3. Modelado Temporal Eficiente: La incorporación de un módulo de modelado local ligero (convolución con compuerta) para complementar las dependencias de atención global, reduciendo la carga computacional.
4. Evaluación Exhaustiva: Experimentos extensos en múltiples conjuntos de datos de referencia, incluyendo un conjunto de datos de series temporales biológicas recientemente introducido (Yeast), demostrando mejoras consistentes en precisión, estimación de la incertidumbre y eficiencia de muestreo.

4. Resultados Experimentales

Los autores evaluaron FADTI en tres conjuntos de datos del mundo real: ETT (Energía), Weather (Meteorología) y Yeast (Biología), bajo patrones de ausencia puntual y temporal con tasas de ausencia del 10% y 50%.

• Precisión (MAE): FADTI logró el Error Absoluto Medio (MAE) más bajo en la mayoría de los entornos. Notablemente, mostró ganancias significativas sobre los modelos base como CSDI, MTSCI y SAITS, particularmente bajo altas tasas de ausencia (50%) y en el conjunto de datos Yeast.
• Incertidumbre (CRPS): FADTI demostró una calibración y nitidez superiores, logrando el menor Puntaje de Probabilidad Clasificado Continuamente (CRPS) en la mayoría de los casos, lo que indica una mejor calidad probabilística.
• Robustez: El modelo mantuvo un fuerte rendimiento bajo patrones de ausencia temporal (brechas contiguas), donde muchos modelos base se degradaron significativamente.
• Eficiencia de Muestreo: FADTI logró mejor precisión y CRPS con menos muestras generadas ($K$) en comparación con CSDI y MTSCI. Por ejemplo, FADTI con $K=2$ superó a CSDI y MTSCI con $K=28$ en el conjunto de datos ETT.
• Estudios de Ablación:
  • Eliminar FBP (usando retroproyección simple) resultó en caídas de rendimiento, confirmando que el acoplamiento del sesgo con la proyección de frecuencia es crítico.
  • Las variantes basadas en DFT funcionaron mejor en patrones regulares (ETT, Weather), mientras que las variantes STFT y FrSST fueron más competitivas para brechas de ausencia temporal que requieren un análisis espectral localizado.
• Previsión Zero-Shot: En un experimento de previsión zero-shot de imputación a previsión en Yeast, FADTI superó a los modelos deterministas y al modelo de difusión MTSCI, mostrando fuertes capacidades de extrapolación.

5. Significación y Reivindicaciones

El artículo afirma que FADTI representa un avance significativo al cerrar la brecha entre el procesamiento de señales en el dominio de la frecuencia y los modelos de difusión generativa para la imputación. Su importancia radica en:

• Resolver la Distorsión de Frecuencia: Al proyectar estados ocultos intermedios en lugar de entradas enmascaradas crudas, FADTI evita los artefactos espectrales que plagan los enfoques de frecuencia ingenuos.
• Manejo de la No Estacionariedad: La inclusión de FrSST permite al modelo capturar patrones oscilatorios no estacionarios, una capacidad raramente vista en la literatura de MTSI.
• Robustez en Regímenes Dispersos: El marco es particularmente efectivo bajo altas tasas de ausencia y patrones de ausencia irregulares, comunes en los datos de sensores del mundo real.
• Generalizabilidad: La introducción del conjunto de datos Yeast y los exitosos resultados de previsión zero-shot sugieren que la aplicabilidad del modelo se extiende más allá de las tareas de imputación estándar hacia entornos biológicos complejos y no estacionarios.

Los autores concluyen que, si bien FADTI logra un rendimiento de vanguardia, el trabajo futuro se centrará en extender el marco a rejillas temporales irregulares y transformadas espectrales adaptativas.