Resumen Técnico: Un Prior de DAG Causal para Conjuntos de Datos de Clasificación de Series Temporales Sintéticas

Planteamiento del Problema

Los flujos de trabajo actuales de los modelos fundacionales para la Clasificación de Series Temporales (TSC) suelen seguir un paradigma de dos etapas: un transformador de gran escala se preentrena en corpus de series temporales sin etiquetar para actuar como codificador, seguido de un clasificador específico del conjunto de datos (por ejemplo, una cabeza lineal, k-NN o TabPFN) ajustado sobre los embeddings congelados. Este enfoque sufre de una desconexión donde el codificador no puede utilizar las etiquetas de entrenamiento u otras muestras como contexto durante la extracción de representaciones, y las dos etapas optimizan objetivos diferentes.

Si bien el aprendizaje en contexto (ICL) ofrece una alternativa de una sola etapa para datos tabulares (ejemplificada por TabPFN), aplicar esto a TSC requiere un generador sintético capaz de producir conjuntos de datos completos y etiquetados con una estructura temporal inherente. Los priors sintéticos existentes para series temporales, como KernelSynth y CauKer, generan series temporales pero no logran producir etiquetas de clase, lo que resulta en conjuntos de datos incompletos. Además, el trabajo concurrente como TiCT utiliza priors sintéticos que no son nativamente multivariados, multiclasis o cross-modales. Existe una ausencia crítica de un prior que muestree conjuntos de datos etiquetados completos $(X, y)$ mediante el modelado explícito de las relaciones causales entre dos modalidades: atributos tabulares y series temporales.

Metodología

El Prior de DAG Causal

Los autores introducen un prior causal sintético que genera conjuntos de datos de TSC multivariados y etiquetados completos utilizando un único Grafo Acíclico Dirigido (DAG) basado en Modelos Causales Estructurales (SCM). A diferencia de los enfoques que despliegan SCM dinámicos de forma recurrente (lo que puede sufrir inestabilidad), este diseño inyecta estructura temporal de forma no recurrente dentro de un grafo acíclico.

Estructura del Grafo y Tipos de Nodos:

• Nodos Tipados: El DAG contiene nodos de dos tipos: tabulares (escalares, $\in \mathbb{R}$) y con valores de serie (trayectorias, $\in \mathbb{R}^T$).
• Inicialización de Raíz:
  • Raíces tabulares: Muestreadas de distribuciones normales o uniformes aleatorias.
  • Raíces de serie: Se muestrea una vez por conjunto de datos un kernel aleatorio (una composición de kernels base Lineal, RBF y Periódico). Las trayectorias por muestra se extraen luego del Proceso Gaussiano definido por este kernel con media cero.
• Aristas Causales y Mecanismos: Las aristas representan mapeos computacionales elegidos según el tipo de nodo hijo:
  • Hijos tabulares: Mapeados mediante pequeñas redes neuronales con no linealidades puntuales o funciones de discretización (convirtiendo salidas numéricas en categóricas).
  • Hijos de serie: Mapeados mediante convoluciones 1-D (Conv1D) aleatorias simples con padding causal, dilatación aleatoria y activación no lineal. Esta operación gestiona la mezcla entre canales (concatenación de padres) y la dependencia temporal.
  • Interacciones cross-modales: El grafo soporta naturalmente efectos causales de tabular $\to$ serie, serie $\to$ tabular, y serie $\to$ serie.
• Generación del Conjunto de Datos: Los datos de inicialización fresca se propagan a través del DAG. Los nodos de serie seleccionados forman las características de entrada $X \in \mathbb{R}^{n \times m \times T}$, mientras que un nodo tabular discretizado define la etiqueta de clase $y \in \{1, \dots, K\}^n$.
• Aumento: Para simular desafíos del mundo real, el generador aplica truncamiento predictivo (observaciones de longitud variable), falta de valores a nivel de valor, granularidad temporal aleatoria (pooling con saltos/repetición de pasos) y deformaciones de valores por canal.

Sonda: Adaptación de TabPFN v2.5

Para validar el prior, los autores ajustan TabPFN v2.5, un modelo basado en transformadores preentrenado en priors causales tabulares. El objetivo no es rediseñar la arquitectura, sino aislar la contribución del prior sintético. Se realizan adaptaciones mínimas para preservar la estructura temporal:

1. Tokenización: Los datos de entrada se aplanan a $n \times (m \cdot T)$. Para respetar los límites de los canales, el eje temporal de cada canal se rellena para que sea un múltiplo del tamaño del grupo de tokens $G$. Los tokens se forman agrupando $G$ pasos de tiempo consecutivos del mismo canal, evitando la mezcla de canales dentro de un solo token.
2. Normalización: Se desactiva el z-scoring por defecto por columna (que destruiría los patrones temporales dentro de un parche). En su lugar, se aplica el z-scoring por canal antes de la tokenización.
3. Inferencia: El modelo realiza aprendizaje en contexto condicionándose en todo el conjunto de entrenamiento etiquetado en un solo paso hacia adelante.

Contribuciones Clave

1. Un Prior Causal Cross-Modal: La introducción de un prior sintético que muestrea conjuntos de datos etiquetados completos desde un DAG que contiene tanto nodos tabulares como de valores de serie. Esto permite el modelado de regímenes causales complejos (por ejemplo, tipo de suelo $\to$ trayectoria de humedad $\to$ trayectoria de crecimiento $\to$ rendimiento) que los priors existentes no pueden generar.
2. Aislamiento de la Estructura Temporal: Al ajustar un modelo fundacional tabular (TabPFN) con cambios arquitectónicos mínimos, los autores demuestran que las mejoras en el rendimiento son impulsadas específicamente por la estructura temporal cross-modal del prior, más que por mejoras arquitectónicas o recetas de ajuste genéricas.
3. Diseño No Recurrente Escalable: El uso de un grafo acíclico con inyección temporal no recurrente evita la inestabilidad de entrenamiento y las dificultades de escalado asociadas con la dinámica recurrente en priors no entrenados.

Resultados Experimentales

Los autores evaluaron el enfoque en 75 conjuntos de datos UCR/UEA que encajan dentro del régimen operativo de TabPFN ($K \le 10$ clases, $m \cdot T \le 500$).

Configuraciones Comparativas:

• (A) TabPFN Estándar: Pesos preentrenados, preprocesamiento tabular por defecto.
• (B) Preentrenado + Inferencia Personalizada: Mismos pesos que (A) pero con el preprocesamiento que preserva el tiempo (tokenización alineada con parches, z-scoring por canal).
• (C) Ajustado (Nuestro enfoque): Configuración (B) ajustada sobre el prior de DAG completo.
• (D) Ajustado, Ablación Solo-Tabular: Configuración (B) ajustada sobre un prior donde todos los componentes específicos de la serie (raíces GP, Conv1D, aumentos de series temporales) están desactivados ($T=1$).

Hallazgos:

• Rendimiento: La configuración (C) logró la mejor precisión media y ROC–AUC en ambos tamaños de ensamble ($e=1$ y $e=8$).
  • En $e=8$, (C) alcanzó 0.8575 de precisión y 0.9444 de ROC–AUC, superando al modelo ascendente estándar (A) (0.8525 / 0.9405) y a la ablación solo-tabular (D) (0.8493 / 0.9393).
• Significancia Estadística:
  • El ajuste sobre el generador completo (C) superó significativamente a la ablación solo-tabular (D) con un valor p de Wilcoxon signed-rank de $3.0 \times 10^{-8}$ en ROC–AUC.
  • La ablación solo-tabular (D) no mostró una mejora estadísticamente significativa sobre el modelo ascendente sin modificar (A) ($p=0.10$ para AUC), e incluso fue superada por la línea base de inferencia personalizada (B) ($p=1.7 \times 10^{-4}$).
• Conclusión sobre el Mecanismo: Los resultados confirman que los mecanismos específicos de la serie (raíces GP y Conv1D) son necesarios para la ganancia de rendimiento; simplemente ajustar sobre un prior de DAG con la forma de entrada correcta pero sin estructura temporal no es suficiente y puede ser perjudicial.

Significancia y Reivindicaciones

El artículo afirma abordar un vacío en la literatura respecto a los priors sintéticos para TSC. Al introducir un prior que modela nativamente las relaciones causales entre atributos tabulares y series temporales, los autores permiten el entrenamiento de clasificadores en contexto que pueden aprovechar el espacio completo de estructuras cross-modales.

La principal significancia reside en el aislamiento de la señal de aprendizaje: los autores demuestran que la mejora en el rendimiento de TSC es directamente atribuible a la estructura temporal cross-modal codificada en el prior sintético, más que a la arquitectura misma. Esto valida la hipótesis de que las "redes ajustadas por priors" pueden aprender sesgos inductivos útiles para series temporales si el prior captura correctamente los mecanismos causales del dominio.

Los autores mantienen la modestia respecto al alcance, señalando que:

• El modelo resultante es una "sonda" y no un modelo fundacional de TSC de vanguardia (ya que el backbone no fue rediseñado).
• La evaluación se restringe al régimen operativo específico de TabPFN ($m \cdot T \le 500$), excluyendo series largas o de alta dimensión.
• El trabajo demuestra el valor incremental de los mecanismos de series sobre un prior tabular, pero no reclama una superioridad absoluta sobre todos los métodos de TSC existentes.
• El marco es extensible a otras estructuras de datos (por ejemplo, imágenes, video) cambiando los tipos de nodos y mecanismos, lo que sugiere un potencial más amplio para los priors causales multimodales.