Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

Resumen Técnico: ¿Ocultan los Benchmarks de Modelos Fundacionales de Series Temporales los Fallos Dependientes de Regímenes?

Planteamiento del Problema
Los benchmarks estándar para los Modelos Fundacionales de Series Temporales (TSFM, por sus siglas en inglés) dependen de métricas agregadas (por ejemplo, el Error Absoluto Medio general) que pueden ocultar fallos de rendimiento graves en regímenes operativos críticos. En la previsión de la velocidad del tráfico, el sistema exhibe un cambio abrupto de régimen entre estados de flujo libre (alta velocidad) y congestión (baja velocidad). Durante las transiciones entre estos estados, la verdadera distribución futura de la velocidad se vuelve bimodal (puede permanecer alta o caer bruscamente). Sin embargo, los TSFM estándar, que operan en modo zero-shot, tienden a producir intervalos de predicción unimodales centrados entre estos dos modos (por ejemplo, 30–45 mph), un rango que es transitorio y rara vez se mantiene. En consecuencia, aunque los TSFM pueden parecer precisos en promedio, fallan significativamente durante las transiciones mismas donde la cuantificación de la incertidumbre es más necesaria para aplicaciones como el despacho de emergencias y la estimación de ventanas de transporte de carga.

Metodología
Los autores introducen un protocolo de evaluación estratificada por régimen aplicado a dos benchmarks de tráfico estándar: METR-LA (Los Ángeles) y PEMS-BAY (Área de la Bahía de San Francisco).

• Detección de Regímenes: Utilizando umbrales del Manual de Capacidad de Carreteras, los autores clasifican las ventanas temporales en tres regímenes: Flujo Libre (>55 mph), Congestión (<25 mph) y Transición (25–55 mph).
• Modelos Evaluados: Se probaron tres TSFM zero-shot: Chronos-T5-Base, Chronos-Bolt-Small y Moirai-1.1-R-Base.
• Baselines (Líneas Base): Las comparaciones incluyeron un modelo de regresión lineal envuelto con Inferencia Conformal Adaptativa (ACI-LR) y un baseline condicional histórico que muestrea directamente de la distribución empírica por sensor $P(speed_{t+h} | speed_t)$ derivada de los datos de entrenamiento.
• Corrección Post-hoc: El artículo propone la Aumentación de Mezcla Bimodal (BMA), un método que inyecta conocimiento de la distribución histórica en los outputs de los TSFM. BMA reemplaza una fracción de las muestras de pronóstico del TSFM con extracciones de la distribución condicional histórica, escaladas por la probabilidad de una transición de régimen. Esto se combina con ACI Global para ajustar el ancho del intervalo, creando una estrategia de corrección de "primero la forma, luego el ancho".

Resultados Clave

• Fallos Enmascarados: Las métricas agregadas ocultan una degradación severa durante las transiciones. Mientras que los TSFM logran un MAE bajo en general (por ejemplo, ~5.8 mph en METR-LA frente a las 12.9 mph del baseline histórico), su rendimiento durante las transiciones se degrada a ~10–11 mph, comparable al baseline histórico.
• Colapso de Cobertura: La cobertura de los intervalos de predicción para intervalos nominales del 90% cae drásticamente durante las transiciones. Por ejemplo, la cobertura empírica de Chronos-Bolt en PEMS-BAY cae al 54.9% (una brecha de 35 puntos porcentuales) durante las transiciones, a pesar de tener casi un 90% de cobertura en flujo libre.
• Comparación con Baselines: El baseline condicional histórico logra una alta cobertura de transición (~81–82%) por construcción, pero sufre de una baja precisión general porque carece de capacidad de pronóstico.
• Efectividad de BMA: BMA mejora significativamente la cobertura de transición sin reentrenar el TSFM. Mejora la cobertura entre 3 y 19 puntos porcentuales (por ejemplo, elevando la cobertura de transición de Chronos-Bolt del 54.9% al 71.2% en PEMS-BAY). La combinación de BMA y ACI logra los mejores resultados, acercándose a la cobertura de transición del baseline histórico mientras preserva la precisión de punto superior del TSFM.

Significancia y Reivindicaciones
El artículo sostiene que los benchmarks actuales de TSFM son insuficientes para dominios caracterizados por el cambio de régimen porque las métricas agregadas no logran sacar a la luz los fallos críticos durante los periodos de transición. Los autores argumentan que:

1. La evaluación consciente del régimen es necesaria: Los benchmarks deben estratificar por régimen operativo para revelar los fallos que las métricas agregadas ocultan.
2. La forma de la distribución importa: Simplemente ensanchar los intervalos de predicción (como hace ACI) no puede corregir el desajuste fundamental de la forma unimodal de los modelos frente a realidades bimodales; la forma de la distribución debe ser corregida.
3. La aumentación post-hoc es viable: BMA demuestra que los TSFM pueden mejorarse con conocimiento de la distribución histórica para manejar eficazmente las transiciones de régimen, ofreciendo una solución práctica cuando el ajuste fino (fine-tuning) es impracticable o cuando se utilizan modelos de código cerrado.

Los autores sugieren que estos hallazgos se extienden más allá del tráfico hacia otros dominios con umbrales físicos y dinámicas bimodales, como los precios spot de la electricidad y la generación de energía eólica cerca de las velocidades de arranque de las turbinas.