🤖 machine learning

fev-bench: A Realistic Benchmark for Time Series Forecasting

Para abordar las limitaciones de los estándares de evaluación existentes en la previsión de series temporales, los autores presentan fev-bench, un benchmark exhaustivo de 100 tareas a través de siete dominios respaldado por la biblioteca Python fev, la cual emplea una agregación estadísticamente rigurosa para proporcionar comparaciones de rendimiento fiables e identificar futuras direcciones de investigación.

Autores originales: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Oleksandr Shchur, Abdul Fatir Ansari, Caner Turkmen, Lorenzo Stella, Nick Erickson, Pablo Guerron, Michael Bohlke-Schneider, Yuyang Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de decidir cuál de diez diferentes pronosticadores del clima es el mejor. Podrías simplemente pedirles que predigan la temperatura para mañana y ver quién acierta. Pero, ¿qué pasa si algunos de ellos también están observando la humedad, la velocidad del viento y datos históricos, mientras que otros solo están adivinando basándose en el calendario? Y, ¿qué pasaría si solo revisaras su precisión una sola vez, en un día que resultó ser inusualmente soleado? Podrías elegir al ganador equivocado simplemente por suerte.

Este es el problema que el artículo fev-bench intenta resolver. Los autores argumentan que las "tarjetas de puntuación" actuales utilizadas para probar modelos de pronóstico de series temporales (IA que predice números futuros como ventas, uso de energía o precios de acciones) son defectuosas. A menudo son demasiado estrechas, ignoran información adicional importante (llamada covariables) y carecen del rigor estadístico para decir si un modelo es realmente mejor o si solo tuvo suerte.

Aquí hay un desglose de su solución utilizando analogías simples:

1. El Problema: La prueba de "una sola vía"

Piensa en los benchmarks existentes como un examen de conducir que solo ocurre en una autopista recta y vacía.

Falta el "tráfico": El pronóstico en el mundo real es como conducir en una ciudad concurrida. Necesitas reaccionar a los semáforos, peatones y al clima. En el pronóstico, estos son las covariables (datos adicionales como "es un día festivo" o "tenemos una oferta"). La mayoría de las pruebas actuales ignoran esto, por lo que los modelos entrenados con ellas nunca aprenden a utilizarlas.
El problema del "golpe de suerte": Muchas pruebas reportan un solo número (por ejemplo, "el Modelo A es un 5% mejor que el Modelo B"). Pero, ¿es ese 5% real o solo ruido aleatorio? Es como decir que un lanzador de monedas es un genio porque obtuvo cara 6 veces seguidas. Sin verificar si ese resultado se mantiene en muchos escenarios diferentes, no puedes confiar en el ganador.
El caos de la "caja negra": Algunas pruebas son como una habitación cerrada donde no puedes ver cómo se realizó la puntuación. Si dos personas ejecutan la misma prueba, podrían obtener resultados diferentes porque usaron reglas distintas. Esto hace que sea difícil comparar modelos de manera justa.

2. La Solución: fev-bench (El simulador de "conducción en la ciudad")

Los autores construyeron un nuevo benchmark llamado fev-bench (Forecast EValuation benchmark). Piensa en él como un simulador de conducción masivo y realista con 100 "cursos" (tareas) diferentes.

Terreno diverso: En lugar de solo una autopista, tienen 100 tareas a través de 7 "ciudades" diferentes (dominios como comercio minorista, energía, salud y finanzas).
El "tráfico" está incluido: Crucialmente, 46 de estas tareas incluyen covariables. Es como probar los modelos mientras tienen que lidiar con semáforos y lluvia. Esto revela que muchos modelos "inteligentes" actuales están fallando porque ignoran estos datos adicionales.
Confianza estadística: En lugar de dar una puntuación única, utilizan un método llamado bootstrapping. Imagina realizar la prueba de conducción 1,000 veces con patrones de tráfico ligeramente diferentes. Luego calculan un "intervalo de confianza" (un rango de puntuaciones probables). Si el Modelo A vence al Modelo B en el 95% de esas 1,000 ejecuciones, entonces puedes decir con confianza que A es mejor. Si están cerca, la prueba admite: "Aún no podemos notar la diferencia".

3. La Herramienta: fev (La "tabla de anotaciones del árbitro")

Para asegurar que todos sigan las mismas reglas, los autores también lanzaron una herramienta de software gratuita llamada fev.

Piensa en esto como una tabla de anotaciones estandarizada de un árbitro. Se encarga de la carga de datos, la puntuación y las matemáticas estadísticas.
Es ligero y fácil de usar, lo que significa que los investigadores no tienen que construir sus propios sistemas de puntuación desordenados desde cero. Garantiza que si tú y yo ejecutamos la misma prueba, obtengamos exactamente los mismos resultados.

4. Lo que encontraron: La brecha de las "covariables"

Cuando ejecutaron sus nuevas pruebas en los mejores modelos de IA disponibles hoy en día, encontraron una brecha sorprendente:

Los modelos "inteligentes": Los modelos más nuevos y avanzados (como Chronos-2) fueron los que mejor se desempeñaron en general.
La habilidad faltante: Sin embargo, los modelos que podían usar datos adicionales (covariables) funcionaron significativamente mejor que aquellos que las ignoraban.
El golpe de realidad: Muchos de los modelos actuales de "estado del arte" están esencialmente ignorando los semáforos y los reportes climáticos, a pesar de que esos reportes están ahí presentes. El artículo sugiere que el próximo gran salto en el pronóstico no vendrá de hacer los modelos más grandes, sino de enseñarles cómo usar ese contexto adicional.

Resumen

En resumen, fev-bench es unas "Olimpiadas" más realistas, justas y estadísticamente rigurosas para el pronóstico de series temporales. Obliga a los modelos a demostrar que pueden manejar la complejidad del mundo real (como los datos adicionales) en lugar de solo memorizar patrones en una pista simple. Su principal descubrimiento es que el futuro de un pronóstico preciso reside en modelos que sepan utilizar toda la información disponible, no solo los números del pasado.

Resumen Técnico: fev-bench

Definición del Problema

El pronóstico de series temporales está experimentando una transformación impulsada por los modelos fundacionales preentrenados (TSFMs), que ofrecen capacidades de inferencia zero-shot y a menudo superan a los métodos tradicionales. Sin embargo, la evaluación de estos modelos se ve obstaculizada por deficiencias significativas en los benchmarks actuales. Los marcos de trabajo existentes suelen sufrir de una cobertura de dominio limitada, una falta de rigor estadístico en la agregación y una infraestructura rígida que impide la reproducibilidad.

Se identifica una brecha crítica: la negligencia de las covariables (variables estáticas, solo pasadas y dinámicas conocidas), a pesar de su prevalencia e importancia en aplicaciones del mundo real como el pronóstico de la demanda minorista. Además, muchos benchmarks reportan resúmenes de un solo número sin intervalos de confianza, lo que dificulta distinguir las mejoras genuinas de los modelos de la variación aleatoria. Finalmente, la falta de una infraestructura de evaluación estandarizada y ligera conduce a menudo a implementaciones inconsistentes y resultados incomparables entre estudios.

Metodología

Para abordar estos desafíos, los autores presentan fev-bench, un benchmark exhaustivo que comprende 100 tareas de pronóstico a través de siete dominios del mundo real (Energía, Naturaleza, Nube, Movilidad, Economía, Salud y Retail). La metodología se basa en tres pilares:

1. Construcción del Benchmark

Diversidad de Tareas: El benchmark incluye 96 conjuntos de datos únicos extraídos de repositorios establecidos (Monash, GIFT-Eval, BOOM) y datos de competiciones (Kaggle, M5). Cuenta con 100 tareas distintas que varían en frecuencia (desde minutos hasta anual) y horizontes de pronóstico, y dimensionalidad.
Integración de Covariables: Una característica definitoria es la inclusión de 46 tareas con covariables, que cubren variables estáticas, dinámicas de solo pasado y dinámicas conocidas. Esto contrasta marcadamente con los benchmarks previos que ignoran mayoritariamente las covariables.
Protocolo de Evaluación: Las tareas utilizan un protocolo de origen rodante (rolling-origin) con múltiples ventanas de evaluación ( $W$ ) para imitar el despliegue en el mundo real y mejorar la robustez estadística. El número de ventanas se ajusta según el tamaño del conjunto de datos (hasta 20 para conjuntos pequeños, 1 para los grandes).

2. Métricas de Evaluación y Agregación

El benchmark evalúa tanto el pronóstico puntual como el probabilístico utilizando:

Métricas: Error Absoluto Escalado Medio (MASE) para pronósticos puntuales y Pérdida de Cuantil Escalada (SQL) para pronósticos probabilísticos. Se elige SQL por su independencia de escala, de forma análoga al MASE.
Estrategias de Agregación:
- Tasas de Victoria ( $W_j$ ): La probabilidad de que un modelo supere a un competidor elegido al azar en una tarea elegida al azar.
- Puntuaciones de Habilidad (Skill Scores, $S_j$ ): Una métrica basada en la media geométrica que cuantifica la reducción del error en relación con una línea base fija (Seasonal Naive), recortada para manejar valores extremos.
- Significancia Estadística: Para abordar la fiabilidad de las diferencias de rendimiento, los autores emplean bootstrapping pareado (1,000 muestras) para calcular intervalos de confianza del 95% para las tasas de victoria y las puntuaciones de habilidad por pares. Esto determina si las brechas de rendimiento son robustas a las variaciones en la composición del benchmark.

3. La librería `fev`

Apoyando al benchmark se encuentra fev, una librería de Python ligera diseñada para la reproducibilidad e integración.

Diseño: Minimiza las dependencias (dependiendo solo de Hugging Face datasets y pydantic) y evita el uso de versiones específicas de librerías (por ejemplo, PyTorch, NumPy) para prevenir la obsolescencia.
Funcionalidad: Proporciona definiciones de tareas estandarizadas, carga de datos, puntuación de predicciones y agregación de resultados. Incluye adaptadores para librerías de pronóstico populares (GluonTS, darts, AutoGluon, etc.), pero excluye las implementaciones de los modelos para asegurar que la infraestructura de evaluación permanezca estable en el tiempo.

Resultados Clave

Los autores evaluaron un conjunto de 21 modelos, incluyendo TSFMs preentrenados de vanguardia (Chronos-2, TiRex, TimesFM-2.5, Moirai-2.0, etc.), líneas base estadísticas y modelos específicos de la tarea.

Rendimiento de los Modelos: Chronos-2 logró la mayor tasa de victoria promedio (91.4% para probabilístico, 87.2% para puntual) y puntuación de habilidad, seguido de TiRex y TimesFM-2.5. Los modelos preentrenados generalmente superaron a los modelos estadísticos y específicos de la tarea tanto en precisión como en tiempo de ejecución.
Significancia Estadística: Las comparaciones por pares con intervalos de confianza mediante bootstrapping revelaron una brecha estadísticamente significativa entre Chronos-2 y otros modelos. Sin embargo, la brecha entre TiRex y TimesFM-2.5 mostró un fuerte solapamiento, lo que sugiere que no hay un ganador claro entre ellos bajo diferentes composiciones del benchmark.
Impacto de las Covariables: Un hallazgo crítico es que los modelos capaces de utilizar covariables (específicamente Chronos-2 y TabPFN-TS) mostraron ganancias sustanciales de rendimiento cuando se incluyeron las covariables (por ejemplo, la puntuación de habilidad de Chronos-2 aumentó de 40.9% a 47.0%). Por el contrario, la mayoría de los modelos preentrenados existentes ignoran las covariables, dejando sin aprovechar importantes ganancias de precisión.
Multivariante vs. Univariante: El modelado multivariante nativo proporcionó solo ganancias modestas en comparación con los enfoques univariantes, contrastando con las grandes mejoras observadas tras la integración de covariables.

Significado y Reivindicaciones

El artículo posiciona a fev-bench y la librería fev como una base práctica para la próxima generación de investigación en el pronóstico de series temporales. Su importancia radica en:

Abordar la Brecha de las Covariables: Al incluir explícitamente 46 tareas con covariables, el benchmark resalta una deficiencia importante en el desarrollo actual de los TSFM, señalando el soporte de covariables como una dirección clara para el trabajo futuro.
Rigor Estadístico: El uso de intervalos de confianza mediante bootstrapping lleva al campo más allá de los rankings de un solo número, proporcionando una evaluación más fiable de si las diferencias de rendimiento son genuinas o debidas a la variación aleatoria.
Reproducibilidad y Flexibilidad: El diseño ligero y modular del paquete fev tiene como objetivo superar la rigidez de los sistemas de benchmark monolíticos, facilitando la integración en flujos de trabajo existentes y la creación de extensiones específicas de dominio.

Los autores concluyen que, si bien los modelos preentrenados están avanzando rápidamente, la comunidad debe priorizar el soporte de covariables y la evaluación estadísticamente robusta para asegurar un progreso sostenido en las aplicaciones de pronóstico del mundo real.