Resumen Técnico: TS-Arena – Una Plataforma de Pre-registro en Vivo para Pronósticos

1. El Problema: La Crisis de Evaluación en los Modelos Fundacionales de Series Temporales (TSFMs)

El auge de los Modelos Fundacionales de Series Temporales (TSFMs) ha introducido desafíos críticos de evaluación que los métodos tradicionales (como los conjuntos de datos estáticos o las competencias tipo M-Competitions) no pueden resolver:

• Fuga de información directa (Contaminación de datos): Al entrenar modelos en conjuntos de datos masivos y opacos, existe el riesgo de que los datos de prueba de los benchmarks se incluyan accidentalmente en el pre-entrenamiento, invalidando la evaluación.
• Fuga de información temporal indirecta: Ocurre cuando los modelos se evalúan en series temporales cuya ventana de pronóstico se solapa temporalmente con series correlacionadas presentes en los datos de entrenamiento (por ejemplo, usar datos de consumo de autobuses para predecir el metro en el mismo periodo).
• Limitaciones de los Benchmarks Estáticos: Los métodos actuales dependen de datos históricos. Esto impide la flexibilidad necesaria para el escalado de los TSFMs y no garantiza que los modelos no hayan "visto" patrones futuros a través de correlaciones temporales.

2. Metodología: El Protocolo de Pre-registro de Pronósticos (FPRP)

Para solucionar esto, los autores proponen TS-Arena, una plataforma de "benchmarking vivo" que traslada la evaluación del pasado conocido al futuro desconocido. El núcleo de su metodología es el Forecast Pre-Registration Protocol (FPRP):

• Principio de Pre-registro: Los modelos deben enviar sus predicciones para un horizonte $H$ antes de que los datos reales (ground-truth) existan físicamente.
• Funcionamiento por Rondas: El sistema opera en ciclos continuos. En cada ronda, se proporciona un contexto histórico hasta un momento $t_{now}$. Los participantes deben registrar sus pronósticos dentro de una ventana de tiempo estricta que cierra antes de que se observe el siguiente valor real ($t_{now+1}$).
• Arquitectura de Microservicios: La plataforma utiliza una arquitectura modular basada en Docker que incluye:
  • Data Portal: Ingesta de datos en tiempo real desde APIs externas (ej. redes eléctricas).
  • API Portal: Orquestador que gestiona la autenticación, las ventanas de registro y la evaluación.
  • Reference Model Service: Ejecuta modelos de referencia (TSFMs de última generación y baselines estadísticos) de forma autónoma para garantizar una comparación constante.
• Sistema de Clasificación (ELO): Utilizan un sistema de puntuación ELO (similar al ajedrez) basado en comparaciones por pares de errores MASE, junto con un método de Randomized Replay Bootstrap para cuantificar la incertidumbre y la estabilidad de los rankings.

3. Contribuciones Clave

1. Eliminación de la fuga de información por diseño: Al evaluar sobre el futuro real, es físicamente imposible que el modelo haya entrenado con los datos de prueba.
2. Benchmarking Continuo y Evolutivo: A diferencia de las competencias estáticas, TS-Arena es un entorno dinámico que permite a los nuevos modelos demostrar competitividad de inmediato.
3. Infraestructura de Datos en Tiempo Real: Implementación de una estrategia de archivado Slowly Changing Dimension Type 2 (SCD2) para permitir la reproducibilidad exacta de las condiciones de información disponibles en cualquier momento histórico.
4. Repositorio de Datos Abierto: Publicación de un archivo trimestral en HuggingFace para permitir la experimentación offline de forma segura.

4. Resultados Principales

El estudio presenta resultados basados en un año de backtesting (2025) utilizando series temporales del sector energético (carga, generación y precios):

• Superioridad de los TSFMs: Los modelos fundacionales dominan el leaderboard. Por ejemplo, Chronos-2 y TiRex ocuparon las primeras posiciones globales.
• Escalabilidad: Se observó que, dentro de una misma familia (como Chronos-Bolt), el rendimiento mejora monótonamente con el tamaño del modelo.
• Desafíos por Dominio: Los modelos mostraron un rendimiento excelente en la predicción de consumo eléctrico (MASE muy bajo), pero tuvieron dificultades significativas en la generación de energía (eólica/solar), debido a la naturaleza intermitente y los límites físicos de estas series, lo que demuestra que los TSFMs actuales aún tienen limitaciones como pronosticadores universales "out-of-the-box".
• Comparación con Baselines: Los TSFMs superaron ampliamente a los métodos estadísticos tradicionales (como Seasonal Naive o Moving Average).

5. Significado e Impacto

TS-Arena establece un nuevo estándar para la evaluación de modelos de inteligencia artificial aplicados a series temporales. Al resolver el problema de la contaminación de datos, proporciona una métrica de capacidad de generalización real. La plataforma no solo sirve como un campo de batalla para la investigación académica, sino también como una herramienta práctica para profesionales que necesitan evaluar modelos en condiciones de producción reales y dinámicas.