📊 statistics

Model selection with proper scoring rules on data sets of time series

Este artículo investiga cómo la asimetría en la distribución de las puntuaciones provoca resultados de selección de modelos conflictivos entre las estadísticas basadas en la media, la mediana y el rango en datos de series temporales, demostrando que, si bien estos criterios convergen con conjuntos de prueba grandes, la puntuación media es excepcionalmente fiable para identificar el modelo verdadero en conjuntos de prueba cortos, como lo evidencia el análisis de series temporales intermitentes incluyendo la competición M5.

Autores originales: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Publicado 2026-06-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un entrenador tratando de elegir al mejor jugador para tu equipo. Tienes una lista enorme de jugadores (series temporales) y quieres ver quién tiene el mejor desempeño en promedio. Para juzgarlos, utilizas una "tarjeta de puntuación" (una regla de puntuación adecuada) que te otorga un número de penalización por cada error que cometen. Cuanto menor sea el número, mejor es el jugador.

Este artículo trata sobre cómo leer esa tarjeta de puntuación cuando tienes muchos jugadores y muchos juegos que observar. Los autores descubrieron que la forma en que solemos contabilizar las puntuaciones puede, a veces, engañarnos para que elijamos al jugador equivocado, especialmente cuando los juegos son cortos o los errores son raros pero enormes.

Aquí está el desglose utilizando analogías sencillas:

1. El Problema: Dos Formas de Contar

Cuando tienes un equipo de jugadores, no puedes simplemente mirar un solo juego. Tienes que combinar sus resultados. El artículo dice que hay dos formas principales en las que los entrenadores suelen hacer esto:

Método A: El "Promedio de Penalización" (Puntuación Escalada Media). Tomas cada punto de penalización que un jugador recibió, los sumas todos y los divides por el número de juegos. Esto te dice el costo promedio de sus errores.
Método B: El "Récord de Victorias y Derrotas" (Rango Medio). No miras los puntos. En su lugar, simplemente preguntas: "¿En cuántos juegos el Jugador A venció al Jugador B?". Cuentas las victorias. Si el Jugador A ganó más juegos, obtiene el primer lugar.

2. La Trampa: El Sesgo del "Gran Error"

La Analogía:
Imagina un juego donde usualmente cometes errores pequeños (como tropezar con tus propios cordones) pero, ocasionalmente, cometes un error masivo y catastrófico (como caerse de un acantilado).

El "Promedio de Penalización" (Método A) ve la caída del acantilado. Suma todos los pequeños tropiezos y la gran caída, dándote un promedio de penalización alto. Sabe que eres peligroso.
El "Récord de Victorias y Derrotas" (Método B) mira los juegos individualmente. En 99 de 100 juegos, solo tropezaste con tus cordones, lo cual es una penalización diminuta. En el otro juego, te caíste de un acantilado.
- Si estás jugando contra un rival que nunca se cae de un acantilado pero tropieza ligeramente más a menudo, el Método B podría decir: "¡Oye, ganaste 99 juegos! ¡Eres el campeón!".
- Pero el Método A dice: "Espera, esa única caída del acantilado te costó toda la temporada. Tu promedio de penalización es en realidad peor".

El artículo argumenta que el Método B (Rango Medio) es peligroso porque ignora el tamaño de los errores. Solo le importa quién ganó la mayoría de las rondas individuales. Si las "caídas del acantilado" (errores enormes) son raras, el Método B a menudo las pasa por alto, especialmente si no has visto suficientes juegos (conjuntos de prueba cortos).

3. La Solución: Ver Más Juegos

Los autores realizaron simulaciones para ver qué sucede cuando observas más juegos (aumentar el tamaño del conjunto de prueba).

Conjuntos de Prueba Cortos (Pocos Juegos): El Método B es poco confiable. A menudo elige al jugador "afortunado" que evita los grandes errores simplemente por azar, incluso si su desempeño promedio es peor.
Conjuntos de Prueba Largos (Muchos Juegos): A medida que observas más y más juegos, las "caídas del acantilado" eventualmente ocurren lo suficiente como para que el Método B empiece a ver la verdad. Los dos métodos empiezan a coincidir.

El Hallazgo Clave: Si solo tienes un historial corto de datos (un conjunto de prueba corto), el Método A (Promedio de Penalización) es el único que elige consistentemente al mejor modelo. El Método B es demasiado fácil de engañar con la "suerte" de evitar errores enormes y raros.

4. La Prueba del Mundo Real: La Competencia M5

Los autores probaron esto con datos reales de la famosa "Competencia de Pronóstico M5", que consiste en predecir ventas para miles de productos (algunos de los cuales son "intermitentes", lo que significa que se venden muy rara vez).

Compararon dos modelos matemáticos:

El Modelo de Poisson: Un modelo más simple.
El Modelo de Binomial Negativa: Un modelo más complejo conocido por ser mejor manejando los "picos" de demanda.

¿Qué pasó?

Cuando usaron el Método B (Rango Medio) en datos cortos, a menudo eligieron el modelo Poisson. Pensaron que el modelo más simple era mejor porque "ganó" más rondas individuales.
Cuando usaron el Método A (Promedio de Penalización), eligieron consistentemente el modelo Binomial Negativa, identificando correctamente que es el que maneja mejor los grandes picos.

Los autores concluyeron que el "Promedio de Penalización" era el correcto. El "Récord de Victorias y Derrotas" fue engañado porque los conjuntos de prueba eran demasiado cortos para capturar los errores masivos y raros que el modelo más simple no pudo predecir.

5. ¿Importa Cómo Medimos la Penalización?

El artículo también verificó si cambiar la "regla" (factor de escala) utilizada para medir las penalizaciones cambiaba los resultados.

Buenas Noticias: El método del "Promedio de Penalización" es muy robusto. Ya sea que midas la penalización en dólares, en porcentajes o contra una línea base, casi siempre elige al mismo ganador.
Malas Noticias: El método del "Récodo de Victorias y Derrotas" es frágil. Puede cambiar de opinión dependiendo de cómo midas las cosas y de cuántos datos tengas.

La Conclusión Final

Si estás tratando de elegir el mejor modelo de pronóstico:

No te limites a contar victorias. (No dependas únicamente del Rango Medio).
Observa el costo promedio de los errores. (Usa la Puntuación Escalada Media).
Ten cuidado con los datos cortos. Si no tienes suficiente historial, el método de "Victorias y Derrotas" probablemente te engañará para que elijas un modelo que se ve bien en el papel, pero que falla cuando ocurre un evento raro y grande.

El artículo esencialmente dice: "No dejes que un jugador que tuvo la suerte de evitar un gran desastre te engañe para que pienses que es el mejor jugador. Mira su desempeño promedio total".

Resumen Técnico: Selección de Modelos con Reglas de Puntuación Adecuadas en Conjuntos de Datos de Series Temporales

Planteamiento del Problema
El artículo aborda el desafío de seleccionar el mejor modelo probabilístico en un conjunto de datos que contiene múltiples series temporales. Si bien la selección de modelos en una sola serie temporal es sencilla (seleccionar el modelo con la puntuación más baja), la agregación del rendimiento a través de $n$ series temporales requiere estadísticas de resumen. Los dos enfoques más comunes son la media de la puntuación escalada (promediar las puntuaciones tras escalarlas para asegurar la comparabilidad) y el rango medio (promediar el rango de los modelos a través de las series). La literatura previa ha señalado que estos dos criterios pueden generar decisiones conflictivas, pero la causa subyacente y la fiabilidad de cada criterio siguen sin estar claras. Además, la sensibilidad de la media de la puntuación escalada a la elección del factor de escala es una cuestión abierta.

Metodología
Los autores investigan estos problemas mediante una combinación de análisis teórico, simulación y evaluación empírica en datos de series temporales intermitentes del mundo real.

Análisis Teórico de la Asimetría: El artículo analiza la distribución de las puntuaciones puntuales para reglas de puntuación adecuadas comunes (Puntuación de Cuantil, Puntuación de Intervalo, CRPS). Demuestra que estas distribuciones son inherentemente asimétricas, particularmente para cuantiles altos ( $p > 0.5$ ). La asimetría surge porque los errores de subestimación (eventos raros para cuantiles altos) se penalizan mucho más severamente que los errores de sobreestimación.
Estudio de Simulación: Se realizó una simulación comparando un modelo verdadero ( $N(0, 1)$ ) contra un modelo mal especificado ( $N(0, 0.85^2)$ ) a través de variaciones en la longitud del conjunto de prueba ( $n_{te}$ ). El estudio evalúa cómo el rango medio (estimando la diferencia de la mediana) y la media de la puntuación (estimando el valor esperado) se comportan a medida que $n_{te}$ aumenta.
Evaluación Empírica: Los autores aplicaron estos criterios a tres conjuntos de datos de demanda intermitente: el nivel inferior de la competencia M5 (30,490 series), Auto (3,000 series) y RAF (5,000 series). Compararon las distribuciones Poisson y Binomial Negativa (esta última teóricamente superior para la demanda intermitente debido a la sobredispersión) utilizando diversas reglas de puntuación (CRPS, QS en diferentes cuantiles) y factores de escala (MAE ingenuo, media in-sample, puntuación in-sample de la distribución empírica).

Contribuciones Clave y Hallazgos

Fuente de Conflicto: El artículo establece que las decisiones conflictivas entre el rango medio y la media de la puntuación escalada son causadas por la asimetría de la distribución de la puntuación.
- La media de la puntuación escalada estima el valor esperado de la regla de puntuación.
- El rango medio (y estadísticas relacionadas como la tasa de victoria o la mediana) estima efectivamente la diferencia de la mediana.
- Cuando la distribución de las diferencias de puntuación es asimétrica (común con $n_{te}$ pequeños o cuantiles altos), la media y la mediana pueden señalar diferentes modelos como "mejores". Específicamente, un modelo mal especificado puede lograr frecuentemente una puntuación más baja en conjuntos de prueba cortos al evitar errores de subestimación raros y fuertemente penalizados, lo que lleva al rango medio a favorecer incorrectamente al modelo mal especificado.
Convergencia con el Tamaño del Conjunto de Prueba: A medida que la longitud del conjunto de prueba ( $n_{te}$ ) aumenta, la distribución de las puntuaciones se vuelve más simétrica (debido al Teorema del Límite Central), y el rango medio y la media de la puntuación escalada convergen progresivamente hacia la misma conclusión. Sin embargo, para conjuntos de prueba cortos, solo la media de la puntuación identifica de manera fiable el modelo verdadero.
Robustez de la Media de la Puntuación Escalada: Los resultados empíricos en los conjuntos de datos M5, Auto y RAF muestran que la decisión basada en la media de la puntuación escalada es robusta. Selecciona consistentemente el modelo Binomial Negativo, que es teóricamente superior, a través de todas las longitudes de conjunto de prueba y todos los factores de escala probados.
Sensibilidad del Factor de Escala: Contrario al riesgo percibido de que la selección de modelos dependa fuertemente del factor de escala, el estudio encuentra que la elección del factor de escala (por ejemplo, MAE ingenuo frente a la media in-sample) tiene un impacto menor en la decisión final de selección de modelos cuando se utiliza la media de la puntuación escalada. La decisión permanece estable a través de diferentes métodos de escalado.
Fiabilidad del Rango Medio: Se demuestra que el rango medio es un criterio poco fiable para conjuntos de prueba cortos, particularmente al evaluar cuantiles altos. En los experimentos del conjunto de datos M5, el rango medio favoreció al modelo Poisson inferior para cuantiles altos (QS0.975, QS0.995) incluso con un número sustancial de series, mientras que la media de la puntuación escalada identificó correctamente la Binomial Negativa.

Significancia y Recomendaciones
El artículo concluye que la selección de modelos basada en reglas de puntuación adecuadas requiere fundamentalmente estimar el valor esperado de la puntuación. Debido a que las estadísticas que no son la media (rango medio, mediana, tasa de victoria) no estiman el valor esperado, pueden conducir a una selección de modelos incorrecta cuando las distribuciones de las puntuaciones son asimétricas, una condición prevalente en series temporales con conjuntos de prueba cortos o pronósticos de cuantiles altos.

Los autores recomiendan:

Priorizar la media de la puntuación escalada sobre el rango medio para la selección de modelos, ya que es un estimador directo de la puntuación esperada.
Ejercer precaución al confiar en los rangos medios, especialmente para niveles de cuantiles altos o $n_{te}$ pequeños.
Validar las conclusiones verificando los resultados a través de múltiples factores de escala, aunque el estudio sugiere que la elección específica del factor es menos crítica de lo que se asumía anteriormente.
Reconocer que determinar el umbral exacto para un $n_{te}$ "suficientemente grande" para asegurar la convergencia sigue siendo difícil y depende de la regla de puntuación específica y la distribución de los datos.

El artículo no propone nuevas reglas de puntuación ni aplicaciones futuras específicas, sino que proporciona una justificación teórica y empírica crítica para preferir la agregación basada en la media sobre la agregación basada en el rango en la selección de modelos de series temporales probabilísticas.