Using dynamic loss weighting to boost improvements in forecast stability

Imagina que eres un pronosticador del tiempo intentando predecir la temperatura para la próxima semana. Cada mañana, recibes un nuevo dato: una nueva lectura de temperatura de ayer. Naturalmente, actualizas tu predicción para el próximo martes. Pero aquí está el truco: cada vez que actualizas, tu predicción para el próximo martes podría subir o bajar drásticamente. Un día dices que serán 70 °F, al siguiente día 65 °F, luego 72 °F. Este constante movimiento errático se llama "inestabilidad del pronóstico". Es molesto para cualquiera que intente planificar un picnic o una cadena de suministro porque no pueden confiar en que los números se mantengan estables.

Los científicos han estado tratando de construir modelos computacionales que no solo sean precisos (acertar con la temperatura), sino también estables (mantener su postura). Recientemente, los investigadores descubrieron una forma de enseñar a estos modelos a ser un poco más constantes añadiendo una "penalización por estabilidad" a su entrenamiento. Piensa en esto como un profesor diciéndole a un estudiante: "No te limites a dar la respuesta correcta; no cambies tu respuesta cada vez que veas una nueva pista". Sin embargo, la vieja forma de enseñar esto era un poco rígida. Utilizaba un libro de reglas fijo que decía: "Presta un 10% de atención a la estabilidad y un 90% a la precisión", y esa proporción nunca cambiaba durante todo el proceso de entrenamiento.

Este artículo plantea una pregunta simple y curiosa: ¿Qué pasaría si hiciéramos que el libro de reglas fuera dinámico? ¿Qué pasaría si la computadora pudiera aprender a enfocarse en la precisión primero, y solo empezar a preocuparse por la estabilidad una vez que sea buena en lo básico? Los autores, un equipo de la KU Leuven, probaron esta idea utilizando un potente modelo de pronóstico llamado N-BEATS. Probaron varias técnicas de "ponderación de pérdida dinámica" —métodos que permiten a la computadora barajar la importancia de la precisión frente a la estabilidad mientras aprende—. Descubrieron que, al dejar que el modelo ajuste sus propias prioridades sobre la marcha, podían obtener pronósticos que eran igual de precisos pero mucho menos erráticos que antes. Es como enseñarle a un estudiante a dejar de dudar de sí mismo una vez que ha dominado la lección, resultando en predicciones en las que la gente realmente puede confiar.

La historia del pronóstico errático

En el mundo del pronóstico de series temporales, las computadoras son como bolas de cristal que miran el pasado para adivinar el futuro. Pero estas bolas de cristal tienen un mal hábito: son volubles. Cuando llegan nuevos datos, el modelo puede cambiar completamente de opinión sobre lo que predijo para la próxima semana. Esto se conoce como inestabilidad de pronóstico de origen rodante. Imagina que estás planeando una fiesta. Si un amigo te dice: "Creo que vendrán 10 personas", y cinco minutos después dice: "En realidad, tal vez 20", y una hora después dice: "Espera, tal vez 5", te sentirías bastante frustrado. Necesitas una predicción que sea lo suficientemente fiable como para pedir la cantidad correcta de pizza.

Durante mucho tiempo, el objetivo fue simplemente hacer que la predicción fuera lo más precisa posible. Pero en el mundo real, la precisión no es lo único que importa. Si un pronóstico salta demasiado, la gente deja de confiar en él. Podrían empezar a hacer sus propios ajustes basados en su "intuición", lo que a menudo hace que el pronóstico sea menos preciso. Por ello, los investigadores quisieron enseñar a los modelos a ser "estables" sin perder su "precisión".

La vieja forma: Un libro de reglas estático

Previamente, se introdujo un método llamado N-BEATS-S para resolver esto. Funcionaba dando a la computadora una tarea de dos partes:

1. Parte A: Acertar con los números (Precisión).
2. Parte B: No cambiar demasiado tu respuesta cuando recibas nuevos datos (Estabilidad).

La computadora tenía que equilibrar estas dos tareas. La vieja forma de hacer esto era usar un hiperparámetro estático (llamémoslo $\lambda$). Este es como un dial que el entrenador humano ajusta antes de que la computadora comience a aprender. Si ajustas el dial a 0.025, se le dice a la computadora: "Oye, enfócate un 97.5% en ser precisa y solo un 2.5% en ser estable". Si lo ajustas a 0.275, le dices: "Bien, presta más atención a la estabilidad".

El problema con este dial estático es que se establece en piedra para todo el proceso de entrenamiento. La computadora no puede decidir cuándo enfocarse en qué. Es como decirle a un estudiante: "Dedica el 20% de tu tiempo a las matemáticas y el 80% a la historia", durante todo el semestre, incluso si ya es un genio de las matemáticas y solo necesita practicar un poco de historia. Los investigadores sospechaban que un libro de reglas rígido podría estar limitando a la computadora.

La nueva idea: Una danza dinámica

Los autores de este artículo se preguntaron: ¿Qué pasaría si la computadora pudiera cambiar el dial mientras estaba aprendiendo? Esto se llama Ponderación de Pérdida Dinámica (DLW). En lugar de una regla fija, la computadora decide: "Bien, ahora mismo soy terrible en precisión, así que ignoraré la estabilidad por un momento. Pero una vez que sea buena en precisión, empezaré a preocuparme por la estabilidad".

Probaron varios métodos existentes que realizan este tipo de equilibrio dinámico, y también inventaron uno nuevo llamado Ponderación de Tareas Consciente (TARW).

• GradNorm: Este método intenta asegurar que la computadora aprenda ambas tareas al mismo ritmo. Si está aprendiendo la precisión demasiado rápido, la ralentiza para enfocarse en la estabilidad.
• Ponderación por Incertidumbre: Este método pregunta: "¿Qué tan inseguro estoy sobre esta tarea?". Si la computadora está muy insegura sobre la estabilidad, presta menos atención a ella.
• Ponderación Aleatoria (RW): Esto es un poco caótico. Simplemente elige un número aleatorio entre 0 y 1 para el dial de estabilidad cada vez que la computadora aprende un nuevo lote de datos. Sorprendentemente, este azar suele funcionar bien.
• TARW (El nuevo integrante): Los autores tomaron la idea de la "Ponderación Aleatoria" y la ajustaron. En lugar de elegir un número entre 0 y 1, eligieron un número entre 0 y un límite específico (llamémoslo $\kappa$). Esto asegura que la computadora nunca se obsesione demasiado con la estabilidad y olvide ser precisa. Es como decir: "Puedes ser aleatorio, pero no te vuelvas loco".

Lo que encontraron: El punto ideal

El equipo realizó estos experimentos en dos enormes conjuntos de datos de series temporales mensuales (los conjuntos de datos M3 y M4), que contienen miles de series temporales diferentes como cifras de ventas o datos meteorológicos. Compararon los nuevos métodos dinámicos contra el viejo método estático (N-BEATS-S con un dial fijo).

Esto es lo que los números les dijeron:

1. Aumento de la Estabilidad: Casi todos los métodos dinámicos hicieron que los pronósticos fueran mucho más estables. Los "movimientos erráticos" en las predicciones disminuyeron significamente. Por ejemplo, en el conjunto de datos M4, algunos métodos redujeron la métrica de inestabilidad (RMSSC) de alrededor de 0.537 (el método estático antiguo) a 0.146 o 0.224. Esa es una enorme caída en la agitación.
2. La Precisión se mantuvo firme: El gran temor era que, al enfocarse en la estabilidad, la computadora empeorara su precisión. Los resultados mostraron que, para los mejores métodos, la precisión se mantuvo casi exactamente igual. De hecho, en el conjunto de datos M3, el nuevo método TARW high produjo pronósticos que fueron más precisos que el antiguo modelo N-BEATS, con una puntuación (RMSSE) de 1.082 en comparación con 1.088.
3. El Ganador: El método TARW (específicamente la versión "high") destacó. Logró mejorar la estabilidad significativamente sin perjudicar la precisión. Fue como encontrar una forma de hacer que el pronóstico fuera tanto sólido como súper preciso.
4. El "Por qué": Cuando miraron bajo el capó, vieron que los métodos dinámicos estaban haciendo exactamente lo que los autores esperaban. Al principio del entrenamiento, la computadora se enfocó fuertemente en la precisión. Solo después de que fue buena en eso, comenzó a prestar atención a la estabilidad. El método estático, por el contrario, intentaba hacer ambas cosas desde el primer día, lo que a veces confundía al modelo o lo forzaba a entrar en un "óptimo local" (un punto de estancamiento donde es estable pero no muy preciso).

La Conclusión

El artículo sugiere que no necesitamos obligar a una computadora a equilibrar la precisión y la estabilidad con una regla rígida y preestablecida. En su lugar, dejar que el modelo ajuste dinámicamente sus prioridades —específicamente priorizando la precisión primero y luego introduciendo la estabilidad— conduce a mejores resultados.

Los autores proponen TARW como una herramienta simple y efectiva para esto. Es esencialmente un "aleatorizador inteligente" que evita que la computadora se obsesione demasiado con la estabilidad demasiado pronto. Aunque el costo computacional durante el entrenamiento es ligeramente mayor (la computadora tiene que hacer un poco más de matemáticas para ajustar los pesos), el costo durante el uso real (inferencia) es exactamente el mismo que los métodos antiguos.

Al final, esta investigación sugiere que si quieres un sistema de pronóstico en el que la gente pueda confiar, no solo debes pedirle que sea preciso. Debes enseñarle a ser consistente, pero tienes que dejar que aprenda esa lección en el momento adecuado. Al usar estos métodos dinámicos, podemos obtener pronósticos que no solo son correctos, sino también fiables, ahorrando a las empresas y planificadores el dolor de cabeza de los números que cambian constantemente.