🌀 nonlinear sciences

Temporal horizons in forecasting: a performance-learnability trade-off

Este artículo establece un compromiso fundamental en el pronóstico autorregresivo, demostrando que, si bien el entrenamiento de largo horizonte produce modelos con una generalización superior para las predicciones a corto plazo, simultáneamente crea un paisaje de pérdida más rugoso que hace que la optimización sea inherentemente más difícil.

Autores originales: Pau Vilimelis Aceituno, Jack William Miller, Noah Marti, Youssef Farag, Victor Boussange

Publicado 2026-09-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pau Vilimelis Aceituno, Jack William Miller, Noah Marti, Youssef Farag, Victor Boussange

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Predecir el futuro es uno de los desafíos más antiguos y persistentes de la humanidad, ya sea que intentemos pronosticar el clima, modelar la propagación de una enfermedad o guiar a un robot a través de una habitación llena de obstáculos. En la era moderna, científicos e ingenieros dependen en gran medida de un tipo específico de programa informático llamado modelo autorregresivo para realizar este trabajo. Estos programas operan bajo una lógica iterativa y sencilla: observan el estado actual de un sistema, realizan una predicción para el momento inmediatamente siguiente y luego reintroducen esa predicción en la máquina como si fuera una observación real para predecir el momento posterior. Al repetir este proceso, el modelo intenta construir una imagen de lo que sucederá días, semanas o años después. Sin embargo, una pregunta fundamental ha rondado durante mucho tiempo en el entrenamiento de estos sistemas: ¿qué tan lejos en el futuro debe mirar la computadora mientras está aprendiendo? ¿Debería enseñársele a predecir solo el siguiente segundo, o debería obligársele a planificar para la próxima hora? Durante mucho tiempo, la respuesta fue en gran medida una cuestión de conjeturas o tradición, ya que los investigadores solían elegir un marco temporal sin una comprensión clara de cómo esa elección moldeaba la capacidad de aprendizaje de la máquina.

Un equipo de investigadores de instituciones de Suiza, Australia y Estados Unidos ha proporcionado ahora una respuesta rigurosa a esta pregunta, revelando un compromiso sorprendente que rige cómo aprenden estos modelos. Descubrieron que la elección del horizonte temporal de entrenamiento no es solo un ajuste menor; altera fundamentalmente la forma del paisaje matemático que la computadora navega mientras aprende. Cuando un modelo se entrena para predecir solo el futuro inmediato, el terreno matemático que explora es relativamente suave y fácil de transitar, lo que le permite encontrar una buena solución rápidamente. Sin embargo, esta facilidad tiene un costo: las soluciones encontradas en este paisaje suave de corto plazo suelen fallar cuando se les pide mirar más allá, lo que conduce a predicciones que se desvían salvajemente de su curso con el tiempo. Por el contrario, cuando un modelo se entrena para predecir hacia el futuro lejano, aprende una comprensión mucho más precisa del comportamiento real del sistema, una que se generaliza bien tanto para pronósticos a corto como a largo plazo. El inconveniente es que este paisaje de entrenamiento a largo plazo es increíblemente rugoso y accidentado, lleno de innumerables picos y valles diminutos que hacen que sea extremadamente difícil para la computadora encontrar la mejor solución sin quedarse estancada o perder el rumbo.

Para comprender este fenómeno, los investigadores recurrieron a la matemática de los sistemas dinámicos, que describen cómo cambian las cosas a lo largo del tiempo, como los patrones arremolinados de un huracán o el movimiento oscilatorio de un péndulo doble. Demostraron matemáticamente que, a medida que aumenta el horizonte temporal de entrenamiento, la "rugosidad" del paisaje de aprendizaje crece exponencialmente para los sistemas caóticos y linealmente para los sistemas que se repiten en ciclos. Esta rugosidad significa que el proceso de aprendizaje de la computadora, que depende de seguir la pendiente del terreno para encontrar el punto más bajo (la mejor predicción), se vuelve cada vez más propenso a tropezar. Cuanto más empinado y complejo sea el terreno con horizontes temporales más largos, más difícil será que los métodos de entrenamiento estándar tengan éxito. Sin embargo, los investigadores también demostraron que las pocas soluciones encontradas en estos paisajes difíciles de largo plazo son superiores. Un modelo que logra encontrar un buen mínimo en una sesión de entrenamiento de largo horizonte realizará naturalmente bien también las tareas de corto plazo, mientras que un modelo entrenado solo en horizontes cortos no puede confiarse de manera fiable para predecir el futuro distante.

El equipo validó estas intuiciones teóricas a través de una serie de experimentos computacionales utilizando diversos sistemas, que van desde el famoso atractor de Lorenz, que imita la convección atmosférica, hasta un complejo modelo de red trófica que representa interacciones ecológicas. También probaron sus hallazgos con datos del mundo real, incluyendo temperaturas de la superficie del mar y precios del mercado de valores. En cada caso, los resultados siguieron el mismo patrón: el rendimiento de los modelos formó una curva en forma de U con respecto al horizonte temporal de entrenamiento. Los modelos entrenados en horizontes muy cortos funcionaron mal en tareas de largo plazo, y los modelos entrenados en horizontes excesivamente largos a menudo no lograron aprender nada porque el paisaje era demasiado rugoso para navegarlo. El punto ideal, el horizonte de entrenamiento óptimo, se encontró en algún lugar intermedio. Crucialmente, este punto óptimo rara vez era el mismo que el horizonte temporal específico en el que los investigadores querían probar el modelo más tarde. En cambio, el mejor horizonte de entrenamiento dependía de la naturaleza intrínseca del sistema que se estaba modelando, como qué tan caótico o estable era su comportamiento, en lugar de la longitud específica del pronóstico que el usuario deseaba.

Estos hallazgos ofrecen una nueva y fundamentada manera de abordar el entrenamiento de las máquinas predictivas. El estudio sugiere que la práctica común de entrenar un modelo para predecir solo el siguiente paso, o simplemente igualar el horizonte de entrenamiento con el de prueba, rara vez es la estrategia más efectiva. En cambio, el enfoque ideal implica seleccionar un horizonte de entrenamiento que equilibre la dinámica inherente del sistema con los recursos computacionales disponibles. Si bien el entrenamiento en horizontes más largos produce modelos mejores y más robustos, requiere significativamente más potencia de cómputo y un ajuste cuidadoso para superar la rugosidad del paisaje de aprendizaje. Los investigadores proponen que los sistemas futuros podrían ajustar dinámicamente este horizonte de entrenamiento durante el proceso de aprendizaje, comenzando con horizontes más cortos y fáciles para encontrar un buen punto de partida y extendiendo gradualmente la visión a medida que el modelo se vuelve más estable. Este trabajo proporciona una base teórica clara para un campo que a menudo ha dependido del ensayo y error, mostrando que la clave para un mejor pronóstico reside en comprender la geometría oculta del propio proceso de aprendizaje.

Resumen Técnico: Horizontes temporales en el pronóstico: un compromiso entre rendimiento y capacidad de aprendizaje

Declaración del Problema

Entrenar modelos autorregresivos (AR) para pronosticar sistemas dinámicos presenta un desafío crítico, aunque teóricamente poco explorado: determinar el horizonte de pronóstico temporal óptimo ( $T$ ) para utilizar durante el entrenamiento. Mientras que los profesionales suelen recurrir al pronóstico de un solo paso o a horizontes arbitrariamente largos sin una justificación rigurosa, no existe un marco teórico existente para guiar esta elección. Esta brecha afecta tanto a los modelos de redes neuronales basados en datos como a los enfoques de modelado mecanístico (por ejemplo, ecuaciones diferenciales) que utilizan estrategias similares de selección de horizonte, como el tiro múltiple (multiple shooting) o la regresión por tramos (piecewise regression). La pregunta central abordada es cómo el horizonte de entrenamiento influye en el rendimiento del modelo y en la geometría del paisaje de pérdida.

Metodología

Los autores emplean una combinación de la teoría de sistemas dinámicos y el análisis de aprendizaje automático para derivar una conexión entre el horizonte de entrenamiento y la geometría del paisaje de pérdida.

Marco Teórico:
- Supuestos: La teoría asume sistemas dinámicos deterministas, suaves y ergódicos con estados totalmente observables y suficiente cobertura de datos de la distribución estacionaria.
- Regiones $\epsilon$ -acotadas: Los autores definen una región en el espacio de parámetros donde el modelo $f(\cdot, \theta)$ aproxima la dinámica real $\phi$ dentro de un error acotado $\epsilon$ . Esto permite que el Jacobiano del modelo esté estrechamente alineado con el Jacobiano real del sistema.
- Análisis de Gradiente y Hessiano: Analizan el escalamiento del gradiente de la pérdida $\nabla_\theta L$ y el Hessiano $H$ con respecto al horizonte temporal $T$ . Utilizan el exponente de Lyapunov ( $\lambda$ ) para sistemas caóticos y la frecuencia ( $\omega$ ) para ciclos límite para caracterizar la dinámica del sistema.
- Métrica de Rugosidad: Definen la "rugosidad" del paisaje de pérdida como el número de mínimos y máximos locales a lo largo de un segmento de línea que conecta dos puntos paramétricos.
Validación Empírica:
- Sistemas Sintéticos: Se realizaron experimentos en cuatro sistemas dinámicos: el atractor de Lorenz, un péndulo doble, un ciclo límite simple y un modelo de red trófica caótica.
- Conjuntos de Datos del Mundo Real: La teoría se probó en tres conjuntos de datos empíricos: la simulación climática ClimSIM, los datos de la temperatura de la superficie del mar (SST) de la NOAA y los precios de las acciones de Amazon (AMZN).
- Arquitecturas: El estudio utilizó principalmente Perceptrones Multicapa (MLP) y MLPs residuales, aunque las implicaciones teóricas se extienden a RNN y Transformers mediante argumentos de incrustación (embedding).

Contribuciones Clave y Resultados Teóricos

1. Escalamiento del Gradiente y el Hessiano (Teoremas 4.3 y 4.4)

El artículo demuestra que la magnitud del gradiente de la pérdida y del Hessiano (específicamente la suma de los autovalores) escalan con el horizonte de entrenamiento $T$ :

Sistemas Caóticos/Inestables: El gradiente y el Hessiano escalan exponencialmente, $O(e^{\lambda T})$ , donde $\lambda$ es el exponente de Lyapunov.
Ciclos Límite: El escalamiento es lineal, $O(\omega T)$ .
Esto implica que, a medida que el horizonte aumenta, el paisaje de pérdida se vuelve cada vez más empinado y "rugoso".

2. Generalización a través de Horizontes (Teorema 4.6)

Los autores establecen que los mínimos encontrados con un horizonte de entrenamiento largo ( $T_h$ ) generalizan mejor a horizontos más cortos ( $T_l$ ) que viceversa. Específicamente, la relación de las diferencias de rendimiento entre mínimos escala como $O(e^{\lambda(T_h - T_l)})$ para sistemas caóticos.

Implicación: Los modelos entrenados con horizontes largos capturan la dinámica global del sistema de manera más efectiva, lo que los hace robustos para predicciones de corto plazo. Por el contrario, los modelos entrenados solo con horizontes cortos pueden fallar al capturar dependencias de largo plazo, lo que conduce a la divergencia en los pronósticos de largo plazo.

3. Rugosidad del Paisaje de Pérdida (Teorema 4.7)

Se identifica un compromiso crítico: si bien los horizontes largos producen una mejor generalización, hacen que el paisaje de pérdida sea significativamente más difícil de navegar.

El número de mínimos y máximos locales a lo largo de un segmento de línea paramétrica crece como $O(e^{\lambda T})$ para sistemas caóticos.
A medida que $T \to \infty$ , el paisaje de pérdida se aproxima a una estructura fractal, lo que hace que los métodos de descenso de gradiente sean ineficaces.
Implicación: Existe un límite de "capacidad de aprendizaje" (learnability); entrenar con horizontes excesivamente largos se vuelve computacionalmente intratable debido a la rugosidad del paisaje, incluso si el mínimo teórico es superior.

4. Modelos Mecanísticos

El artículo extiende estos hallazgos a modelos mecanísticos (por ejemplo, ODEs con parámetros desconocidos). En el caso ideal de un modelo determinista perfecto, la pérdida es cero en los parámetros reales independientemente de $T$ . Sin embargo, en presencia de ruido o desajuste del modelo, se aplica el mismo compromiso entre rendimiento y capacidad de aprendizaje observado en las redes neuronales, lo que sugiere que existe un horizonte intermedio óptimo.

Resultados Experimentales

Curvas de Rendimiento en Forma de U: En todos los conjuntos de datos sintéticos y del mundo real, el Error Cuadrático Medio (MSE) exhibe una curva en forma de U con respecto al horizonte de entrenamiento.
- El rendimiento mejora a medida que $T$ aumenta desde 1 paso (validando el Teorema 4.6).
- El rendimiento se degrada después de cierto punto a medida que el paisaje de pérdida se vuelve demasiado rugoso para ser optimizado eficazmente (validando el Teorema 4.7).
Horizonte Óptimo vs. Horizonte de Evaluación: El horizonte de entrenamiento óptimo rara vez es igual al horizonte de predicción de un solo paso, ni coincide necesariamente con el horizonte de evaluación deseado. En cambio, está inextricablemente ligado a la dinámica intrínseca del sistema (por ejemplo, exponentes de Lyapunov).
Sensibilidad al Ruido: En conjuntos de datos ruidosos (NOAA SST, acciones de AMZN), el horizonte óptimo está limitado por el nivel de ruido. El ruido elevado limita el horizonte efectivo más allá del cual las predicciones se vuelven aleatorias, consistente con la Proposición A.14.
Programación Iterativa (Iterative Scheduling): Los autores proponen y prueban un algoritmo iterativo que aumenta lentamente $T$ mientras ajusta la tasa de aprendizaje. Este enfoque mostró promesa para superar el entrenamiento de horizonte fijo en algunos casos, particularmente para ciclos límite, al navegar el compromiso entre la rugosidad del paisaje y la magnitud del gradiente.

Significado y Reivindicaciones

El artículo afirma proporcionar una base fundamentada para la optimización de hiperparámetros en el pronóstico autorregresivo. Su importancia principal radica en:

Resolver el Compromiso: Articula formalmente la tensión entre la capacidad de aprendizaje (facilidad de optimización, favorecida por horizontes cortos) y la generalización (precisión en la dinámica de largo plazo, favorecida por horizontes largos).
Guiar la Práctica: Argumenta contra la práctica común de utilizar el pronóstico de un solo paso o horizontes arbitrariamente largos sin justificación. En su lugar, sugiere que el horizonte de entrenamiento óptimo es una función de la dinámica del sistema y los recursos computacionales.
Unificación Teórica: Une la teoría de sistemas dinámicos (exponentes de Lyapunov, atractores) con la optimización de aprendizaje automático (geometría del paisaje de pérdida, escalamiento del gradiente), ofreciendo una explicación matemática para fenómenos como el problema del gradiente que desaparece o explota en el contexto de los horizontes de pronóstico.

Los autores mantienen la modestia, reconociendo que sus supuestos (determinismo, observabilidad total) son idealizaciones. Señalan que en escenarios del mundo real altamente estocásticos o no estacionarios, el horizonte óptimo está aún más limitado por el ruido, y que los límites teóricos sirven como aproximaciones más que como prescripciones exactas.