Resumen Técnico: Pronóstico Selectivo de Series Temporales mediante Metalearning

Planteamiento del Problema

Los métodos de aprendizaje profundo han logrado un rendimiento de vanguardia en el pronóstico de series temporales; sin embargo, su precisión no es uniforme en todas las muestras. Ciertos instantes dentro de una serie temporal son inherentemente difíciles de predecir, lo que genera variaciones sustanciales en los errores de pronóstico. Aunque los mecanismos de "opción de rechazo" —que permiten a los modelos abstenerse de realizar predicciones de alto riesgo— están bien establecidos en la clasificación y la regresión, siguen estando poco explorados en el pronóstico.

Las estrategias de abstención existentes en el pronóstico suelen depender de heurísticas de aproximación derivadas del propio pronóstico, tales como el ancho de los intervalos de predicción, puntuaciones de no conformidad o estimaciones de confianza aprendidas. El artículo argumenta que estos enfoques están intrínsecamente ligados al dominio de entrenamiento y a la arquitectura del modelo. En consecuencia, tienen dificultades para generalizarse a nuevos dominios o series temporales con características diferentes, lo que limita su utilidad en entornos de aprendizaje por transferencia (transfer learning).

Metodología

Los autores proponen un marco de pronóstico selectivo basado en el metalearning que desacopla la decisión de rechazo del resultado del pronóstico. La innovación central consiste en modelar el percentil empírico de los errores de pronóstico (un estadístico invariante de escala) basado en características estructurales extraídas de rezagos (lags) recientes, en lugar de depender de señales derivadas del pronóstico.

La metodología consta de dos etapas principales:

1. Estimación del Rendimiento (Dominio de Origen)

Utilizando un procedimiento de evaluación de origen rodante (validación cruzada de series temporales), los autores entrenan un modelo de pronóstico global (por ejemplo, KAN o NHITS) en un dominio de origen. Para cada origen de pronóstico $t$, el modelo predice un horizonte $h$, y se computa el error $e_{i,t}$ frente a la verdad de campo (ground truth).

2. Metalearning

En lugar de utilizar valores de error brutos como objetivos, el marco transforma los errores en rangos de percentiles empíricos computados dentro de cada serie temporal individual:
$$u_{i,t} = \frac{\#\{j \in T_i : j \neq t, e_{i,j} < e_{i,t}\}}{|T_i| + 1}$$
Esta normalización mapea los errores a un rango acotado de $(0, 1)$, creando un objetivo invariante de escala que permite al metamodelo aprender criterios de rechazo transferibles a través de conjuntos de datos heterogéneos.

Meta-predictores: Las características de entrada para el metamodelo se extraen de la ventana de rezago que precede a cada origen de pronóstico utilizando la librería TSFEL. Estas características resumen características estructurales como tendencia, estacionalidad y complejidad, en lugar de valores absolutos.

Meta-modelo: Se entrena un CatBoostRegressor para mapear estas características estructurales a los percentiles de error predichos.

Inferencia y Rechazo

En la inferencia, el metamodelo califica cada origen de pronóstico antes de que se emita el pronóstico.

• Zero-shot: El metamodelo entrenado en el origen se aplica directamente a un nuevo dominio.
• Adaptación de dominio: El metamodelo se ajusta (fine-tuning) con un pequeño subconjunto de datos etiquetados del dominio de destino.
• Regla de Decisión: Los pronósticos con un puntaje de percentil predicho $\hat{u}_{i,t} \geq q$ (donde $q$ es un umbral correspondiente al nivel de cobertura deseado) son rechazados.

Contribuciones Clave

1. Metalearning para la Estimación de Errores: El artículo introduce un enfoque de metalearning que estima grandes errores de pronóstico utilizando propiedades estructurales de los rezagos recientes y objetivos invariantes de escala (percentiles de error).
2. Transferencia Agnóstica al Dominio: Al desacoplar la decisión de rechazo del pronóstico y fundamentarla en características agnósticas al dominio, el marco permite la transferencia efectiva de la abstención a través de series temporales heterogéneas.
3. Validación Empírica: Los autores proporcionan evidencia de que este enfoque supera a las heurísticas derivadas del pronóstico (como el ancho de los intervalos de predicción y la varianza de los residuos) tanto en entornos de dominio interno como en escenarios de aprendizaje por transferencia.

Resultados Experimentales

El marco fue evaluado en las colecciones de series temporales univariantes M3, M1 y Tourism (frecuencias mensuales y trimestrales) utilizando KAN y NHITS como pronosticadores base.

Evaluación a Nivel de Meta (Calidad de Clasificación)

• In-domain: El metamodelo logró una alta correlación de Spearman ($\rho$ entre 0.71 y 0.90) entre los puntajes predichos y los rangos de error reales, superando consistentemente a las líneas de base como el ancho de PI (intervalo de predicción) y la varianza de los residuos.
• Aprendizaje por Transferencia: Aunque la transferencia zero-shot mostró cierta degradación debido al cambio de dominio, el metamodelo aún superó a la mayoría de las líneas de base. Crucialmente, la adaptación de dominio (ajuste fino con el 30% de los datos de destino) recuperó sustancialmente el rendimiento, a menudo igualando o excediendo el rendimiento del dominio de origen.
• Líneas de Base: Las líneas de base derivadas del pronóstico (ancho de PI, escala de residuo) generalmente fallaron al generalizarse en escenarios de transferencia, rindiendo a menudo peor que el rechazo aleatorio en escenarios zero-shot.

Evaluación a Nivel de Base (Precisión del Pronóstico)

• El pronóstico selectivo utilizando el metamodelo mejoró consistentemente el sMAPE promedio de los pronósticos aceptados en todos los niveles de cobertura en comparación con "mantener todos" (keep all) y otras líneas de base.
• El método logró la menor brecha promedio respecto al "Oráculo" (el mejor rendimiento teórico si se conocieran los errores reales) en todas las fracciones de rechazo.
• El enfoque demostró ser agnóstico al modelo, produciendo mejoras similares independientemente de si se utilizaba KAN o NHITS como pronosticador subyacente.

Significado y Reivindicaciones

El artículo afirma que la capacidad de pronóstico puede tratarse como una propiedad estructural de las observaciones recientes, permitiendo decisiones conscientes del riesgo antes de que se realice el horizonte de pronóstico.

• Triaje Pre-pronóstico: A diferencia de los métodos de cuantificación de incertidumbre que requieren que el pronóstico se genere primero, este método opera ex ante, utilizando únicamente descriptores de rezago para filtrar instancias difíciles.
• Generalización: El diseño invariante de escala permite que el mecanismo se transfiera eficazmente entre dominios sin necesidad de reentrenar el pronosticador base, abordando una limitación clave de los métodos actuales de predicción selectiva.
• Utilidad Práctica: Los resultados sugieren que los profesionales pueden evitar selectivamente las predicciones poco fiables, reduciendo significativamente el error promedio en aplicaciones críticas donde los pronósticos de alto riesgo son perjudiciales.

Los autores reconocen limitaciones, señalando que el método depende de la representatividad de los datos de meta-entrenamiento y estima el riesgo relativo en lugar de proporcionar garantías probabilísticas calibradas. Sugieren que trabajos futuros podrían integrar este mecanismo con la predicción de conformidad (conformal prediction) para una cuantificación de la incertidumbre formal.