Resumen Técnico: Cuantificación del Compensación Riesgo-Rentabilidad en la Predicción

Enunciado del Problema

La evaluación tradicional de las predicciones macroeconómicas depende en gran medida de métricas de pérdida promedio (por ejemplo, RMSE, MAE) y pruebas de significancia estadística (por ejemplo, Diebold–Mariano). Si bien estas herramientas determinan si un modelo reduce los errores de predicción en promedio, no logran capturar la fiabilidad y el perfil de riesgo de dichas ganancias. Los usuarios institucionales (bancos centrales, gestores de activos) a menudo poseen preferencias asimétricas: toleran episodios de sobrerendimiento, pero no pueden permitirse un desempeño catastrófico. Dos modelos pueden exhibir una precisión promedio idéntica, pero poseer patrones de ganancias y pérdidas a lo largo del tiempo vastamente diferentes, lo que conduce a distintos riesgos operativos. El artículo argumenta que la precisión promedio no es sinónimo de fiabilidad de la predicción y que la literatura actual carece de un marco unificado para cuantificar la compensación entre la mejora de la predicción y la volatilidad o la severidad de los fallos de predicción.

Metodología

El artículo importa medidas de rendimiento ajustadas al riesgo de las finanzas para tratar las diferencias de pérdida de predicción como una "serie de rentabilidad".

1. La Analogía de la Rentabilidad

Para un modelo $M$ y un punto de referencia $B$, la "rentabilidad" en el tiempo $t$ se define como la diferencia de pérdida:
$$r_t = L_t^B - L_t^M$$
donde $L$ es una función de pérdida (por ejemplo, error cuadrático). Una $r_t$ positiva indica que el modelo supera al punto de referencia. La secuencia $\{r_t\}$ se analiza como una serie de rentabilidad financiera.

2. Métricas Ajustadas al Riesgo

El marco adapta cuatro métricas financieras clave para la evaluación de predicciones:

• Ratio de Sharpe de Predicción: La relación entre la rentabilidad promedio y la desviación estándar de las rentabilidades. Mide la mejora promedio por unidad de volatilidad total.
• Ratio de Sortino de Predicción: La relación entre la rentabilidad promedio y la semidesviación estándar (volatilidad de las rentabilidades negativas únicamente). Esto penaliza el bajo rendimiento mientras ignora la variabilidad al alza, alineándose con las preferencias asimétricas de los usuarios de predicciones.
• Ratio de Omega de Predicción: La relación entre el promedio de la parte alta y el promedio de la parte baja. Captura la distribución completa de ganancias frente a pérdidas sin asumir normalidad, lo que lo hace adecuado para diferencias de pérdida no gaussianas.
• Caída Máxima (Maximum Drawdown): La mayor pérdida acumulada desde un pico histórico hasta un valle. Esto identifica episodios prolongados de fallo sostenido de predicción, que son particularmente relevantes durante rupturas estructurales (por ejemplo, aumentos de la inflación).

3. El Ratio de Ventaja (Edge Ratio)

Una métrica novedosa introducida para medir la propensión de un modelo a ofrecer una ventaja predictiva única en relación con todo el conjunto de alternativas disponibles (la frontera de predicción).

• Definición: En cada tiempo $t$, el punto de referencia es el otro modelo de mejor rendimiento ($L^*_t = \min_{j \neq M} L_{j,t}$). La "ventaja" es $e_{M,t} = L^*_t - L_{M,t}$.
• Cálculo: El Ratio de Ventaja es la suma de victorias por ventaja ($e^+$) dividida por la suma de arrepentimientos por ventaja ($e^-$), escalada por $(M-1)$ para corregir el tamaño del grupo.
• Interpretación: Un Ratio de Ventaja alto indica que el modelo alcanza frecuentemente la frontera y lo hace de manera decisiva, minimizando al mismo tiempo el arrepentimiento de no elegir la mejor alternativa cuando falla.

4. Extensión a Metaanálisis

El marco se extiende a un metaanálisis transversal a través de objetivos, horizontes y muestras. En lugar de rentabilidades de series temporales, las "rentabilidades" se definen como mejoras porcentuales en las métricas de rendimiento (por ejemplo, RMSE) a través de un espacio de diseño. Esto permite evaluar la robustez del modelo: si un método gana consistentemente o solo tiene éxito en bolsillos específicos mientras falla catastróficamente en otros lugares.

5. Conexión con Diebold-Mariano (DM)

El artículo demuestra que el ratio de Sharpe coincide con la estadística t de DM (escalada) cuando los errores de predicción no están correlacionados serialmente. El denominador de la estadística DM (varianza a largo plazo) penaliza el bajo rendimiento persistente más severamente que los fallos transitorios, actuando efectivamente como una medida ajustada al riesgo que tiene en cuenta la autocorrelación.

Aplicaciones Empíricas y Resultados

Aplicación 1: Predicción Macroeconómica (ML/IA vs. Forecasters Profesionales)

El estudio evalúa variables macroeconómicas de EE. UU. (PIB, desempleo, inflación, vivienda) en períodos anteriores y posteriores a la COVID, comparando puntos de referencia econométricos, modelos de aprendizaje automático (ML), un modelo de base (TabPFN) y la Encuesta de Forecasters Profesionales (SPF).

• Crecimiento del PIB: Si bien los modelos flexibles (Ridge de Kernel, Redes Neuronales) a menudo logran reducciones promedio de MSE más altas que la SPF, la SPF exhibe un rendimiento ajustado al riesgo superior. Los ratios de Sortino y Omega de la SPF son significativamente más altos, lo que indica un riesgo a la baja excepcionalmente contenido. La SPF rara vez sufre fallos catastróficos.
• Desempleo: Los modelos híbridos de impulso (LGB+) y los modelos de base (TabPFN) muestran perfiles ajustados al riesgo sólidos en horizontes específicos. Cabe destacar que los Bosques Aleatorios logran un rendimiento ajustado al riesgo comparable al de modelos de base sofisticados, mientras que las redes neuronales estándar sufren una alta volatilidad a la baja.
• Inflación: Es difícil superar a la SPF en promedio. Sin embargo, la Red Neuronal Hemisférica (HNN) iguala a la SPF en rentabilidades brutas, pero domina en métricas ajustadas al riesgo. Crucialmente, la HNN es el único modelo que mantiene rentabilidades promedio positivas en el aumento de la inflación posterior a 2021, demostrando robustez ante el cambio de régimen.
• Nuevas Construcciones de Vivienda: Los modelos de ML generalmente luchan por superar el punto de referencia autorregresivo. La SPF iguala a los mejores modelos de ML en rentabilidades promedio, pero con un riesgo a la baja significativamente menor (ratio de Sortino más alto).

Hallazgo Clave: A menudo es factible superar a los forecasters profesionales en precisión promedio, pero mucho más difícil hacerlo sobre una base ajustada al riesgo. El valor de la SPF radica en su consistencia y falta de fallos catastróficos, lo que refleja el valor del juicio contextual.

Aplicación 2: Metaanálisis

• Predicción de Densidad (Goulet Coulombe et al., 2026): Reevaluando predicciones puntuales y de densidad, HNN y BART emergen como los predictores puntuales más fuertes. HNN domina decisivamente en la predicción de densidad (puntuaciones logarítmicas), ofreciendo ganancias más grandes y estables con menos fallos catastróficos en comparación con competidores como DeepAR.
• Competencia M4: En las series mensuales de M4, las clasificaciones de rendimiento promedio (MASE/OWA) se alinean ampliamente con las clasificaciones ajustadas al riesgo. Los modelos que funcionan bien en promedio también tienden a ser robustos en la sección transversal. Sin embargo, el Ratio de Ventaja revela que los modelos principales (por ejemplo, Modelo 118/ES-RNN) ocasionalmente ofrecen ganancias decisivas no disponibles para los competidores, en lugar de solo mejoras marginales.

Contribuciones Clave

1. Integración del Marco: El artículo establece un marco formal para evaluar predicciones utilizando métricas ajustadas al riesgo (Sharpe, Sortino, Omega, Caída Máxima), desplazando el enfoque de "¿es el modelo mejor en promedio?" a "¿con qué fiabilidad supera?".
2. El Ratio de Ventaja: Introduce una métrica novedosa para cuantificar la ventaja predictiva única en relación con todo el grupo de modelos, distinguiendo entre modelos que son meramente buenos y aquellos que proporcionan información irremplazable.
3. Reevaluación del Juicio Profesional: Proporciona evidencia cuantitativa de que los forecasters profesionales (SPF) son difíciles de superar no necesariamente porque tengan el error promedio más bajo, sino porque exhiben los perfiles de riesgo más favorables (baja volatilidad a la baja, altos ratios de Sortino).
4. Herramientas de Metaanálisis: Extiende estas métricas a espacios de diseño transversales, permitiendo a los profesionales evaluar la robustez de un método a través de diferentes objetivos y horizontes, identificando modelos propensos a "fallos catastróficos" en bolsillos específicos.

Significado y Afirmaciones

El artículo afirma que la precisión promedio de la predicción y la fiabilidad de la predicción son conceptos distintos. Al tratar las diferencias de pérdida como rentabilidades, el marco propuesto revela fragilidades ocultas en modelos que parecen competitivos bajo métricas estándar de RMSE.

• Relevancia Operativa: Para las instituciones, un modelo que supera a un punto de referencia en un 15% en promedio pero falla severamente durante las crisis ofrece un perfil riesgo-rentabilidad menos atractivo que uno con ganancias promedio moderadas y alta estabilidad.
• Selección de Modelos: El marco sugiere que, si bien el aprendizaje automático y los modelos de base pueden superar a los puntos de referencia tradicionales, su adopción requiere un escrutinio cuidadoso de su riesgo a la baja. Los modelos basados en árboles y arquitecturas específicas como HNN muestran promesa al ofrecer perfiles de riesgo atractivos para objetivos específicos.
• Dirección Futura: El artículo sugiere que si las métricas ajustadas al riesgo son operativamente relevantes, los modelos de predicción deberían optimizarse idealmente directamente para estos objetivos (por ejemplo, maximizar el ratio de Sortino) en lugar de depender de funciones de pérdida estándar (como el error cuadrático) y esperar propiedades de riesgo favorables ex post.

El artículo concluye que, si bien las ganancias de rendimiento promedio son necesarias, son insuficientes para la toma de decisiones operativas; la estabilidad y fiabilidad de dichas ganancias, capturadas por métricas ajustadas al riesgo, son igualmente críticas.