Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

En el mundo de las finanzas, predecir el precio futuro de una acción es el santo grial. Inversores y bancos invierten miles de millones en sistemas informáticos sofisticados, con la esperanza de encontrar un patrón en el caos de los movimientos diarios del mercado. Estos sistemas, a menudo construidos mediante aprendizaje profundo, están diseñados para digerir vastas cantidades de información —precios pasados e informes económicos— para adivinar si una acción subirá o bajará mañana. La forma estándar de juzgar si uno de estos sistemas es realmente bueno es comparar sus predicciones contra una lista de otros sistemas. Si un nuevo modelo comete menos errores que los antiguos, se le declara ganador y sus creadores publican los resultados como un avance revolucionario. Este proceso se basa en una suposición simple: que una puntuación de error más baja significa que el modelo ha encontrado una señal genuina en los datos, una capacidad real de ver lo que otros no pueden.

Sin embargo, un nuevo estudio desafía la base misma de cómo se eligen estos ganadores. Los investigadores, trabajando con un equipo de expertos en ciencias de la computación y gestión, descubrieron que el método de puntuación estándar puede ser engañado. Descubrieron que un modelo informático puede lograr una puntuación perfecta no porque haya aprendido a predecir el mercado, sino porque ha aprendido a hacer casi nada. Cuando un mercado es difícil de predecir, el movimiento matemático más seguro es simplemente adivinar el resultado promedio cada vez. Si un modelo es demasiado cauteloso, o si su diseño lo obliga a ser demasiado conservador, reducirá sus predicciones hasta que sean casi planas. El estudio muestra que los actuales sistemas de clasificación confunden este comportamiento de reducción con habilidad, creando una tabla de clasificación donde los "mejores" modelos son en realidad aquellos que se han rendido en absoluto a la predicción de cualquier cosa.

Los investigadores se propusieron probar una arquitectura específica y moderna diseñada para pronosticar los rendimientos diarios de las acciones. Este sistema, llamado MFGate-Net, fue construido para ser un predictor de vanguardia. Combinaba dos tipos diferentes de información: indicadores técnicos derivados de gráficos de precios y datos macroeconómicos como las tasas de interés y la volatilidad del mercado, junto con un mecanismo para ponderar estos insumos de forma dinámica. Para ver si funcionaba, el equipo lo entrenó con siete años de datos históricos y luego lo probó en un periodo nuevo y no visto que cubría los años 2022 a 2024. Este periodo de prueba fue elegido cuidadosamente para incluir diferentes condiciones de mercado, incluyendo un periodo de alta inflación y una fase de recuperación, asegurando que el modelo enfrentara un desafío realista.

Cuando el equipo realizó la comparación estándar, los resultados parecieron un triunfo. El nuevo modelo venció a todos los demás competidores, incluyendo métodos de aprendizaje automático más antiguos y simples, y otras redes de aprendizaje profundo complejas. Tenía la tasa de error más baja, y las pruebas estadísticas confirmaron que su ventaja no fue una casualidad. Por todos los conceptos convencionales, esto debería haber sido el titular: una nueva y superior forma de predecir el mercado. Pero los investigadores no se detuvieron ahí. Hicieron una pregunta más simple y fundamental: ¿realmente venció este modelo a la predicción más básica posible? En finanzas, la predicción más simple es asumir que el cambio de precio de mañana será exactamente cero. Esto se conoce como el referente incondicional. Es la base de no hacer nada.

Cuando compararon su sofisticado modelo contra esta predicción de cero, la historia cambió por completo. El complejo modelo no venció al pronóstico de cero. De hecho, era estadísticamente indistinguible de este. Las predicciones del modelo eran tan cercanas a cero que no ofrecían ninguna ventaja real sobre simplemente adivinar que nada sucedería. Incluso más sorprendente, todos los demás modelos en la tabla de clasificación, desde las redes de aprendizaje profundo más nuevas hasta los métodos estadísticos más antiguos, también fallaron en vencer al pronóstico de cero. Todos ellos fueron peores que no hacer nada. Los investigadores se dieron cuenta de que la clasificación que habían visto antes no medía quién era el mejor predictor, sino quién era el más cauteloso. Los modelos que redujeron más sus predicciones, acercándose más a cero, parecían tener el error más bajo. La clasificación era una medida de cuánto se habían colapsado los modelos, no de cuánto habían aprendido.

Para probar esto, el equipo derivó una explicación matemática de por qué sucede esto. Demostraron que cuando un mercado es casi impredecible, la puntuación de error de un modelo depende casi por completo de cuánto varían sus predicciones en comparación con el mercado real. Si un modelo predice muy poco movimiento, su puntuación de error parecerá buena, incluso si se equivoca. El estudio demostró que la aparente superioridad de un modelo sobre otro era simplemente una diferencia en cuánto redujeron sus pronósticos. Las pruebas estadísticas utilizadas para declarar un ganador estaban midiendo en realidad esta reducción. Cuantos más datos recolectaban, más seguros estaban de una conclusión falsa. Cuanto mayor era el conjunto de datos, más fuerte se volvía la ilusión de habilidad, a pesar de que no existía tal habilidad.

Los investigadores propusieron entonces una solución simple. Antes de comparar los modelos, ajustaron cada predicción para que su rango de movimiento coincidiera con el rango del mercado real. Este proceso, que llaman ajuste de dispersión, elimina el sesgo hacia la reducción. Una vez que aplicaron esta corrección, las diferencias dramáticas entre los modelos desaparecieron. Los modelos que previamente parecían claros ganadores ahora estaban estadísticamente empatados con los perdedores. La significancia "abrumadora" que sugería un avance desapareció, reemplazada por un resultado que mostraba que todos los modelos se desempeñaban esencialmente igual que un simple azar. En un caso específico, un modelo que había sido declarado el mejor resultó no ser mejor que un pronóstico constante de cero, con una probabilidad estadística de 0.97 de que la diferencia se debiera al azar.

El estudio también analizó si estos modelos podían ganar dinero. Incluso si un modelo no puede predecir el precio perfectamente, podría ser útil si puede guiar operaciones rentables. Los investigadores simularon estrategias de trading basadas en las predicciones de los modelos, contabilizando los costos de compra y venta. Los resultados fueron contundentes. Ningún modelo generó una ganancia que pudiera superar una inversión libre de riesgo, incluso cuando los costos de transacción se fijaron en cero. El modelo más exitoso en los gráficos de error resultó ser el peor en términos de dinero, porque sus predicciones cautelosas llevaron a una estrategia que apenas se movía, acumulando pequeñas pérdidas contra el costo de capital. Esto confirmó que la clasificación estadística no solo era engañosa, sino económicamente irrelevante.

Quizás el hallazgo más inquietante concernía a las herramientas utilizadas para explicar cómo funcionan estos modelos. En el campo de la inteligencia artificial, los investigadores suelen utilizar visualizaciones para mostrar a qué puntos de datos está prestando atención un modelo, con la esperanza de demostrar que el sistema ha aprendido patrones significativos. El equipo probó esto entrenando su modelo con datos donde el objetivo había sido mezclado aleatoriamente, destruyendo cualquier relación real entre los insumos y el resultado. Un modelo entrenado con tal ruido no puede posiblemente aprender nada. Sin embargo, cuando analizaron este modelo "roto", produjo explicaciones que se veían casi idénticas a las del modelo real. Las visualizaciones mostraron las mismas características siendo resaltadas y los mismos patrones de atención. Esto sugiere que estas herramientas de interpretabilidad a menudo reflejan la estructura de los datos en sí mismos en lugar del conocimiento específico que el modelo ha adquirido. No pueden distinguir entre un modelo que ha aprendido un secreto y uno que no ha aprendido nada.

Los investigadores concluyeron que todo el campo de la predicción financiera necesita cambiar la forma en que reporta sus resultados. Recomiendan que cada estudio incluya una comparación contra el simple pronóstico de cero para demostrar que un modelo tiene alguna habilidad en absoluto. También sugieren reportar una medida de cuánto varían las predicciones del modelo, para asegurar que una puntuación de error baja no sea solo el resultado de ser excesivamente cauteloso. Sin estos controles, la literatura está llena de modelos que parecen estar avanzando en el estado del arte pero que en realidad solo se están clasificando por qué tan bien pueden fingir que no son nada. El estudio no afirma que predecir el mercado sea imposible, ni dice que el aprendizaje profundo sea inútil. Simplemente muestra que la forma actual de juzgar el éxito está rota y que, hasta que las reglas se arreglen, los ganadores en la tabla de clasificación pueden no ser aquellos que realmente pueden ver el futuro.