Forecast collapse of transformer-based models under squared loss in financial time series

Este artículo demuestra teórica y empíricamente que los modelos basados en Transformers sufren un colapso en la predicción de series temporales financieras bajo pérdida cuadrática, ya que su alta expresividad genera fluctuaciones espurias y un aumento de la varianza sin reducir el sesgo, resultando en un rendimiento inferior al de un simple modelo lineal cuando la estructura condicional es débil.

Lo esencial

📉 ¿Por qué la Inteligencia Artificial "se rinde" en la bolsa?

Una explicación sencilla del artículo de Pierre Andreoletti

Imagina que tienes un oráculo superpoderoso (un modelo de IA llamado Transformer) capaz de leer millones de libros, ver todas las películas y analizar patrones complejos en segundos. Lo pones a trabajar para predecir el precio de una acción mañana.

El resultado es decepcionante: el oráculo no te da un número mágico. Simplemente te dice: "Mañana el precio será exactamente el mismo que hoy". Si le preguntas por el porcentaje de cambio, te responde: "Cero".

¿Por qué falla una tecnología tan avanzada? Este artículo explica que no es un error de la máquina, sino un error de la tarea.

1. El problema del "Ruido" vs. la "Señal"

Para entenderlo, imagina dos situaciones diferentes:

• Caso A: El Clima (Señal clara).
  Si intentas predecir si lloverá mañana basándote en el clima de ayer, hay una señal clara. Si hay nubes negras y humedad, es muy probable que llueva. Aquí, un modelo complejo ayuda a ver patrones sutiles (viento, presión) para mejorar la predicción. La IA brilla aquí.

• Caso B: El Mercado Financiero (Ruido puro).
  El mercado de valores es como intentar predecir el resultado de lanzar una moneda al aire, pero la moneda está siendo manipulada por millones de personas al mismo tiempo.
  En finanzas, el precio de mañana depende de noticias, decisiones de bancos centrales y emociones humanas que no se pueden predecir basándose solo en el precio de ayer.

  • La analogía: Imagina que estás en una habitación llena de gente gritando (ruido). Si intentas adivinar qué dirá la siguiente persona basándote en lo que dijo la anterior, no hay patrón. Es puro caos.

2. La trampa de la "Inteligencia Excesiva"

Aquí es donde entra la magia (y el problema) del artículo.

Cuando entrenas a una IA con un objetivo de "minimizar el error cuadrático" (que es como decir: "Intenta adivinar el número exacto y castigo mucho si te equivocas"), la IA busca la respuesta matemáticamente perfecta.

• En el Clima: La respuesta perfecta es un número complejo basado en patrones. La IA aprende esos patrones y mejora.
• En la Bolsa: La respuesta matemáticamente perfecta es "No cambies nada".
  • Si el precio de ayer fue 100, y no hay forma de predecir el futuro, la mejor predicción estadística es 100.
  • Si el precio subió 1% ayer, la mejor predicción de cambio es 0%.

El error de la IA:
Como los modelos modernos (Transformers) son demasiado inteligentes y flexibles, cuando ven que la respuesta "perfecta" es plana (sin cambios), intentan ser "útiles" y añaden detalles.

• La analogía: Imagina que le pides a un pintor muy talentoso que dibuje un paisaje donde solo hay una pared blanca. El pintor, queriendo mostrar su talento, empieza a añadir sombras, texturas y detalles en la pared.
• El resultado: En lugar de una pared blanca perfecta (la predicción correcta), el pintor ha creado una pared con manchas y ruido. Cuanto más talentoso sea el pintor (más complejo sea el modelo), más manchas añadirá, y más feo quedará el dibujo.

En finanzas, la IA reutiliza el ruido (los errores aleatorios del pasado) y los convierte en "predicciones falsas". En lugar de quedarse en cero, empieza a inventar subidas y bajadas que no existen, lo que aumenta el error total.

3. Lo que dice el experimento

El autor probó esto con datos reales del Euro/Dólar (EUR/USD) a alta velocidad.

• El modelo simple: Una regla básica que dice "mañana será igual que hoy".
• El modelo complejo (Transformer): Una red neuronal gigante.

El resultado:
El modelo simple ganó por goleada. El modelo complejo cometió más errores en el 92% de los casos.
¿Por qué? Porque el modelo complejo se distrajo intentando encontrar patrones en el ruido, mientras que el modelo simple se quedó quieto en la respuesta óptima: "No sé qué pasará, así que asumo que no pasará nada".

🎯 La conclusión en una frase

En un mundo donde el futuro es impredecible (como la bolsa), tener una herramienta más inteligente no te ayuda a ver mejor; solo te hace alucinar patrones donde no los hay.

El artículo nos advierte que seguir haciendo modelos más grandes y complejos para predecir precios de acciones es como intentar adivinar el próximo número de la lotería analizando los números anteriores: por muy inteligente que seas, la única respuesta sensata es decir "no lo sé", y cualquier intento de ser más preciso solo te hará perder más dinero.

¿Qué hacer entonces?
En lugar de intentar predecir un número exacto (que es imposible), los expertos deberían enfocarse en predecir la probabilidad o el riesgo (ej: "hay un 50% de probabilidad de que suba y un 50% de que baje"), o usar modelos que entiendan la incertidumbre, en lugar de obsesionarse con el número exacto.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Forecast collapse of transformer-based models under squared loss in financial time series" (Colapso de los pronósticos de modelos basados en transformadores bajo pérdida cuadrática en series temporales financieras), escrito por Pierre Andreoletti.

1. Planteamiento del Problema

El artículo aborda una paradoja observada en la aplicación de arquitecturas modernas de aprendizaje profundo, específicamente los Transformadores (como Informer, Autoformer, PatchTST), a la predicción de series temporales financieras.

• El fenómeno: Mientras que estos modelos logran un rendimiento excepcional en series temporales estructuradas (carga eléctrica, tráfico, clima), su rendimiento colapsa en datos financieros. En lugar de capturar patrones complejos, las predicciones tienden a degenerar en dinámicas triviales: los precios se predicen planos (iguales al último valor observado) y los retornos se concentran en cero.
• La hipótesis errónea: La literatura existente suele atribuir este fallo a una relación señal-ruido baja, no estacionariedad, cambios de régimen o falta de datos, sugiriendo que arquitecturas más complejas o más datos podrían resolverlo.
• La tesis del autor: El autor argumenta que este colapso no es un artefacto de optimización o escasez de datos, sino una consecuencia teórica inevitable de la minimización del riesgo empírico (ERM) bajo una pérdida cuadrática (MSE) cuando el proceso subyacente tiene una estructura condicional débil (como en los mercados financieros eficientes).

2. Metodología y Marco Teórico

El estudio se basa en un análisis a nivel de proceso, donde tanto las entradas como las salidas son trayectorias temporales completas.

A. Formulación del Problema

• Objetivo: Predecir una trayectoria futura $Y^{(H)}_t$ basada en una ventana de observación pasada $X^{(L)}_t$.
• Pérdida: Se utiliza la pérdida cuadrática de trayectoria: $\ell(Y, \hat{Y}) = \|Y - \hat{Y}\|_2^2$.
• Minimizador Bayesiano: Bajo pérdida cuadrática, el predictor óptimo (que minimiza el riesgo poblacional) es la esperanza condicional de la trayectoria futura dada la historia: $f^*(X) = E[Y | X]$.

B. El Colapso en Finanzas

El autor formaliza que, bajo supuestos estándar de finanzas (como la hipótesis de martingala o retornos con media condicional cero):

1. La esperanza condicional de los precios futuros es el precio actual: $E[X_{t+h} | \mathcal{F}_t] = X_t$.
2. La esperanza condicional de los retornos futuros es cero: $E[R_{t+h} | \mathcal{F}_t] = 0$.
3. Consecuencia: El predictor Bayesiano óptimo es trivial: una línea plana para precios y cero para retornos.

C. El Mecanismo de Fallo (Sesgo-Varianza y Ruido)

El núcleo del argumento teórico reside en cómo los modelos altamente expresivos (como los Transformadores) interactúan con este objetivo trivial:

• Modelos Lineales Simples: Convergen hacia el predictor óptimo trivial con un error que disminuye a medida que aumenta el tamaño de la muestra ($O(1/n)$).
• Modelos Expresivos (Interpolantes): Al ser capaces de interpolar los datos de entrenamiento, estos modelos no solo aprenden la señal (que es trivial), sino que reutilizan el ruido de los datos de entrenamiento.
• Resultado: En lugar de reducir el sesgo (que ya es cero en el predictor óptimo), la alta expresividad introduce una varianza espuria. El modelo oscila alrededor del predictor óptimo trivial, amplificando el ruido y aumentando el error de predicción fuera de muestra.

3. Contribuciones Clave

1. Explicación Teórica del Colapso: Se demuestra formalmente que el colapso de los pronósticos en finanzas no es un fallo de la arquitectura, sino el resultado esperado de la ERM bajo pérdida cuadrática cuando la señal condicional es débil.
2. Análisis de Nivel de Proceso: A diferencia de estudios previos que analizan puntos escalares, este trabajo analiza trayectorias completas, mostrando cómo la dependencia temporal y la superposición de ventanas afectan la generalización.
3. Comparación de Clases de Hipótesis: Se compara un modelo lineal bien especificado frente a una clase rica que contiene predictores interpolantes. Se prueba que, en regímenes de señal débil, la clase rica tiene un error de predicción estrictamente mayor debido a la varianza inducida por la reutilización del ruido.
4. Validación Empírica Rigurosa: Se realizan experimentos con datos reales de alta frecuencia (EUR/USD) utilizando el modelo PatchTST, analizando la distribución de los errores a nivel de trayectoria.

4. Resultados Experimentales

El autor utilizó datos de tipo EUR/USD de alta frecuencia (intervalos de 30 segundos) para validar la teoría:

• Configuración: Ventana de retroceso $L=451$ y horizonte de pronóstico $H=30$. Se comparó un predictor PatchTST (Transformador) contra un predictor lineal simple.
• Distribución de Errores:
  • La distribución acumulada de los errores del modelo PatchTST se desplazó uniformemente hacia la derecha en comparación con el modelo lineal, indicando errores mayores en casi todos los cuantiles.
  • La relación de riesgo promedio fue de aproximadamente 1.71, lo que significa que el error promedio del Transformador fue casi el doble que el del modelo lineal.
  • En el 92-94% de las ventanas de pronóstico, el modelo basado en Transformadores incurrió en un error mayor que el modelo lineal.
• Interpretación: Los resultados confirman que la mayor expresividad del Transformador no mejora la precisión, sino que induce variabilidad espuria alrededor del predictor óptimo trivial, consistente con la teoría de amplificación de ruido.

5. Significado e Implicaciones

Este trabajo tiene implicaciones profundas para el aprendizaje automático en finanzas:

• Fin de la búsqueda de arquitecturas: Sugiere que mejorar la arquitectura de los modelos (más capas, mecanismos de atención más complejos) no resolverá el problema de la predicción de precios financieros bajo pérdida cuadrática, ya que el problema es fundamentalmente de definición del objetivo de aprendizaje, no de capacidad del modelo.
• Reevaluación del Objetivo de Aprendizaje: Para que los modelos sean útiles en finanzas, es necesario abandonar la predicción de la media condicional (puntos) bajo pérdida cuadrática.
• Nuevas Direcciones:
  • Predicción Probabilística: Modelar la distribución completa condicional (ej. modelos de difusión, enfoques bayesianos) para capturar incertidumbre y momentos de orden superior, en lugar de solo la media.
  • Cambio de Paradigma: Replantear el problema de predicción como un problema de decisión o de estimación de distribuciones, reconociendo que la "señal" en el precio es a menudo inexistente o irrecuperable bajo la métrica MSE.

En resumen, el artículo demuestra que el "colapso" de los Transformadores en finanzas es una propiedad estadística deseable (convergencia al predictor óptimo trivial) que se ve perjudicada por la varianza introducida por modelos demasiado flexibles que intentan interpolar ruido en un entorno donde no hay señal predecible.