Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

El artículo demuestra que, en la predicción de volatilidad financiera donde diferentes modelos logran errores de prueba idénticos, la elección del optimizador actúa como un sesgo inductivo crítico que altera cualitativamente las funciones aprendidas y tiene consecuencias materiales significativas en la gestión de carteras, lo que exige evaluar los modelos más allá de la pérdida escalar.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre dos chefs que cocinan el mismo plato con el mismo sabor, pero que usan métodos de cocina totalmente diferentes.

Aquí tienes la explicación de "El Optimizador como un Prior Implícito en Series Temporales Financieras" en un lenguaje sencillo, con analogías creativas:

🍽️ El Problema: Dos Chefs, el Mismo Plato (pero distinto proceso)

Imagina que tienes un reto: predecir el clima de mañana (en este caso, la volatilidad de las acciones de EE. UU.). Tienes dos chefs muy talentosos:

1. Chef A usa un método de cocina tradicional y lento (llamado SGD).
2. Chef B usa una cocina de alta tecnología y rápida (llamado Adam o Muon).

Ambos chefs prueban su plato y dicen: "¡Perfecto! Sabe exactamente igual de bien". Si solo miras el resultado final (el error de predicción), ambos parecen ganadores. En el mundo de las finanzas, esto es lo que pasa: modelos muy diferentes (redes neuronales complejas vs. modelos simples) suelen tener el mismo puntaje de "sabor" (error de predicción).

🤔 La Pregunta Clave: ¿Son realmente lo mismo?

Los autores se preguntan: "Si ambos platos saben igual, ¿son intercambiables? ¿Da lo mismo usar uno u otro?"

La respuesta es un rotundo NO. Y aquí viene la magia del artículo:

Aunque el sabor (la predicción) sea idéntico, la forma en que los chefs cocinan el plato es totalmente distinta.

• El Chef Lento (SGD) tiende a hacer platos muy estables, suaves y predecibles. Es como un viejo reloj de péndulo: va lento, pero nunca se desvía.
• El Chef Rápido (Adam/Muon) hace platos con más "picante" y complejidad. Reacciona mucho más rápido a los cambios pequeños, pero eso significa que su plato puede ser más inestable.

🎢 La Analogía del Montaña Rusa

Imagina que los modelos son dos coches en una montaña rusa financiera:

1. Ambos coches llegan a la misma altura final (tienen la misma precisión predictiva).
2. Pero el camino es diferente:
   • El coche del SGD toma una ruta suave, con curvas amplias. Si el viento cambia un poco, el coche apenas se mueve.
   • El coche del Adam toma una ruta llena de giros bruscos y pendientes empinadas. Si el viento cambia un poco, el coche se sacude violentamente.

¿Por qué importa esto?
Porque en finanzas, no solo importa dónde llegas, sino cuánto te cuesta llegar allí.

• Si el coche se sacude mucho (modelo Adam), tienes que frenar y acelerar constantemente para mantener el control. En el mundo real, esto significa comprar y vender acciones todo el tiempo.
• Esto genera gastos de transacción (comisiones, impuestos). Aunque tu predicción sea perfecta, si gastas todo tu dinero en moverte, pierdes dinero.
• El coche suave (SGD) te deja llegar casi al mismo destino, pero con mucho menos movimiento y, por tanto, más dinero en el bolsillo.

🔍 El Secreto: El "Optimizador" es el Chef, no solo el Utensilio

En el mundo de la Inteligencia Artificial, el "optimizador" es el algoritmo que enseña a la red neuronal a aprender.

• La gente solía pensar: "El optimizador es solo una herramienta técnica, como un cuchillo. Lo importante es el plato (la arquitectura)".
• El descubrimiento de este papel: El optimizador es como el alma del chef. Elige qué parte de la receta aprende.
  • Un optimizador puede enseñar a la red a prestar atención a lo que pasó ayer (memoria a corto plazo).
  • Otro optimizador puede enseñarle a mirar lo que pasó hace un mes (memoria a largo plazo).
  • Aunque ambos acierten la predicción de hoy, cuentan historias diferentes sobre por qué pasó.

💡 La Lección para el Inversor (y para todos)

El mensaje principal es: No te fíes solo del puntaje final.

Si ves dos modelos de IA que tienen el mismo error de predicción, no son iguales. Uno podría ser un "caballo de carreras" que se cansa rápido (gasta mucho en transacciones) y el otro un "tortuga" que llega seguro y barato.

En resumen:
En un mundo donde los datos son ruidosos y confusos (como el mercado financiero), la elección de cómo entrenas al modelo (el optimizador) es tan importante como el modelo en sí. Elegir el optimizador equivale a elegir qué "sesgo" o "opinión" tendrá tu modelo sobre el futuro. Si no eliges con cuidado, el algoritmo elegirá por ti, y podría terminar siendo una opción muy costosa para tu cartera de inversiones.

La moraleja: Cuando dos modelos empatan en el marcador, elige al que tenga el estilo de conducción más seguro para tu bolsillo, no al que tenga el motor más potente.

Resumen técnico

Resumen Técnico: El Optimizador como Prioridad Implícita en Series Temporales Financieras

1. Planteamiento del Problema

En el campo de la predicción de series temporales financieras, específicamente en la predicción de volatilidad, existe un fenómeno conocido como subespecificación (underspecification). En este régimen de bajo ruido de señal (low signal-to-noise ratio), diferentes arquitecturas de redes neuronales (MLP, CNN, LSTM, Transformer) y modelos econométricos lineales (OLS, LASSO) suelen alcanzar errores de prueba (out-of-sample) estadísticamente indistinguibles bajo métricas estándar como el Error Cuadrático Medio Normalizado (NMSE).

La literatura tradicional asume que, si el error de prueba es el mismo, los modelos son intercambiables o que el optimizador es solo un detalle de implementación que afecta la eficiencia del entrenamiento. Sin embargo, los autores plantean dos preguntas críticas:

1. ¿Son intercambiables los modelos con idéntico error de prueba? ¿Deberíamos usar redes profundas si no superan a los lineales?
2. ¿El optimizador afecta solo la eficiencia o también la función aprendida? ¿Importa la elección del optimizador (SGD, Adam, Muon) si el error final es el mismo?

El problema central es que la evaluación basada únicamente en una métrica escalar de pérdida (como el NMSE) oculta heterogeneidades funcionales profundas que tienen consecuencias materiales en la toma de decisiones financieras.

2. Metodología

Los autores diseñan un marco experimental riguroso para aislar el papel de la dinámica de entrenamiento en la selección de funciones, manteniendo fijos los datos y las métricas de evaluación.

• Tarea y Datos: Predicción de un paso adelante de la volatilidad realizada (proxy por el estimador Garman-Klass) para los componentes del S&P 500 (2000–2024). Se utiliza un conjunto de datos libre de sesgo de supervivencia.
• Configuración Experimental:
  • Arquitecturas (A): 4 tipos (MLP, CNN, LSTM, Transformer).
  • Optimizadores (O): 3 tipos (SGD, Adam, Muon).
  • Grid: 12 pares (A, O) evaluados con 13 semillas aleatorias independientes.
  • Hiperparámetros: Búsqueda exhaustiva de learning rate y weight decay para cada par para asegurar que no hay empate debido a un mal ajuste (tuning).
• Diagnósticos Funcionales (Más allá del Error):
  • Análisis de Respuesta al Impulso: Mapeo de la superficie de respuesta global $R(k, \delta)$ para visualizar la no linealidad y la sensibilidad a choques de volatilidad en diferentes rezagos.
  • Superficies de Diferencia Funcional: Cálculo de $D(x) = \hat{y}_{Muon}(x) - \hat{y}_{Adam}(x)$ para verificar si las diferencias son meras reescaladas o mapeos estructuralmente distintos.
  • Atribución de Características (SHAP): Análisis de qué rezagos temporales prioriza cada modelo.
  • Ensamblaje Heterogéneo: Combinación de modelos entrenados con diferentes optimizadores para verificar si los errores residuales son ortogonales.
  • Intervenciones de Optimizador: Cambiar el optimizador en medio del entrenamiento (ej. Adam $\to$ SGD) para observar si la función converge a un nuevo atractor.
  • Análisis de Curvatura: Medición del valor propio máximo del Hessiano ($\lambda_{max}$) para estudiar el "Edge of Stability" (Borde de Estabilidad).

3. Contribuciones Clave

El paper establece que en entornos subespecificados, el optimizador actúa como un prior implícito decisivo:

1. Equivalencia Predictiva, No Funcional: Los pares (Arquitectura, Optimizador) con el mismo NMSE aprenden funciones cualitativamente diferentes. La equivalencia en la pérdida no implica equivalencia en el comportamiento.
2. El Optimizador como Selector de Función: La elección del optimizador determina qué solución admisible se selecciona dentro del conjunto de Rashomon (el conjunto de modelos con error similar).
   • SGD: Tiende a soluciones más simples, con superficies de respuesta más planas y menor dependencia de rezagos lejanos.
   • Adaptativos (Adam, Muon): Aprenden funciones no lineales más complejas, con mecanismos de amortiguamiento de choques extremos y mayor uso de memoria a largo plazo (en arquitecturas como LSTM).
3. Mecanismo de "Edge of Stability" (EOSS): Los autores vinculan la divergencia funcional a la dinámica de estabilidad estocástica. SGD se estabiliza en regiones más planas (menor curvatura), mientras que los métodos adaptativos pueden converger a mínimos más agudos (alta curvatura) gracias a la precondicionamiento, lo que permite aprender funciones más complejas.
4. Consecuencias en la Toma de Decisiones: Las diferencias funcionales invisibles para el error de prueba se traducen en diferencias drásticas en la estabilidad de las señales y el rotación de cartera (turnover).

4. Resultados Principales

• Empate en el Leaderboard: Incluso con la optimización de hiperparámetros, las redes neuronales profundas no superan significativamente a los modelos lineales (OLS/LASSO) en términos de NMSE. El empate es estructural, no un artefacto de mal ajuste.
• Divergencia Funcional:
  • Las superficies de diferencia entre optimizadores son altamente estructuradas y no planares, indicando mapeos distintos.
  • Atribución Temporal: En modelos LSTM, Adam se enfoca en la historia reciente, mientras que Muon explota la memoria a largo plazo. SGD restringe la atención casi exclusivamente a los rezagos más recientes en todas las arquitecturas.
• Validación por Ensamblaje: Un ensamble heterogéneo (combinando modelos de SGD, Adam y Muon) supera estrictamente a sus componentes individuales y a la línea base lineal. Esto confirma que los errores no están perfectamente correlacionados y que los pares (A, O) recuperan componentes ortogonales de la señal.
• Frente de Sharpe-Rotación (Sharpe-Turnover Frontier):
  • Al integrar las predicciones en carteras gestionadas por volatilidad, los modelos con optimizadores adaptativos (Adam/Muon) muestran una rotación (turnover) significativamente mayor (hasta 3 veces más) que los modelos con SGD, a pesar de tener ratios de Sharpe comparables.
  • Esto implica que, en un entorno real con costos de transacción, los modelos adaptativos podrían ser menos rentables debido a la inestabilidad de sus señales, a pesar de tener el mismo error de predicción.

5. Significado e Implicaciones

• Reevaluación de la Selección de Modelos: En finanzas, la selección de modelos no debe basarse únicamente en métricas de error (NMSE, Sharpe ratio). Cuando hay empate en el error, la elección del optimizador es una decisión de diseño crítica que define la inductividad del modelo.
• Estabilidad vs. Complejidad: Los optimizadores no son meras herramientas de ingeniería; son parte integral del modelo. SGD favorece la estabilidad y la simplicidad (menor turnover), mientras que los optimizadores adaptativos favorecen la complejidad no lineal pero a costa de una mayor sensibilidad y rotación.
• Nueva Perspectiva sobre el "Rashomon Effect": En series temporales financieras, el conjunto de modelos con buen rendimiento (Rashomon set) es vasto. La elección del optimizador decide en qué parte de este conjunto se aterriza, determinando la interpretación económica y la viabilidad operativa de la estrategia.
• Recomendación Práctica: Los investigadores y practicantes deben evaluar modelos basándose en la estabilidad funcional y las consecuencias de la decisión (ej. costos de transacción implícitos por el turnover), no solo en la precisión predictiva. Si el objetivo es una cartera de bajo turnover, SGD podría ser la elección superior incluso si Adam tiene un NMSE ligeramente menor o idéntico.

Conclusión Final:
En entornos subespecificados como la predicción de volatilidad, "el optimizador es parte del modelo". La equivalencia predictiva es real pero engañosa; modelos con el mismo error pueden comportarse de manera opuesta en la práctica. La selección del optimizador debe alinearse con los objetivos económicos downstream (estabilidad, costos de transacción) en lugar de buscar únicamente la minimización de la pérdida escalar.