💰 quantitative finance

Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting

Este artículo demuestra que, si bien la calibración de la activación tiene un impacto mínimo en la cuantificación de post-entrenamiento de 8 bits para el pronóstico financiero, es el factor crítico que determina el rendimiento predictivo en precisión de 4 bits, donde la calibración basada en percentiles supera significativamente a los métodos estándar de máximo absoluto para mitigar la pérdida de información.

Autores originales: Junyi Ye, Ivy Gateri Wanjiku

Publicado 2026-08-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Junyi Ye, Ivy Gateri Wanjiku

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a predecir el clima. Le das un cerebro súper inteligente (una red neuronal) que ha estudiado años de lluvia, viento y sol. Este cerebro es increíblemente poderoso, pero también es enorme y pesado, como una computadora mainframe gigante de la década de 1980. Para hacerlo útil para un trabajo en el mundo real —como funcionar en un pequeño dron o en un teléfono inteligente— necesitas encogerlo. No puedes simplemente desechar su conocimiento, así que, en su lugar, intentas simplificar la forma en que almacena números. Este proceso se llama cuantización. Piensa en ello como convertir una película de alta definición en un archivo comprimido: pierdes un poco de detalle para ahorrar una cantidad masiva de espacio y hacer que funcione más rápido.

Sin embargo, hay una parte complicada. Aunque el "conocimiento" del robot (sus pesos) es fijo una vez entrenado, sus "pensamientos" (sus activaciones) cambian cada vez que observa nuevos datos. Para encoger estos pensamientos, tienes que decidir un "zona segura" o un rango de números que el robot tiene permitido usar. Si estableces la zona segura demasiado amplia, desperdicias espacio en números que nunca ocurren. Si la estableces demasiado estrecha, recortarás los números extremos que realmente ocurren, como una tormenta repentina. Esta decisión se llama calibración. Por lo general, los científicos simplemente eligen un rango basado en los datos que tienen en ese momento y esperan que funcione para el futuro. Pero en el mundo de las finanzas, donde los mercados pueden pasar de la calma al caos en un abrir y cerrar de ojos, adivinar el rango equivocado podría significar la diferencia entre una operación rentable y un desastre.

Este artículo, titulado "Apuestas de Calibración sobre el Pasado", profundiza precisamente en este problema para la previsión financiera. Los autores, Junyi Ye e Ivy Gateri Wanjiku, se hicieron una pregunta simple pero crítica: Cuando encogemos modelos de IA financiera para que funcionen en hardware económico, ¿realmente importa la forma en que establecemos esa "zona segura" para los pensamientos del robot? No se limitaron a adivinar; realizaron un experimento masivo. Tomaron siete tipos diferentes de modelos de IA, los entrenaron con datos del mercado de valores del S&P 500 y luego los probaron durante ocho años diferentes (de 2018 a 2025). Simularon el encogimiento de estos modelos a una precisión muy baja (4 bits, que es como tener solo 15 números posibles en lugar de millones) y observaron qué sucedía.

Aquí está lo que encontraron, y es un poco un giro en la trama. Primero, descubrieron que si solo encoges la "memoria" del robot (sus pesos) pero mantienes sus "pensimientos" (activaciones) en alta definición, o si encoges ambos pero los mantienes a 8 bits, el robot apenas lo nota. Sigue prediciendo el mercado casi tan bien como la versión gigante. Pero, si encoges los pensamientos a 4 bits utilizando el método estándar y por defecto (que simplemente mira el número más grande visto hasta ahora y establece el límite allí), el rendimiento del robot se desploma. En algunos casos, ¡perdió hasta el 62% de su capacidad predictiva! Fue como si el robot de repente olvidara cómo leer el mapa del clima.

Sin embargo, la historia no termina en fracaso. Los autores descubrieron que el colapso no era inevitable; era solo una mala elección de la "zona segura". Al cambiar el método de calibración para que mirara un percentil específico (como decir: "Solo nos preocuparemos por el 99% superior de los números, no por el valor atípico más extremo y salvaje"), pudieron recuperar la mayor parte del poder perdido. Para algunos modelos, este simple ajuste recuperó el 94% del rendimiento. Pero aquí está el trulose: la "zona segura" perfecta cambia dependiendo del mercado. Un rango que funciona de maravilla durante un año tranquilo podría fallar estrepitosamente durante un desplome del mercado, y viceversa.

El artículo concluye que establecer este rango no es solo un detalle técnico aburrido que configuras una vez y olvidas. Es una decisión estratégica importante, como apostar al clima. Si quieres ejecutar estos modelos financieros en dispositivos de baja potencia, no puedes usar la configuración por defecto. Tienes que ajustar cuidadosamente la "zona segura" basándote en las condiciones del mercado, o estar preparado para cambiar de nuevo a una configuración ligeramente mayor (de 8 bits) si el mercado se vuelve demasiado salvaje. Los autores demuestran que, con la calibración adecuada, podemos hacer que estos poderosos modelos de IA financiera sean pequeños y rápidos sin perder su capacidad de predecir el futuro.

Resumen Técnico: Apuestas de Calibración sobre el Pasado

Planteamiento del Problema

Los modelos de previsión financiera suelen entrenarse en precisión completa (FP32), pero a menudo requieren inferencia de baja precisión para el despliegue en producción con el fin de satisfacer restricciones de memoria, latencia y hardware. Aunque la Cuantización Post-Entrenamiento (PTQ) permite el despliegue de estos modelos sin necesidad de reentrenamiento, la fiabilidad de la cuantización de las activaciones sigue siendo un cuello de botella crítico. A diferencia de los pesos, que tienen rangos fijos determinados por los parámetros entrenados, los rangos de las activaciones deben estimarse a partir de un conjunto de datos de calibración histórico y luego permanecer fijos durante la inferencia futura.

Esto crea un desafío de despliegue fundamental: la calibración depende de datos de mercado históricos, mientras que el despliegue ocurre bajo condiciones de mercado futuras que pueden diferir sustancialmente. Un rango de activación amplio preserva los extremos raros pero reduce la resolución numérica para los valores típicos, mientras que un rango estrecho mejora la resolución pero aumenta el recorte (clipping). En la previsión financiera, donde los regímenes de mercado cambian, la elección de un rango de activación estático es una decisión de alto riesgo que se comprende poco en el contexto de PTQ. La investigación existente se ha centrado en modelos de visión y lenguaje, dejando un vacío en la comprensión de cómo la calibración de la activación afecta el rendimiento predictivo en la previsión de series temporales financieras.

Metodología

Los autores presentan un estudio sistemático de la calibración de activaciones para PTQ en la previsión de la volatilidad transversal del S&P 500.

Conjunto de Datos y Tarea: El estudio utiliza un panel diario de 501 constituyentes del S&P 500 desde junio de 2008 hasta diciembre de 2025. La tarea consiste en predecir la volatilidad a cinco días vista. La métrica de rendimiento es el Coeficiente de Información (IC), definido como la correlación de Spearman transversal entre las puntuaciones de volatilidad predichas y la volatilidad realizada.
Protocolo Experimental: Se emplea un protocolo de evaluación de avance progresivo (walk-forward evaluation). Para cada año de prueba $Y$ , los modelos se entrenan de $Y-8$ a $Y-2$ , se validan en $Y-1$ y se prueban en $Y$ . Esta configuración asegura que los datos de calibración (de $Y-1$ ) preceden al periodo de prueba ( $Y$ ).
Modelos: Se evalúan siete arquitecturas representativas: DLinear, TSMixer, TimeMixer, Transformer vanilla, PatchTST, iTransformer y SegRNN. Se analizan un total de 560 modelos entrenados independientemente (7 arquitecturas $\times$ 8 pliegues $\times$ 10 semillas).
Configuraciones de Cuantización: El estudio compara varios tratamientos de precisión:
- FP32: Línea base de precisión completa.
- W8A8 / W4A4: Cuantización estática de pesos y activaciones (INT8/INT4) utilizando un rango de calibración fijo.
- W4: Cuantización solo de pesos (pesos INT4, activaciones FP32).
- INT8 Dinámico: Rangos de activación recalculados durante la inferencia (utilizado como referencia).
Estrategias de Calibración: Se comparan dos estrategias principales para establecer el rango de activación $A$ $A$ :
- Abs-Max: $A = \max(|x|)$ sobre el conjunto de calibración.
- Percentil: $A = P_p(|x|)$ , seleccionando el $p$ -ésimo percentil de las magnitudes de activación (por ejemplo, p99, p99.9).
Métrica de Daño: El daño de cuantización ( $\Delta$ ) se define como la diferencia entre el IC de precisión completa y el IC cuantizado.

Contribuciones Clave

Primer Estudio Sistemático: Esta es la primera investigación sistemática de la calibración de activaciones para PTQ en la previsión financiera bajo un protocolo de evaluación de avance progresivo.
Descomposición de la Degradación: Los autores revelan que la degradación de 4 bits consta de dos componentes:
- Pérdida Recuperable mediante Rango: Daño causado por una selección de rango subóptima, que puede mitigarse significativamente cambiando de abs-max a calibración por percentiles.
- Pérdida Residual: Daño dependiente de la arquitectura que persiste incluso con una selección de rango óptima, particularmente en modelos recurrentes (SegRNN) y multiescala (TimeMixer).
Sensibilidad al Régimen de Mercado: El estudio demuestra que el rango de activación preferido no es estático; evoluciona a través de los periodos de mercado. Los rangos estrechos (percentiles) funcionan bien en condiciones típicas, pero sufren significativamente cuando la dispersión del mercado en el periodo de prueba excede la historia de la calibración (por ejemplo, durante eventos de estrés como el choque del COVID en 2020).
Directrices Prácticas de Despliegue: El documento proporciona un marco de decisión para seleccionar estrategias de cuantización basadas en patrones de daño observados, que van desde el simple ajuste de percentiles hasta estrategias de reserva (fallback) como activaciones de 8 bits o cuantización de solo pesos.

Resultados Clave

Cuantización de 8 bits y de Solo Pesos: Tanto la cuantización de activación de 8 bits (W8A8) como la cuantización de solo pesos de 4 bits (W4) introducen un daño predictivo insignificante (típicamente <0.2% de la señal FP32) en la mayoría de las arquitecturas.
Riesgos de la Activación Estática de 4 bits (W4A4): Bajo la calibración abs-max por defecto, la cuantización estática de activación de 4 bits causa una degradación sustancial del rendimiento, que oscila entre el 11% y el 62% del IC de precisión completa, dependiendo de la arquitectura.
- Más Afectados: TimeMixer (62% de pérdida) y SegRNN (59% de pérdida).
- Menos Afectados: DLinear (pérdida mínima, aunque su IC base es cercano a cero).
Recuperación mediante Calibración por Percentiles: Reemplazar abs-max con calibración por percentiles (por ejemplo, p99 o p99.9) recupera una parte significativa del rendimiento perdido:
- Transformer: Recupera el 94% del daño.
- TSMixer: Recupera el 80%.
- SegRNN: Recupera el 73%.
- TimeMixer: Recupera el 53%.
- A pesar de la recuperación, los modelos recurrentes y multiescala retienen una sensibilidad residual sustancial, lo que sugiere que la selección del rango por sí sola no puede resolver completamente sus problemas de cuantización.
Sensibilidad por Capas: Para la arquitectura Transformer, una sola capa (incrustación de tokens convolucional) es responsable del 72% del daño total de W4A4. Mantener esta capa específica en 8 bits de precisión mientras se cuantiza el resto a 4 bits elimina eficazmente la degradación.
Desajuste de Régimen: Cuando el mercado de prueba es más volátil que el periodo de calibración (por ejemplo, 2020), los rangos de percentiles estrechos recortan activaciones de cola críticas, causando un daño de 1.5x a 3.6x mayor que dentro del sobre de la calibración. Por el contrario, en periodos más calmados (por ejemplo, 2021), la calibración abs-max resulta subóptima porque sacrifica resolución por extremos que no ocurren.

Significado y Reivindicaciones

El artículo argumenta que la calibración de la activación no es simplemente un detalle de implementación numérica, sino una decisión de despliegue de primer orden para una PTQ de 4 bits fiable en la previsión financiera.

Implicación Estratégica: La elección del rango de activación determina directamente si un modelo de baja precisión conserva su utilidad predictiva. Las estrategias por defecto (abs-max) suelen ser insuficientes para las series temporales financieras debido a la naturaleza no estacionaria de los datos de mercado.
Robustez: Mientras que la cuantización de 8 bits y la cuantización de solo pesos de 4 bits ofrecen vías de despliegue robustas con una pérdida de señal mínima, la cuantización de activación de 4 bits requiere una calibración cuidadosa.
Guía Accionable: Los autores proponen un procedimiento de despliegue:
1. Medir el daño por defecto de W4A4.
2. Si el daño es grande, realizar un barrido de rangos de percentiles en los datos previos al despliegue para estimar la pérdida recuperable frente a la residual.
3. Si la pérdida residual es alta, recurrir a activaciones de 8 bits, a la cuantización de solo pesos de 4 bits o a la precisión mixta por capas.
4. Monitorear el "sobre de calibración" (la dispersión máxima observada durante la calibración) durante el despliegue; si las condiciones de prueba exceden este sobre, activar la recalibración o cambiar a un rango más conservador (por ejemplo, p99.9) o a una mayor precisión.

El estudio concliza que, si bien la PTQ es viable para la previsión financiera, su éxito depende de tratar la calibración de la activación como una decisión de política dinámica en lugar de un paso de preprocesamiento fijo.