💰 quantitative finance

Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting

Este artigo demonstra que, embora a calibração de ativação tenha um impacto mínimo na quantização pós-treinamento de 8 bits para previsão financeira, ela é o fator crítico que determina o desempenho preditivo em precisão de 4 bits, onde a calibração baseada em percentis supera significativamente os métodos padrão de máximo absoluto para mitigar a perda de informação.

Autores originais: Junyi Ye, Ivy Gateri Wanjiku

Publicado 2026-08-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junyi Ye, Ivy Gateri Wanjiku

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a prever o tempo. Você dá a ele um cérebro superinteligente (uma rede neural) que estudou anos de chuva, vento e sol. Esse cérebro é incrivelmente poderoso, mas também é enorme e pesado, como um computador mainframe gigante dos anos 1980. Para torná-lo útil para um trabalho do mundo real — como rodar em um pequeno drone ou em um smartphone — você precisa encolhê-lo. Você não pode simplesmente jogar fora o conhecimento dele; em vez disso, você tenta simplificar a forma como ele armazena números. Esse processo é chamado de quantização. Pense nisso como converter um filme de alta definição em um arquivo compactado: você perde um pouco de detalhe para economizar uma quantidade massiva de espaço e fazer com que ele rode mais rápido.

No entanto, há uma parte complicada. Embora o "conhecimento" do robô (seus pesos) seja fixo depois de treinado, seus "pensamentos" (suas ativações) mudam toda vez que ele olha para novos dados. Para encolher esses pensamentos, você tem que decidir por uma "zona de segurança" ou um intervalo de números que o robô tem permissão para usar. Se você definir a zona de segurança muito ampla, desperdiçará espaço com números que nunca acontecem. Se a definir muito estreita, poderá cortar os números extremos que realmente acontecem, como uma tempestade repentina. Essa decisão é chamada de calibração. Geralmente, os cientistas apenas escolhem um intervalo baseado nos dados que têm no momento e esperam que funcione no futuro. Mas, no mundo das finanças, onde os mercados podem passar de calmos para caóticos em um piscar de olhos, adivinhar o intervalo errado poderia significar a diferença entre uma negociação lucrativa e um desastre.

Este artigo, intitulado "Calibration Bets on the Past" (Apostas de Calibração no Passado), mergulha fundo exatamente neste problema para previsões financeiras. Os autores, Junyi Ye e Ivy Gateri Wanjiku, fizeram uma pergunta simples, mas crítica: Quando encolhemos modelos de IA financeira para rodar em hardware barato, a maneira como definimos essa "zona de segurança" para os pensamentos do robô realmente importa? Eles não apenas adivinharam; eles realizaram um experimento massivo. Eles pegaram sete tipos diferentes de modelos de IA, treinaram-nos com dados do mercado de ações do S&P 500 e depois os testaram ao longo de oito anos diferentes (de 2018 a 2025). Eles simularam o encolhimento desses modelos para uma precisão muito baixa (4 bits, o que é como ter apenas 15 números possíveis em vez de milhões) e observaram o que acontecia.

Aqui está o que eles descobriram, e é um pouco de uma reviravolta na trama. Primeiro, eles descobriram que, se você encolher apenas a "memória" do robô (os pesos), mas mantiver seus "pensamentos" (ativações) em alta definição, ou se encolher ambos, mas mantê-los em 8 bits, o robô mal percebe. Ele ainda prevê o mercado quase tão bem quanto a versão gigante. Mas, se você encolher os pensamentos para 4 bits usando o método padrão e padrão (que apenas olha para o maior número visto até agora e define o limite ali), o desempenho do robô desaba. Em alguns casos, ele perdeu até 62% de seu poder preditivo! Era como se o robô subitamente tivesse esquecido como ler o mapa do tempo.

No entanto, a história não termina em fracasso. Os autores descobriram que o colapso não era inevitável; era apenas uma escolha ruim de "zona de segurança". Ao mudar o método de calibração para observar um percentil específico (como dizer: "Nós só nos preocuparemos com os 99% superiores de números, não com o outlier absoluto mais selvagem"), eles conseguiram recuperar a maior parte do poder perdido. Para alguns modelos, esse ajuste simples trouxe de volta 94% do desempenho. Mas aqui está a pegadinha: a "zona de segurança" perfeita muda dependendo do mercado. Um intervalo que funciona muito bem durante um ano calmo pode falhar miseravelmente durante um crash de mercado, e vice-versa.

O artigo conclui que definir esse intervalo não é apenas um detalhe técnico chato que você define uma vez e esquece. É uma decisão estratégica importante, como apostar no clima. Se você quer rodar esses modelos financeiros em dispositivos de baixa potência, não pode usar as configurações padrão. Você tem que ajustar cuidadosamente a "zona de segurança" com base nas condições do mercado, ou estar pronto para mudar de volta para uma configuração ligeiramente maior (8 bits) se o mercado ficar selvagem demais. Os autores mostram que, com a calibração certa, podemos tornar esses poderosos modelos de IA financeira pequenos e rápidos sem perder sua capacidade de prever o futuro.

Resumo Técnico: Apostas de Calibração no Passado

Declaração do Problema

Modelos de previsão financeira são tipicamente treinados em precisão total (FP32), mas frequentemente requerem inferência de baixa precisão para implantação em produção para satisfazer restrições de memória, latência e hardware. Embora a Quantização Pós-Treinamento (PTQ) permita a implantação desses modelos sem retreinamento, a confiabilidade da quantização de ativações permanece um gargalo crítico. Ao contrário dos pesos, que possuem intervalos fixos determinados pelos parâmetros treinados, os intervalos de ativação devem ser estimados a partir de um conjunto de dados de calibração histórico e permanecer fixos durante a inferência futura.

Isso cria um desafio fundamental de implantação: a calibração baseia-se em dados de mercado históricos, enquanto a implantação ocorre sob condições de mercado futuras que podem diferir substancialmente. Um intervalo de ativação amplo preserva extremos raros, mas reduz a resolução numérica para valores típicos, enquanto um intervalo estreito melhora a resolução, mas aumenta o truncamento (clipping). Na previsão financeira, onde os regimes de mercado mudam, a escolha de um intervalo de ativação estático é uma decisão de alto risco e pouco compreendida no contexto de PTQ. Pesquisas existentes focaram em modelos de visão e linguagem, deixando uma lacuna na compreensão de como a calibração de ativação afeta o desempenho preditivo na previsão de séries temporais financeiras.

Metodologia

Os autores apresentam um estudo sistemático da calibração de ativação para PTQ na previsão de volatilidade transversal no S&P 500.

Conjunto de Dados e Tarefa: O estudo utiliza um painel diário de 501 constituintes do S&P 500 de junho de 2008 a dezembro de 2025. A tarefa é prever a volatilidade para cinco dias à frente. A métrica de desempenho é o Coeficiente de Informação (IC), definido como a correlação de Spearman transversal entre os scores de volatilidade previstos e realizados.
Protocolo Experimental: É empregado um protocolo de avaliação walk-forward através de oito anos de teste (2018–2025). Para cada ano de teste $Y$ , os modelos são treinados de $Y-8$ a $Y-2$ , validados em $Y-1$ e testados em $Y$ . Esta configuração garante que os dados de calibração (de $Y-1$ ) precedem o período de teste ( $Y$ ).
Modelos: Sete arquiteturas neurais representativas são avaliadas: DLinear, TSMixer, TimeMixer, Transformer vanilla, PatchTST, iTransformer e SegRNN. Um total de 560 modelos treinados independentemente (7 arquiteturas $\times$ 8 dobras $\times$ 10 sementes) é analisado.
Configurações de Quantização: O estudo compara vários tratamentos de precisão:
- FP32: Linha de base de precisão total.
- W8A8 / W4A4: Quantização estática de pesos e ativações (INT8/INT4) usando um intervalo de calibração fixo.
- W4: Quantização apenas de pesos (pesos INT4, ativações FP32).
- Dynamic INT8: Intervalos de ativação recalculados durante a inferência (usado como referência).
Estratégias de Calibração: Duas estratégias primárias para definir o intervalo de ativação $A$ $A$ são comparadas:
- Abs-Max: $A = \max(|x|)$ sobre o conjunto de calibração.
- Percentil: $A = P_p(|x|)$ , selecionando o $p$ -ésimo percentil das magnitudes de ativação (ex: p99, p99.9).
Métrica de Dano: O dano de quantização ( $\Delta$ ) é definido como a diferença entre o IC de precisão total e o IC quantizado.

Contribuições Principais

Primeiro Estudo Sistemático: Esta é a primeira investigação sistemática da calibração de ativação para PTQ em previsão financeira sob um protocolo de avaliação walk-forward.
Decomposição da Degradação: Os autores revelam que a degradação de 4 bits consiste em dois componentes:
- Perda Recuperável pelo Intervalo: Dano causado por uma seleção de intervalo suboptimal, que pode ser significativamente mitigado ao mudar de calibração abs-max para percentil.
- Perda Residual: Dano dependente da arquitetura que persiste mesmo com a seleção de intervalo ideal, particularmente em modelos recorrentes (SegRNN) e multiescala (TimeMixer).
Sensibilidade ao Regime de Mercado: O estudo demonstra que o intervalo de ativação preferido não é estático; ele evolui através dos períodos de mercado. Intervalos estreitos (percentis) funcionam bem em condições típicas, mas sofrem significativamente quando a dispersão do mercado no período de teste excede o histórico de calibração (ex: durante eventos de estresse como o choque da COVID em 2020).
Diretrizes Práticas de Implantação: O artigo fornece um framework de decisão para selecionar estratégias de quantização baseadas em padrões de dano observados, variando de simples ajuste de percentil até estratégias de fallback como ativações de 8 bits ou quantização de pesos.

Principais Resultados

Quantização de 8 bits e Apenas de Pesos: Tanto a quantização de ativação de 8 bits (W8A8) quanto a quantização de apenas pesos de 4 bits (W4) introduzem danos preditivos negligenciáveis (tipicamente <0,2% do sinal FP32) na maioria das arquiteturas.
Riscos da Ativação Estática de 4 bits (W4A4): Sob a calibração abs-max padrão, a quantização de ativação estática de 4 bits causa uma degradação substancial de desempenho, variando de 11% a 62% do IC de precisão total, dependendo da arquitetura.
- Mais Afetados: TimeMixer (perda de 62%) e SegRNN (perda de 59%).
- Menos Afetados: DLinear (perda mínima, embora seu IC de base seja próximo de zero).
Recuperação via Calibração de Percentil: Substituir o abs-max pela calibração de percentil (ex: p99 ou p99.9) recupera uma parte significativa do desempenho perdido:
- Transformer: Recupera 94% do dano.
- TSMixer: Recupera 80%.
- SegRNN: Recupera 73%.
- TimeMixer: Recupera 53%.
- Apesar da recuperação, modelos recorrentes e multiescala retêm sensibilidade residual substancial, sugerindo que a seleção de intervalo sozinha não pode resolver totalmente seus problemas de quantização.
Sensibilidade por Camada: Para a arquitetura Transformer, uma única camada (embedding de token convolucional) responde por 72% do dano total de W4A4. Manter essa camada específica em precisão de 8 bits enquanto se quantiza o restante para 4 bits elimina efetivamente a degradação.
Descompasso de Regime: Quando o mercado de teste é mais volátil que o período de calibração (ex: 2020), intervalos de percentil estreitos truncam ativações de cauda críticas, causando um dano 1,5x a 3,6x maior do que dentro do envelope de calibração. Por outro lado, em períodos mais calmos (ex: 2021), a calibração abs-max torna-se suboptimal porque sacrifica a resolução para extremos que não ocorrem.

Significância e Alegações

O artigo argumenta que a calibração de ativação não é meramente um detalhe de implementação numérica, mas uma decisão de implantação de primeira classe para uma PTQ de 4 bits confiável em previsão financeira.

Implicação Estratégica: A escolha do intervalo de ativação determina diretamente se um modelo de baixa precisão manterá sua utilidade preditiva. Estratégias padrão (abs-max) são frequentemente insuficientes para séries temporais financeiras devido à natureza não estacionária dos dados de mercado.
Robustez: Enquanto a quantização de 8 bits e a quantização de apenas pesos de 4 bits oferecem caminhos de implantação robustos com perda mínima de sinal, a quantização de ativação de 4 bits exige calibração cuidadosa.
Orientação Acionável: Os autores propõem um procedimento de implantação:
1. Medir o dano padrão de W4A4.
2. Se o dano for grande, realizar um varredura (sweep) de intervalos de percentil em dados pré-implantação para estimar a perda recuperável vs. residual.
3. Se a perda residual for alta, recorrer a ativações de 8 bits, pesos de 4 bits ou precisão mista por camada.
4. Monitorar o "envelope de calibração" (a dispersão máxima observada durante a calibração) durante a implantação; se as condições de teste excederem este envelope, acionar a recalibração ou mudar para um intervalo mais conservador (ex: p99.9) ou maior precisão.

O estudo conclui que, embora a PTQ seja viável para previsão financeira, seu sucesso depende de tratar a calibração de ativação como uma decisão de política dinâmica, em vez de um passo de pré-processamento fixo.