🤖 machine learning

FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting

Este artigo apresenta o FinTSB, um benchmark abrangente e prático para previsão de séries temporais financeiras, projetado para superar as limitações existentes de avaliação ao abordar lacunas na diversidade de dados, padronizar protocolos de avaliação e incorporar restrições de mercado reais, permitindo uma comparação e seleção de modelos mais confiáveis.

Autores originais: Yifan Hu, Yuante Li, Peiyuan Liu, Yuxia Zhu, Naiqi Li, Tao Dai, Shu-tao Xia, Dawei Cheng, Changjun Jiang

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yifan Hu, Yuante Li, Peiyuan Liu, Yuxia Zhu, Naiqi Li, Tao Dai, Shu-tao Xia, Dawei Cheng, Changjun Jiang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a ser um trader de ações bem-sucedido. Você quer ver se o robô consegue prever quais ações subirão ou descerão amanhã.

Por muito tempo, pesquisadores vêm construindo diferentes "cérebros" (algoritmos) para esses robôs, variando de fórmulas matemáticas simples a Inteligência Artificial complexa. No entanto, havia um grande problema: ninguém concordava sobre como testá-los.

Era como ter um monte de carros diferentes (os modelos de IA) e testá-los em pistas diferentes (conjuntos de dados) com regras diferentes. Uma equipe testou seu carro em uma estrada lisa, outra em uma estrada de terra acidentada, e todos afirmaram que seu carro era o "mais rápido". Como os testes eram diferentes, não era possível realmente dizer qual carro era realmente o melhor.

Este artigo apresenta o FinTSB, uma nova "Escola de Direção" e "Pista de Testes" superjusta, especificamente para previsão de séries temporais financeiras. Veja como funciona, usando analogias simples:

1. O Problema: Os "Três Vazamentos" nos Testes Antigos

Os autores afirmam que os métodos de teste antigos tinham três grandes buracos (vazamentos) que permitiam que resultados ruins passassem:

A Lacuna de Diversidade (O Problema do "Clima Único"): Os testes antigos frequentemente usavam apenas dados de poucos anos ou apenas um tipo de mercado (como um dia calmo e ensolarado). Mas os mercados reais têm tempestades, furacões e nevascas repentinas. Se você treinar seu robô apenas em dias ensolarados, ele sofrerá um acidente quando uma tempestade chegar.
O Déficit de Padronização (O Problema das "Réguas Diferentes"): Todos usavam ferramentas de medição diferentes. Uma equipe media velocidade em milhas por hora, outra em quilômetros e outra pela quantidade de gasolina economizada. Não era possível comparar os resultados de forma justa.
A Incompatibilidade com o Mundo Real (O Problema do "Jogo de Vídeo"): Muitos testes ignoravam regras da vida real. Esqueciam taxas de transação (como dinheiro para gasolina), limites de negociação (como lombadas) ou o fato de que nem sempre é possível vender uma ação instantaneamente. Era como jogar um jogo de vídeo onde você nunca fica sem combustível ou bate em uma parede, fazendo o robô parecer perfeito quando, na verdade, falharia no mundo real.

2. A Solução: A "Super-Pista" FinTSB

Para corrigir isso, os autores construíram o FinTSB, uma referência abrangente. Pense nisso como um enorme circuito de direção multiuso.

As Quatro Zonas de "Clima": Em vez de apenas uma pista, o FinTSB divide o mercado em quatro padrões climáticos distintos, baseados em como as ações se movem:
1. Tendências de Alta: O mercado está subindo (uma estrada lisa).
2. Tendências de Baixa: O mercado está descendo (uma ladeira íngreme).
3. Volatilidade: O mercado está saltando para cima e para baixo selvagemente (uma estrada de terra acidentada).
4. Eventos Cisne Negro: Colapsos ou picos súbitos e extremos (um tornado).
  Os pesquisadores pegaram 15 anos de dados reais de ações, cortaram-nos e os classificaram nessas quatro categorias para garantir que os robôs sejam testados em tudo, não apenas nas coisas fáceis.
O "Regulamento" Unificado: O FinTSB força cada robô a jogar exatamente pelas mesmas regras.
- O Pipeline: Eles construíram um sistema "leve" (como uma linha de montagem padronizada) onde você apenas conecta seu robô e ele executa os mesmos testes automaticamente. Nada mais de mexer em configurações diferentes.
- As Métricas: Eles medem o desempenho de três maneiras:
  1. Classificação: O robô acertou corretamente quais ações eram as melhores?
  2. Carteira: Se você realmente comprasse as ações escolhidas pelo robô, ganharia dinheiro? (Isso inclui calcular taxas e riscos).
  3. Erro: Quão perto estava o palpite do robô do número real?
A Simulação "Mundo Real": O sistema adiciona atrito do mundo real. Cobra uma pequena taxa por cada negociação (custos de transação) e respeita regras como "limites de alta" (onde uma ação não pode subir mais do que certa quantidade em um dia). Isso garante que o robô não seja apenas bom em matemática, mas bom em negociação.

3. Os Resultados: Quem Venceu a Corrida?

Os autores testaram dezenas de diferentes "cérebros" (de modelos matemáticos simples a enormes modelos de IA) nesta nova pista.

Nenhum Vencedor Único: Assim como nos esportes, não houve um robô que venceu todos os eventos. Alguns foram ótimos em mercados calmos, outros em mercados voláteis.
A Surpresa da IA: Eles descobriram que os maiores e mais complexos modelos de IA (Modelos de Linguagem Grandes) não venceram automaticamente. Na verdade, às vezes eles pioravam à medida que ficavam maiores, até atingirem um certo "tamanho crítico" onde, de repente, melhoravam muito. Parece que esses modelos massivos precisam de muita "energia cerebral" para desembaraçar o ruído bagunçado do mercado de ações.
A Magia "Zero-Shot": A descoberta mais emocionante foi que os robôs treinados nesta pista diversificada FinTSB podiam ser inseridos em um mercado completamente novo (o mercado de ações chinês de 2024) sem nenhum treinamento extra, e ainda assim performavam muito bem. Isso prova que a pista ensinou-os a dirigir em qualquer clima, não apenas no clima específico em que praticaram.

Resumo

O FinTSB é um novo campo de teste justo e realista para IA de seleção de ações. Impede que pesquisadores escolham seletivamente dados fáceis, força-os a usar as mesmas réguas de medição e garante que os robôs levem em conta custos do mundo real, como taxas e limites de negociação. É a primeira vez que a comunidade de IA financeira tem uma "Olimpíada" padrão para ver verdadeiramente quais modelos estão prontos para o mundo real.

Resumo Técnico: FinTSB: Um Benchmark Abrangente e Prático para Previsão de Séries Temporais Financeiras

1. Declaração do Problema

A Previsão de Séries Temporais Financeiras (FinTSF) é um domínio crítico na finança quantitativa, contudo o campo sofre de três limitações sistêmicas que impedem a avaliação confiável e a implementação prática de modelos de previsão:

Lacuna de Diversidade: Os conjuntos de dados de avaliação existentes frequentemente falham em capturar o espectro completo de padrões de movimento das ações (por exemplo, tendências de alta, tendências de baixa, volatilidade e eventos de cisne negro) ou cobrem intervalos temporais insuficientes. Isso leva a modelos que carecem de capacidades de generalização quando confrontados com regimes de mercado não vistos. Além disso, muitos estudos focam em mercados únicos, ignorando diferenças estruturais distintas entre mercados (por exemplo, a alta participação de investidores minoritários nas ações A chinesas versus a mistura institucional nos EUA).
Déficit de Padronização: Há uma falta de protocolos de avaliação unificados. Discrepâncias nas métricas de avaliação (ranking versus portfólio versus erro) e a ausência de um pipeline padronizado e amigável ao usuário tornam as comparações de desempenho entre estudos inválidas. A reexecução de modelos de Estado da Arte (SOTA) em configurações proprietárias é frequentemente intensiva em mão de obra e propensa a viés.
Incompatibilidade com o Mundo Real: Muitas avaliações ignoram restrições críticas do mercado, como taxas de transação, restrições de venda a descoberto (por exemplo, nas ações A chinesas) e suspensões de negociação (limites de alta). Isso resulta em métricas de desempenho infladas que não se traduzem em lucratividade real em ambientes de negociação ao vivo.

2. Metodologia: O Framework FinTSB

Para abordar essas limitações, os autores propõem o FinTSB, um benchmark abrangente e prático projetado para padronizar a avaliação e alinhar-se às condições de negociação do mundo real.

2.1 Construção do Conjunto de Dados e Tokenização

Fonte de Dados: O benchmark utiliza 15 anos de dados históricos de ações de múltiplos mercados financeiros.
Categorização de Padrões: Os dados são segmentados em períodos não sobrepostos de 250 dias. Com base nas taxas de variação diária ( $\delta$ $δ$ ), as ações são categorizadas em quatro padrões de movimento distintos:
1. Tendências de Alta: Alta frequência de retornos positivos.
2. Tendências de Baixa: Alta frequência de retornos negativos.
3. Volatilidade: Flutuações frequentes sem uma tendência direcional clara.
4. Eventos de Cisne Negro (Extremos): Flutuações de preço significativas e abruptas.
Estratégia de Seleção: Para cada padrão, as 300 melhores ações são selecionadas (pela taxa de variação positiva para tendências de alta, as 300 piores para tendências de baixa e as restantes para volatilidade). Valores extremos são classificados separadamente.
Pré-processamento: Informações sensíveis são tokenizadas (anonimizadas). A normalização é realizada na dimensão da ação para cada dia de negociação para evitar vazamento de informações futuras.
Estrutura: O benchmark final consiste em 20 conjuntos de dados (5 por padrão), cada um contendo 300 ações ao longo de 250 dias, divididos em conjuntos de treinamento/validação/teste (7:1:2).

2.2 Análise de Características de Sequência

O FinTSB avalia a qualidade dos dados e propriedades intrínsecas usando quatro características de sequência:

Padrões de Movimento: Definidos pela frequência de retornos positivos/negativos e magnitude da flutuação.
Não Estacionariedade: Medida via teste de Dickey-Fuller Aumentado (ADF) para confirmar a presença de raízes unitárias, típicas em dados financeiros.
Autocorrelação: Mede a influência de preços passados no comportamento futuro.
Previsibilidade: Avaliada usando propriedades do domínio da frequência (entropia) para determinar a previsibilidade teórica de uma série.

2.3 Pipeline de Avaliação Unificado

O FinTSB introduz um pipeline leve e amigável ao usuário composto por quatro camadas:

Camada de Dados: Lida com tokenização, normalização e carregamento dinâmico de dados para padrões de movimento específicos.
Camada de Treinamento: Integra modelos de seis arquiteturas principais:
- Estratégias Clássicas (por exemplo, CSM, BLSW)
- Aprendizado de Máquina (por exemplo, XGBoost, LightGBM, ARIMA)
- Aprendizado Profundo (por exemplo, LSTM, Transformer, Mamba, GNNs)
- Aprendizado por Reforço (por exemplo, PPO, DDPG)
- Modelos Generativos (por exemplo, Diffusion, VAEs)
- Métodos Baseados em LLM (por exemplo, TimeMoe, Chronos)
Camada de Backtesting: Simula negociação do mundo real usando estratégias Top-K-Drop. Esta estratégia mantém as ações de melhor desempenho e substitui apenas as de baixo desempenho, reduzindo a rotatividade. Crucialmente, incorpora taxas de transação (0,1%) e respeita restrições de mercado (por exemplo, sem venda a descoberto em contextos específicos).
Camada de Feedback: Arquiva logs e fornece ferramentas de visualização para acompanhamento de desempenho.

2.4 Métricas de Avaliação

O benchmark emprega 11 métricas em três dimensões para garantir uma avaliação holística:

Métricas de Ranking: Coeficiente de Informação (IC), Razão de Informação IC (ICIR), RankIC e RankICIR. Estas medem o alinhamento entre pontuações previstas e retornos reais.
Métricas Baseadas em Portfólio: Razão de Retorno Anualizado (ARR), Volatilidade Anualizada (AVol), Drawdown Máximo (MDD), Razão de Sharpe Anualizada (ASR) e Razão de Informação (IR). Estas avaliam a lucratividade e retornos ajustados ao risco.
Métricas de Erro: Erro Quadrático Médio (MSE) e Erro Absoluto Médio (MAE). Os autores observam que menor erro não garante lucratividade, mas é incluído para completude.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

Inclusão de Diversidade: A criação do FinTSB, que tokeniza e pré-processa dados históricos para capturar todos os principais padrões de movimento em mercados diversos, abordando a lacuna de diversidade.
Consistência de Padronização: A proposta de um framework de avaliação unificado cobrindo métricas de ranking, portfólio e erro, permitindo comparações justas e reproduzíveis.
Alinhamento com o Mundo Real: O design de estratégias de investimento que aderem estritamente a restrições de mercado (taxas, suspensões de negociação, regras de venda a descoberto), fechando a lacuna entre métricas teóricas e aplicabilidade prática.
Avaliação em Profundidade: Uma avaliação abrangente de uma ampla gama de métodos de FinTSF, fornecendo insights críticos sobre o desempenho do modelo sob condições de mercado variadas.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos no FinTSB usando o pipeline unificado:

Heterogeneidade de Desempenho: Nenhum método único alcançou o melhor desempenho em todas as três dimensões de métricas. Existe heterogeneidade significativa mesmo dentro da mesma categoria de arquitetura principal, sugerindo que capturar dependências temporais e relações transversais é altamente dependente do método.
Desempenho de LLMs: Métodos baseados em LLMs exibiram um padrão de escalonamento "paradoxal". O desempenho inicialmente deteriorou-se com o escalonamento do modelo, mas mostrou melhoria marcante em escalas maiores (por exemplo, Chronos-boltBase). Isso sugere que as capacidades de séries temporais financeiras podem emergir apenas além de limiares críticos de parâmetros necessários para desvendar o ruído complexo do mercado.
Aprendizado Profundo vs. Tradicional: Contrariando expectativas, técnicas modernas de aprendizado profundo não superaram universalmente estratégias quantitativas tradicionais ou modelos baseados em árvores (por exemplo, XGBoost, LightGBM) em termos de retornos de portfólio.
Aprendizado por Transferência: Modelos pré-treinados no FinTSB demonstraram consistência notável quando transferidos zero-shot para o mercado CSI 300 de 2024, alcançando retornos ajustados ao risco superiores. Isso valida a capacidade do benchmark de capturar padrões robustos e generalizáveis entre diferentes regimes de mercado (alta, baixa e transição).
Eficiência: O estudo incluiu uma análise de eficiência de inferência, equilibrando o desempenho da ASR com o custo computacional e a pegada de memória.

5. Significado e Alegações

Os autores afirmam que o FinTSB fornece uma plataforma nova e abrangente para melhorar e avaliar métodos de FinTSF. Ao abordar a Lacuna de Diversidade, o Déficit de Padronização e a Incompatibilidade com o Mundo Real, o benchmark visa:

Estabelecer uma base sólida para avaliação de modelos na comunidade FinTSF.
Orientar pesquisadores na seleção de modelos apropriados sob condições de mercado variadas.
Avançar o campo em direção a estratégias de investimento mais práticas e aplicáveis ao mundo real.

O artigo conclui que a padronização rigorosa é essencial para ir além de resultados fragmentados e que o FinTSB serve como um passo necessário para alinhar modelos de previsão teóricos com as complexidades dos mercados financeiros reais. O código e o conjunto de dados estão disponíveis publicamente para facilitar pesquisas futuras.