Resumo Técnico: BacktestBench

Declaração do Problema

O backtesting quantitativo é um componente crítico para a avaliação de estratégias de negociação, mas continua sendo prejudicado por barreiras técnicas elevadas e escalabilidade limitada. O fluxo de trabalho tradicional exige expertise especializada para construir combinações de fatores, consultar dados históricos com lógica temporal precisa e implementar código livre de erros para executar estratégias complexas. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial transformador para automatizar esse fluxo de trabalho interdisciplinar por meio da geração de código e planejamento agêntico, sua aplicação prática está atualmente estagnada. O principal gargalo é a ausência de um benchmark em grande escala e de alta qualidade dedicado ao backtesting quantitativo automatizado. Conjuntos de dados existentes (por exemplo, Text-to-SQL ou benchmarks de geração de código geral) não conseguem capturar a lógica temporal única, o raciocínio multi-etapa e os requisitos rigorosos de reprodutibilidade inerentes à avaliação de estratégias financeiras.

Metodologia

1. Construção do Conjunto de Dados: BacktestBench

Os autores introduzem o BacktestBench, o primeiro benchmark em grande escala para backtesting quantitativo automatizado.

• Fonte de Dados: O conjunto de dados é construído a partir de mais de 6 milhões de registros reais de mercado (dados diários de negociação) das três principais bolsas da China (Xangai, Shenzhen, Pequim), abrangendo de janeiro de 2020 a setembro de 2025.
• Escala e Composição: Composto por 18.246 pares de perguntas e respostas (QA) meticulosamente anotados.
• Conceitos Principais: O conjunto de dados distingue entre fatores (variáveis numéricas), sinais (decisões booleanas), estratégias (políticas de negociação executáveis) e KPIs (métricas de desempenho).
• Categorias de Tarefa: O benchmark avalia modelos em quatro tarefas distintas de tomada de decisão:
  1. Cálculo de Métricas: Computar KPIs específicos (por exemplo, Índice de Sharpe, Máximo Drawdown) para uma estratégia dada.
  2. Seleção de Ticker: Identificar o ativo de melhor desempenho de um universo de candidatos sob uma estratégia fixa.
  3. Confirmação de Parâmetros: Selecionar hiperparâmetros ótimos (por exemplo, janelas de retroanálise) para uma estratégia.
  4. Seleção de Estratégia: Escolher a lógica superior entre estratégias concorrentes sob condições de mercado idênticas.
• Pipeline de Geração:
  • Código para Texto: Os autores primeiro geraram 43 fatores teóricos e 7 KPIs, encapsulando-os em 80 funções de estratégia atômicas. Eles sintetizaram código de backtesting Python executável (92.170 estratégias de compra e 112.791 estratégias de venda).
  • Engenharia Reversa: Utilizando cinco LLMs de última geração, realizaram engenharia reversa de "código para texto" para gerar descrições de estratégias em linguagem natural alinhadas com a lógica real do código.
  • Controle de Qualidade: Um processo de revisão por pares multi-modelo garantiu alta fidelidade. Uma descrição foi mantida apenas se quatro auditores LLM independentes concordassem unanimemente sobre sua fidelidade ao código e validade da estratégia.
  • Validação Humana: Uma amostra aleatória de 200 instâncias alcançou uma taxa de aprovação de 97,5% para completude da descrição e 98,5% para correção do código.

2. Sistema Baseline: AutoBacktest

Para abordar os desafios do conjunto de dados, os autores propõem o AutoBacktest, um sistema colaborativo robusto de múltiplos agentes projetado para imitar o fluxo de trabalho de um pesquisador quantitativo. Ele desacopla o pipeline complexo em três agentes especializados:

1. Resumidor: Extrai indicadores financeiros em nível semântico (fatores e KPIs) de descrições em linguagem natural. Utiliza um mecanismo de recuperação BM25 para mapear termos informais para uma biblioteca padronizada de nomes de indicadores, reduzindo ambiguidades.
2. Recuperador: Lida com operações em nível de dados. Mapeia indicadores identificados para Códigos Curtos únicos (identificadores compactos e eficientes em tokens) e gera consultas SQL executáveis para buscar dados históricos de mercado de um banco de dados PostgreSQL. Emprega um loop de validação baseado em execução para garantir que o SQL retorne resultados válidos e não vazios.
3. Codificador: Foca na implementação em nível de lógica. Recebe os dados recuperados (como um DataFrame Pandas) e o contexto padronizado de indicadores para gerar e executar código de backtesting Python. Depura iterativamente o código para calcular as métricas necessárias ou executar a lógica da estratégia sob protocolos estritos de backtesting (por exemplo, apenas compra, compra na abertura/venda no fechamento, sem viés de olhar para o futuro).

Contribuições Principais

1. BacktestBench: Um benchmark pioneiro em grande escala contendo 18.246 pares de QA derivados de dados reais de mercado, cobrindo quatro tarefas quantitativas centrais. Ele preenche a lacuna entre a geração de código de propósito geral e os requisitos rigorosos das finanças quantitativas.
2. Framework AutoBacktest: Um sistema baseline de múltiplos agentes que traduz estratégias em linguagem natural em backtests reprodutíveis. Introduz uma arquitetura modular (Resumidor, Recuperador, Codificador) e um mecanismo de "Código Curto" para fundamentar LLMs em esquemas de banco de dados precisos e definições financeiras.
3. Avaliação Abrangente: O artigo avalia 23 LLMs principais (tanto de código aberto quanto fechados) no BacktestBench, fornecendo a primeira análise sistemática das capacidades de LLMs neste domínio vertical.

Resultados Experimentais

A avaliação de 23 LLMs revela várias percepções críticas:

• Lacuna de Desempenho: Modelos de código fechado geralmente superam as contrapartes de código aberto. O Gemini 3 Pro alcançou a Maior Precisão Geral (OA) de 67,41%, liderando significativamente em tarefas complexas de raciocínio lógico como Cálculo de Métricas (51,67%). O melhor modelo de código aberto, GLM 4.7, alcançou uma OA de 56,83%.
• Sensibilidade à Escala: Tarefas de raciocínio lógico (por exemplo, Cálculo de Métricas) são altamente sensíveis à escala de parâmetros. Reduzir o tamanho do modelo de 235B para 4B fez com que a pontuação de Cálculo de Métricas despencasse de 34,71% para 1,77%. Por outro lado, tarefas de recuperação de indicadores mostraram menor sensibilidade, com modelos menores mantendo precisão de recuperação relativamente alta.
• O Papel do Chain-of-Thought (CoT): Modelos sem raciocínio CoT (por exemplo, Kimi Linear 48B) exibiram um desacoplamento entre sintaxe e lógica. Eles alcançaram alta correção de execução SQL (99,22%), mas baixa precisão de execução (48,46%) e pontuações de lógica de estratégia próximas de zero, indicando que podiam gerar código executável que era logicamente falho.
• Gargalos de Complexidade: O desempenho degradou-se drasticamente à medida que a complexidade do KPI aumentava. Métricas simples como Taxa de Vitória e Máximo Drawdown apresentaram maior precisão, enquanto indicadores estatísticos complexos como Volatilidade e Índice de Sharpe tornaram-se "zonas de desastre" para a maioria dos modelos, com taxas de aprovação frequentemente abaixo de 20% para modelos menores ou sem CoT.
• Estudos de Ablação:
  • Códigos Curtos: A inclusão de Códigos Curtos (identificadores de banco de dados padronizados) melhorou significativamente a Precisão de Execução SQL (EA) em todos os modelos, com alguns apresentando ganhos de mais de 20 pontos percentuais.
  • Verdade Terrena: Fornecer Códigos Curtos de verdade-terra foi mais impactante do que fornecer SQL de verdade-terra, sugerindo que entender a semântica dos indicadores financeiros é o principal gargalo, e não a geração de sintaxe SQL.

Significado e Alegações

O artigo afirma que o BacktestBench estabelece um protocolo de avaliação padronizado e um recurso de dados rigoroso, efetivamente preenchendo a lacuna entre a geração de código de propósito geral e a pesquisa de investimento quantitativo. Ao demonstrar que os LLMs atuais lutam com a "lógica de ordem superior" necessária para métricas financeiras complexas (como volatilidade anualizada e índices de Sharpe), o trabalho destaca as limitações específicas da IA atual na tomada de decisões financeiras.

Os autores posicionam o BacktestBench não como uma ferramenta para gerar alpha imediato ou conselhos de negociação ao vivo, mas como uma baseline fundamental para testar as capacidades de LLMs de compreensão de estratégia, recuperação de dados e geração de código em um ambiente financeiro estruturado. O trabalho estabelece as bases para avanços futuros na tomada de decisões financeiras inteligentes, identificando que, embora os LLMs sejam capazes de geração de código procedural, eles ainda exigem melhorias significativas em dedução lógica rigorosa e raciocínio estatístico para automatizar fluxos de trabalho quantitativos complexos de forma confiável.