Resumo Técnico: MARKET-BENCH

Declaração do Problema

O campo do trading quantitativo opera em um ambiente de alto risco, onde alucinações de modelos ou entradas incompletas podem resultar em perdas financeiras significativas. Embora as avaliações existentes de Grandes Modelos de Linguagem (LLMs) em finanças foquem em tarefas de alto nível — como resumir chamadas de resultados, análise de sentimento ou modelagem fundamentalista — existe uma lacuna crítica na avaliação da capacidade dos modelos em auxiliar traders em tarefas operacionais cotidianas. Especificamente, os benchmarks atuais não avaliam se um LLM consegue compreender e aplicar conceitos fundamentais de trading (ex: execução de ordens, rastreamento de inventário, gestão de risco) para construir um backtester funcional e executável a partir de uma descrição em linguagem natural. O problema central abordado é a incapacidade dos LLMs atuais de traduzir de forma confiável descrições de estratégias em código que produza simulações de trading numericamente precisas e estruturalmente sólidas.

Metodologia

Os autores introduzem o MARKET-BENCH, um benchmark projetado para avaliar LLMs em tarefas introdutórias de trading quantitativo. A estrutura de avaliação exige que os modelos gerem código Python executável que simule estratégias de trading baseadas em descrições de linguagem natural e dados de mercado fornecidos.

Design do Benchmark

O benchmark consiste em três estratégias canônicas, cada uma capturando aspectos distintos da dinâmica de mercado:

1. Trading Agendado (Estratégia 1): Uma estratégia de ativo único na Microsoft (MSFT) envolvendo ordens de mercado em timestamps pré-especificados. Testa a interação com o livro de ofertas, rastreamento de posição, contabilidade FIFO para P&L realizado e P&L não realizado com base em preços médios (mid-prices).
2. Pairs Trading (Estratégia 2): Uma estratégia de reversão à média entre Coca-Cola (KO) e Pepsi (PEP). Requer o cálculo de z-scores de spread, gestão de capital conjunto entre dois símbolos e execução de lógica de entrada/saída baseada em cruzamentos de limiares (thresholds).
3. Delta Hedging (Estratégia 3): Uma estratégia de opções na MSFT onde o modelo deve realizar o hedge de uma série temporal de delta de opções pré-definida usando a ação subjacente. Isso testa o tratamento de ordens fill-or-kill, atrasos de exchange e a agregação de delta líquido.

Dados e Simulação

• Fontes de Dados: Os dados de mercado são derivados da Databento (dados de livro de ordens L10) ou gerados sinteticamente (random walk para delta de opções).
• Livro Sintético: Um componente crítico do benchmark é a exigência de que os modelos rastreiem a liquidez removida do livro. Os modelos devem manter um "livro sintético" que neutralize os dados brutos do livro de ordens contra a liquidez consumida para garantir o rastreamento preciso de preço e volume.
• Protocolo de Avaliação:
  • Cada estratégia é testada em 5 rodadas distintas (configurações de parâmetros e sementes de dados diferentes), totalizando 15 combinações por modelo.
  • Os modelos têm direito a até 3 tentativas independentes de tentativa única (one-shot) por rodada.
  • Temperatura: Definida em 0.0 para garantir determinismo.
  • Restrições: Um limite de tempo de 10 minutos e um conjunto restrito de pacotes Python permitidos (ex: pandas, numpy, datetime).

Métricas

A avaliação separa a confiabilidade estrutural da precisão numérica:

• Passes Executáveis: Conta o número de rodadas onde o modelo gera com sucesso código que roda sem erros de sintaxe ou asserções de tempo de execução (runtime assertions).
• Erro Médio Absoluto (MAE): Mede o desvio entre as métricas de saída do modelo (P&L total, drawdown máximo, caminhos de posição) e uma implementação de referência verificável.
  • Tratamento de Falhas: Se um modelo falhar na execução, recebe um "MAE de baseline de métricas duplicadas", calculado repetindo as métricas do estado inicial para todos os timestamps. Isso penaliza severamente saídas não executáveis.
• Agregação: Os modelos são classificados por Mean MAE (média de MAE entre todas as rodadas, incluindo falhas), Best Run MAE (menor erro alcançado em qualquer rodada única) e total de Passes Executáveis.

Principais Resultados

O estudo avaliou 13 modelos de última geração, incluindo variantes do GPT-5, Claude 4.5, Gemini 3 Pro e modelos de código aberto como Qwen3 e Llama 4.

Tendências de Desempenho

1. Confiabilidade vs. Precisão: Existe uma divergência significativa entre a capacidade de um modelo produzir código funcional e sua capacidade de produzir código correto.
   • GPT-5.2 demonstrou forte desempenho geral, alcançando executabilidade perfeita (15/15 rodadas) com um Mean MAE baixo (969.39).
   • Qwen3 Max alcançou executabilidade perfeita (15/15), mas sofreu de divergência numérica catastrófica, particularmente na Estratégia 2, resultando em um Mean MAE de ~1.59 × 10⁸.
   • GPT-5.1 Codex-Max alcançou o menor erro de rodada única (0.002 MAE) na Estratégia 1, mas mostrou alta variância entre as rodadas.
2. Dificuldade da Estratégia:
   • Estratégia 1 (Ação Única): A tarefa mais fácil. A maioria dos modelos (média de 4.08/5 rodadas) conseguiu executar, embora os erros numéricos tenham variado em ordens de magnitude.
   • Estratégia 2 (Pairs): Mais desafiadora estruturalmente. A média de Passes Executáveis caiu para 3.46. Os modelos tiveram dificuldades com o cálculo de z-score e gestão de capital multi-ativo.
   • Estratégia 3 (Delta Hedging): A mais complexa. A média de Passes Executáveis caiu para 3.38. Erros na agregação de delta e no tempo (timing) levaram a discrepâncias massivas de P&L.
3. Modos de Falha:
   • Falhas Estruturais: Erros de sintaxe, colunas ausentes ou incompatibilidades de tipo que impedem a execução.
   • Falhas Semânticas: O código executa, mas implementa a lógica incorretamente (ex: razões de hedge erradas, contabilidade FIFO incorreta, ignorar restrições de capital). Isso resulta em alto MAE, apesar da execução bem-sucedida.

Principais Contribuições

• Benchmark MARKET-BENCH: Uma nova suíte de avaliação direcionada especificamente à interseção entre geração de código e finanças quantitativas, indo além da análise financeira baseada em texto para a implementação de estratégias executáveis.
• Avaliação Multi-Rodada e Multi-Métrica: Um protocolo rigoroso que distingue entre código que roda e código que funciona, utilizando uma penalidade de baseline para saídas não executáveis para refletir a gravidade da falha em contextos de trading.
• Simulação de Livro Sintético: A introdução de um mecanismo que exige que os modelos rastreiem o consumo de liquidez e mantenham livros de ordens sintéticos, uma restrição do mundo real frequentemente omitida em benchmarks de geração de código.

Significância e Alegações

O artigo conclui que, embora os LLMs atuais possam fornecer a infraestrutura básica para trading, eles têm dificuldade em raciocinar robustamente sobre preços, inventário e risco.

• Limitações Atuais: Os autores afirmam que usar a saída do modelo como um substituto direto para analistas quantitativos é "extremamente arriscado". Mesmo para tarefas introdutórias, os modelos falham em implementar consistentemente estratégias básicas com fidelidade numérica.
• Papel dos LLMs: O artigo sugere que os modelos atuais são mais adequados como "suplementos de codificação" do que como agentes autônomos para sintetizar ideias de trading.
• Perspectiva Futura: Os autores postulam que, com melhor treinamento em dados de trading e capacidades de raciocínio aprimoradas, os modelos poderão eventualmente preencher a lacuna entre descrever estratégias e implementá-las com um entendimento profundo da dinâmica de mercado. No entanto, conforme o estudo atual, a lacola permanece substancial.

Os autores disponibilizam o benchmark e um leaderboard público para facilitar pesquisas futuras neste domínio.