Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

No mundo dos investimentos, a habilidade mais valiosa é saber quando comprar e quando vender. Isso é chamado de market timing (temporização de mercado). Durante décadas, investidores tentaram construir máquinas que pudessem prever esses momentos melhor do que um ser humano, esperando transformar pequenas vantagens em grandes lucros. A ferramenta mais recente nesta busca é o modelo de linguagem de grande escala, um tipo de inteligência artificial capaz de escrever códigos de computador complexos e explicar sua lógica em sentenças fluentes. Esses modelos podem ser solicitados a projetar uma estratégia de negociação, escrever o código para executá-la e até produzir um relatório mostrando quanto dinheiro teria rendido no passado. A promessa é que qualquer pessoa, de um gestor de fundos profissional a um indivíduo curioso, poderia pedir a um computador um plano vencedor e receber uma solução completa e pronta para uso. Mas existe um problema profundo e bem conhecido ao olhar para o passado para prever o futuro. Uma estratégia pode parecer brilhante no papel simplesmente porque coincidiu de corresponder a padrões aleatórios nos dados, um erro conhecido como overfitting (sobreajuste). Quando uma estratégia é construída por uma máquina que nunca viu o mundo real, o risco é que ela não esteja encontrando um padrão oculto, mas apenas mimetizando a forma do ruído.

Uma equipe de pesquisadores partiu para testar se esses modelos de inteligência artificial realmente possuem alguma habilidade em realizar o timing do mercado, ou se seus relatórios impressionantes são apenas uma ilusão convincente. Eles não apenas pediram aos modelos que escrevessem código; eles construíram um campo de teste rigoroso para ver o que acontecia quando esse código encontrava dados reais de mercado. Os pesquisadores pediram a cinco modelos diferentes de IA que criassem estratégias de negociação para três ativos principais: o índice de ações S&P 500, futuros de ouro e o par de moedas euro e dólar americano. Os modelos geraram quase duzentas estratégias distintas, cada uma com seu próprio conjunto de regras para quando comprar e quando vender. Para garantir que o teste fosse justo, os pesquisadores executaram cada uma das estratégias em um ambiente digital controlado que cobrava uma pequena taxa para cada operação, imitando os custos reais de fazer negócios. Eles então compararam os resultados desses planos gerados por IA contra um índice de referência simples: comprar um ativo e mantê-lo sem nunca vendê-lo. Eles também compararam as estratégias de IA contra um grupo de controle inteligente. Para cada estratégia de IA, eles criaram uma versão "nula" pegando exatamente os mesmos períodos de tempo que a IA decidiu manter uma posição, mas embaralhando esses períodos aleatoriamente. Este teste removeu a suposta habilidade da IA de escolher o momento certo, deixando apenas o fato de que ela estava mantendo o ativo por um certo período de tempo. Se a IA fosse verdadeiramente habilidosa, ela deveria ter superado essa versão embaralhada.

Os resultados foram drásticos e consistentes. Em todos os casos, as estratégias geradas pela inteligência artificial falharam em superar o simples ato de manter o ativo. Em média, as estratégias de IA perderam dinheiro, entregando uma métrica de desempenho conhecida como razão de Sharpe negativa. Isso significa que, após contabilizar o risco assumido e os custos de negociação, o investidor médio teria sido melhor fazendo nada do que seguindo o conselho da IA. Apenas uma pequena fração das estratégias, menos de oito por cento, conseguiu superar a abordagem simples de compra e manutenção (buy-and-hold). Quando os pesquisadores investigaram mais profundamente, descobriram que os modelos de IA não estavam encontrando nenhuma habilidade oculta de temporização. As estratégias não tiveram um desempenho melhor do que as versões aleatórias e embaralhadas de si mesmas. Na verdade, as estratégias de IA eram estatisticamente indistinguíveis do acaso. As poucas vezes em que uma estratégia pareceu ter ido bem, não foi porque o modelo aprendeu a prever o mercado, mas porque a estratégia aconteceu de manter o ativo com mais frequência quando o mercado estava subindo. Isso é um viés em favor de estar "comprado" (long), ou seja, mantendo o ativo, em vez de uma habilidade em escolher o momento certo. Quando os pesquisadores removeram este viés ao comparar as estratégias com suas contrapartes embaralhadas, a ilusão de habilidade desapareceu completamente.

Talvez a parte mais reveladora do estudo tenha ocorrido quando os pesquisadores pediram aos modelos para fazerem algo que eles não conseguem fazer de fato: executar um backtest e relatar os resultados sem que lhes fossem fornecidos os dados. Os modelos foram solicitados a escrever uma estratégia, calcular seu desempenho e informar ao usuário os números finais. Nenhum dos modelos foi capaz de fazer isso, porque eles não têm a capacidade de executar código e processar números em tempo real. Em vez disso, produziram uma simulação de um relatório. Alguns modelos imprimiram um script que parecia que calcularia os números se outra pessoa o executasse. Outros simplesmente declararam regras gerais sobre o que constitui um bom resultado. Alguns modelos foram além e fabricaram números específicos, apresentando um bloco de texto que parecia um relatório concluído, mas que era inteiramente inventado. Esse comportamento destaca uma lacuna perigosa entre a aparência de competência e a realidade da capacidade. Os modelos são fluentes na linguagem das finanças e podem mimetizar a estrutura de uma análise profissional, mas não conseguem gerar a evidência que essa análise exige.

O estudo também examinou se o uso de um modelo maior e mais poderoso ou o pedido de uma estratégia mais robusta mudaria o resultado. Não mudou. Embora modelos maiores tenham escrito códigos com maior probabilidade de serem executados sem erros, e comandos específicos tenham alterado a frequência com que as estratégias mantinham um ativo, nenhum desses fatores melhorou a capacidade de realizar o timing do mercado. As melhorias foram puramente na exposição, ou seja, no tempo que a estratégia passava no mercado, e não na qualidade das decisões tomadas. Os pesquisadores também descobriram que seu próprio processo de teste teve que ser constantemente verificado para erros. Em um caso, um erro de dados em seu próprio sistema fez com que uma estratégia aleatória parecesse vencedora, um erro que só foi detectado porque eles construíram controles para verificar seu próprio trabalho. Essa autoauditoria reforçou a lição central: um resultado de aparência plausível não é um resultado correto até que tenha sido verificado contra um padrão que prove que o teste pode realmente encontrar um vencedor, se um existir.

Para o investidor, a lição é clara. Os modelos de inteligência artificial não são capazes, atualmente, de gerar estratégias de negociação que contenham habilidade genuína. Eles produzem estratégias que parecem completas e confiantes, mas, quando testadas contra dados reais, não performam melhor do que o acaso e, muitas vezes, pior do que simplesmente manter um ativo. Os relatórios que eles geram, repletos de números específicos e gráficos de desempenho, são hipóteses, não evidências. Até que uma estratégia seja executada novamente em dados documentados e comparada contra um índice de referência justo que considere quanto tempo ela passa no mercado, ela deve ser tratada como não comprovada. O custo de confiar nessas ferramentas não é apenas uma oportunidade perdida de superar o mercado, mas o potencial de perda dos retornos constantes que vêm do investimento passivo. Os modelos dominaram a arte de soar como um especialista, mas ainda não aprenderam como ser um.