Do LLMs Understand Limit Order Book Dynamics?

No movimentado mundo das finanças modernas, os mercados não são impulsionados apenas pela intuição humana ou por tendências econômicas amplas, mas por um fluxo constante e de alta velocidade de instruções digitais. No coração de muitos desses mercados reside um mecanismo chamado livro de ofertas de limite (limit order book). Imagine um livro de registros digital onde compradores e vendedores se alinham, cada um declarando o preço específico que está disposto a pagar ou aceitar e a quantidade de ações que deseja negociar. Este registro não é estático; é um registro vivo, que respira, que muda toda vez que uma nova ordem chega, uma ordem existente é preenchida ou um participante decide cancelar sua oferta. As regras que governam este registro são estritas e lógicas: um comprador não pode comprar uma ação por um valor inferior ao menor preço que um vendedor está pedindo atualmente, e um vendedor não pode vender por um valor superior ao maior preço que um comprador está oferecendo. Por décadas, traders e matemáticos construíram modelos complexos para prever como este registro evoluirá, tentando antecipar o próximo movimento nesta intrincada dança de oferta e demanda.

Recentemente, um novo tipo de inteligência artificial, conhecido como modelo de linguagem de grande escala (large language model), começou a ser aplicado a esses enigmas financeiros. Esses modelos são tipicamente treinados em vastas quantidades de texto para aprender padrões de linguagem, mas pesquisadores começaram a treiná-los em sequências de eventos de mercado. A esperança é que, se um modelo puder aprender a gerar sequências válidas de ordens de mercado — simulando corretamente como um mercado se move de um estado para outro — ele terá verdadeiramente compreendido a mecânica subjacente do mercado. Isso levanta uma questão profunda: se uma máquina pode escrever uma história perfeita sobre como um mercado se move, ela realmente entende a história ou está apenas mimetizando a sintaxe? Uma equipe de pesquisadores da Columbia Business School partiu para responder a isso, testando se essas inteligências artificiais possuem um verdadeiro "modelo de mundo" dos mercados financeiros ou se são meramente papagaios sofisticados.

Os pesquisadores começaram criando uma versão simplificada e simulada de um livro de ofertas de limite. Neste ambiente de simulação digital, eles definiram um conjunto fixo de níveis de preço e regras para como as ordens poderiam ser colocadas, executadas ou canceladas. Eles então treinaram um modelo de linguagem de grande escala do zero usando dados gerados por essa simulação. O processo de treinamento foi rigoroso: o modelo recebia um estado inicial do mercado e um estado alvo, e tinha a tarefa de gerar uma sequência de eventos que moveria o mercado do início ao fim sem quebrar nenhuma das regras. O modelo destacou-se nesta tarefa. Quando solicitado a produzir uma sequência de negociações, ele quase sempre obteve sucesso em criar um caminho válido, evitando movimentos impossíveis, como vender uma ação que não existe ou executar uma negociação a um preço que viola as regras do mercado. Para um observador casual, o modelo parecia ter dominado a lógica do mercado.

No entanto, os pesquisadores suspeitavam que o sucesso do modelo era superficial. Eles queriam saber se o modelo realmente entendia o estado atual do mercado ou se estava simplesmente dependendo do histórico de como chegou até lá. Em um mercado real, a evolução futura do livro de ofertas depende inteiramente de seu estado atual; o caminho percorrido para chegar a esse estado não deveria importar. Este é um princípio fundamental conhecido como propriedade de Markov. Para testar se o modelo respeitava este princípio, os pesquisadores desenharam uma série de experimentos que iam além do simples cumprimento de regras. Eles pediram ao modelo para prever o que aconteceria a seguir, não apenas para gerar uma sequência válida, mas para prever as probabilidades de eventos futuros.

Os resultados revelaram uma falha significativa na compreensão do modelo. Embora o modelo pudesse gerar sequências válidas, sua visão interna do mercado era enviesada e incompleta. Quando os pesquisadores examinaram as previsões do modelo, descobriram que ele atribuía consistentemente probabilidades incorretas a eventos futuros. Por exemplo, o modelo superestimava a probabilidade de uma ordem de cancelamento em um preço específico, mesmo quando a verdadeira probabilidade matemática era muito menor. Mais preocupante ainda, as previsões do modelo eram influenciadas pelo histórico de eventos que levaram ao estado atual, embora esse histórico devesse ser irrelevante. Se o mercado chegasse a um estado específico através de dois caminhos diferentes, um modelo com uma compreensão correta preveria exatamente o mesmo futuro para ambos. A inteligência artificial, contudo, dava previsões diferentes dependendo do caminho percorrido, sugerindo que ela estava se apegando a detalhes passados que não possuíam poder preditivo.

Para quantificar este erro, os pesquisadores desenvolveram novos testes que mediam a distância entre as previsões do modelo e a realidade matemática real do mercado simulado. Eles descobriram que, à medida que o modelo olhava mais longe no futuro, seus erros cresciam. O modelo parecia acreditar que poderia encontrar padrões no passado que não existiam, um fenôtima conhecido como previsibilidade espúria. Era como se o modelo estivesse convencido de que uma sequência de ordens de compra passadas tornava uma ordem de venda futura mais provável, mesmo quando o estado atual do mercado não oferecia razão para tal mudança. Este viés não era um pequeno erro técnico; era uma falha sistemática em compreender a dinâmica central do sistema. O modelo havia aprendido a gramática do mercado, mas falhou em aprender sua física.

Os pesquisadores também testaram se esses problemas eram específicos de sua pequena e simples simulação ou se persistiriam em ambientes mais complexos. Eles repetiram os experimentos com livros de ofertas maiores, que possuíam mais níveis de preço e maior liquidez. Os resultados foram consistentes: à medida que a complexidade do mercado aumentava, a capacidade do modelo de manter uma representação interna correta do estado na verdade piorava. O modelo continuava a gerar sequências válidas, mas suas previsões tornavam-se ainda mais pouco confiáveis. Isso sugere que simplesmente treinar um modelo com mais dados ou tornar a simulação do mercado maior não corrigirá o problema fundamental. A arquitetura do modelo, como está, tem dificuldade em abstrair o estado atual do sistema do ruído de seu histórico.

Essas descobertas trazem implicações importantes para o uso da inteligência artificial nas finanças. O estudo demonstra que a capacidade de um modelo de gerar saídas válidas não é uma prova suficiente de que ele entende o sistema que está simulando. No contexto dos mercados financeiros, onde a previsão precisa é crítica, um modelo que encontra padrões onde eles não existem poderia levar a erros dispendiosos. Os pesquisadores concluem que, embora os modelos de linguagem de grande escala mostrem promessa na compreensão das regras de um sistema, eles atualmente carecem da compreensão profunda e implícita da dinâmica estocástica necessária para uma previsão confiável. Até que esses modelos possam ser treinados para verdadeiramente internalizar o estado do mundo que estão simulando, em vez de apenas a sequência de eventos que o levou a ele, suas previsões em mercados reais e complexos permanecem suspeitas. O caminho a seguir exige novos métodos de treinamento e conjuntos de dados maiores, mas o desafio central permanece: ensinar uma máquina a ver o mundo como ele é, e não apenas como ela o lembra.