🤖 machine learning

Fast Exact Nearest-Neighbor Learning for High-Frequency Financial Time Series

Este artigo demonstra que uma implementação baseada em Mojo de uma k-d tree SIMD exata supera significativamente os métodos existentes do scikit-learn em velocidade e escalabilidade para séries temporais financeiras de alta frequência, permitindo o aprendizado de vizinhos mais próximos em tempo real e modelos de precificação de derivativos aprimorados sem sacrificar a precisão.

Autores originais: Henry Han, Diane Li

Publicado 2026-06-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Henry Han, Diane Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Dilema da "Agulha no Palheiro"

Imagine que você é um trader financeiro. A cada segundo, você precisa tomar uma decisão baseada no mercado atual. Para fazer isso, você consulta seu "banco de memória" — um histórico massivo de como o mercado se comportou no passado. Você quer encontrar os momentos exatos na história que mais se parecem com o dia de hoje para prever o que acontece a seguir.

O problema é que esse "banco de memória" está crescendo absurdamente (milhões de pontos de dados).

O Jeito Antigo (Python/Scikit-learn): Imagine tentar encontrar um livro específico em uma biblioteca caminhando por cada corredor, verificando cada livro, um por um. É preciso, mas é incrivelmente lento. À medida que a biblioteca cresce, você fica mais lento.
O Jeito "Rápido" (C++): Imagine contratar uma equipe de corredores supervelozes para fazer a mesma busca. Eles são rápidos, mas falam uma língua diferente dos seus pesquisadores. Você tem que traduzir suas ideias para a língua deles, o que é lento, caro e propenso a erros.

A Solução: Mojo

Os autores apresentam o Mojo, uma nova linguagem de programação que é como um "Python superpotencializado". Ela fala a mesma língua dos pesquisadores (fácil de escrever), mas roda com a velocidade dos corredores supervelozes.

Eles usaram o Mojo para construir uma maneira mais inteligente de pesquisar esse histórico financeiro. Em vez de verificar cada livro (ponto de dado), eles construíram um sistema de arquivamento inteligente (uma "árvore k-d") que os ajuda a pular enormes seções da biblioteca que definitivamente não contêm a resposta.

Como Eles Tornaram Isso Rápido (Os Três Truques)

O artigo explica que eles não usaram apenas um sistema de arquivamento inteligente; eles otimizaram isso de três maneiras específicas para fazê-lo voar:

A "Divisão Inteligente" (Splitting Baseado em Variância):
- Analogia: Imagine separar uma pilha bagunçada de roupas. Em vez de apenas dividir entre "camisas vs. calças", você olha para a pilha e pergunta: "Qual característica separa mais esses itens?" Talvez você divida primeiro por "cor", porque isso cria grupos mais limpos.
- No artigo: O algoritmo analisa os dados financeiros e encontra a característica específica (como volatilidade ou momentum de preço) que mais varia. Ele divide os dados ali primeiro, criando grupos mais compactos e fáceis de pesquisar.
O "Chão Plano" (Armazenamento de Buffer Contíguo e Plano):
- Analogia: Imagine que seus livros estão armazenados em uma biblioteca onde alguns estão em uma caixa, outros em uma prateleira e outros em um porão, e você tem que correr de um lado para outro para pegá-los. Isso é lento. Agora, imagine que todos os livros estão alinhados perfeitamente em uma única e longa fileira em uma prateleira. Você pode pegá-los em um único movimento suave.
- No artigo: Eles armazenaram os dados em um bloco contínuo de memória. Isso permite que o "prefetcher" do computador (uma parte do cérebro que adivinha o que você precisará a seguir) busque os dados de forma eficiente, sem perder tempo saltando de um lugar para outro.
O "Super-Leitor" (Vetorização SIMD):
- Analogia: Imagine que você está lendo uma lista de números. Uma pessoa normal lê um número de cada vez. Um "Super-Leitor" (SIMD) consegue ler oito números de uma vez e fazer a conta em todos eles em um único piscar de olhos.
- No artigo: Eles programaram o computador para comparar oito pontos de dados financeiros simultaneamente. Isso torna a matemática de comparar "hoje" com "ontem" incrivelmente rápida.

Os Resultados: Velocidade vs. Precisão

A equipe testou isso em dados financeiros reais (ações, ETFs e moedas) em dois tipos de chips de computador (Intel x86 e Apple M3).

A Velocidade:
- Em computadores padrão (x86), o novo método deles foi de 17 a 21 vezes mais rápido que a ferramenta padrão do Python (scikit-learn).
- Em computadores Apple (ARM64), foi de 28 a 43 vezes mais rápido que a ferramenta padrão.
- Ponto Crucial: Eles não apenas adivinharam a resposta. Eles encontraram a mesma resposta exata do método lento, apenas muito mais rápido.
O "Porquê" (A Surpresa do ARM64):
- Em chips Apple, o método padrão de "força bruta" (verificar tudo) foi surpreendentemente lento porque o "Super-Leitor" (SIMD) do chip era mais estreito do que o esperado pelo código. No entanto, como o "Sistema de Arquivamento Inteligente" (árvore k-d) dos autores pulou tantas verificações desnecessárias, isso não importou. Continuou sendo o método mais rápido por uma margem enorme.

A Vitória no Mundo Real: Melhores Previsões

O artigo não parou apenas na velocidade. Eles mostraram que ser mais rápido permite que você faça mais trabalho.

Eles treinaram um modelo para prever a "Volatilidade Implícita" (uma medida de risco para opções de ações).
Como o sistema deles é tão rápido, eles puderam treinar o modelo com 10 vezes mais dados do que o sistema Python padrão conseguiria processar no mesmo intervalo de tempo.
O Resultado: Ao usar mais dados, o modelo tornou-se 8% mais preciso. Isso prova que velocidade não é apenas sobre esperar menos; é sobre aprender melhor.

Resumo

O artigo argumenta que, para lidar com as quantidades massivas de dados na finança moderna, não podemos usar apenas ferramentas lentas e fáceis (Python) ou ferramentas difíceis e rápidas (C++). Precisamos de um meio-termo.

O Mojo oferece esse meio-termo. Ao combinar um algoritmo de busca inteligente, uma maneira organizada de armazenar dados e um motor matemático de "super-leitura", eles criaram um sistema que é:

Exato: Não adivinha; encontra a resposta real.
Rápido: É de 17x a 43x mais rápido que as ferramentas padrão atuais.
Escalável: Torna-se ainda mais poderoso à medida que a quantidade de dados cresce, permitendo que modelos financeiros aprendam com históricos muito maiores e façam previsões melhores.

Resumo Técnico: Aprendizado de Vizinho Mais Próximo Exato e Rápido para Séries Temporais Financeiras de Alta Frequência

Definição do Problema
A IA financeira está entrando em uma era de escalonamento onde os modelos devem ingerir vastos corpora históricos (ações, ETFs, FX, opções) para suportar negociações em tempo real, gestão de risco e precificação de derivativos. Um gargalo crítico existe no stack atual: embora as ferramentas baseadas em Python (NumPy, scikit-learn) ofereçam flexibilidade, elas sofrem com o overhead do interpretador, saturação de largura de banda de memória e baixa localidade de cache ao consultar centenas de milhares de estados históricos. Por outro lado, soluções em C++ e FPGA oferecem velocidade, mas criam um hiato "da pesquisa para a produção" devido à necessidade de codebases separadas e otimização manual. O desafio específico abordado é a inferência de vizinho mais próximo exato (KNN) para séries temporais de alta frequência, onde o custo linear da busca por força bruta ( $O(n \cdot d)$ ) torna-se proibitivo para orçamentos de latência em tempo real, embora métodos aproximados (como HNSW) sacrifiquem a exatidão exigida para certas aplicações financeiras.

Metodologia
Os autores propõem uma árvore k-d SIMD em Mojo projetada especificamente para corpora de séries temporais financeiras. O Mojo, uma linguagem de sistemas compilada com sintaxe compatível com Python, permite o co-design de algoritmo, layout de memória e hardware sem sair do ecossistema Python. A metodologia integra três otimizações principais:

Divisão Baseada em Variância: Diferente das divisões padrão baseadas na mediana, a árvore seleciona o eixo de divisão com base na dimensão de máxima variância ( $j^* = \arg\max \text{Var}(\{x_{i,j}\})$ ). Isso concentra a poda precoce nas características financeiras mais discriminativas (retornos, volatilidade, momentum), criando subregiões mais compactas.
Armazenamento em Buffer Plano Contíguo: Os vetores de treinamento são armazenados em um buffer plano em ordem de linha ( $X \in \mathbb{R}^{n \times d}$ ) indexado por um array permutado. Os nós folha são definidos por offsets inteiros, permitindo que os candidatos sejam lidos como blocos de memória contíguos. Isso elimina o overhead de perseguição de ponteiros (pointer-chasing) e garante o alinhamento da linha de cache.
Kernels Vetorizados em Tempo de Compilação: Computações de distância utilizam vetorização SIMD (Single Instruction, Multiple Data). O kernel é especializado em tempo de compilação (comptime) para dimensões específicas (ex: $d=16$ ou $d=24$ ) e larguras SIMD, gerando código totalmente desenrolado e livre de escalares. A distância euclidiana ao quadrado é decomposta em blocos paralelos de largura de registrador.

O sistema foi avaliado em oito datasets financeiros (ações dos EUA, ETFs, FX) em duas arquiteturas de hardware: x86 (Intel/AMD) e ARM64 (Apple M3). Comparações foram feitas contra as implementações de força bruta e k-d tree do scikit-learn, bem como a própria abordagem de força bruta SIMD do Mojo.

Principais Contribuições

Implementação de Árvore k-d SIMD em Mojo: Uma implementação inovadora combinando poda baseada em variância, layout de memória em buffer plano e kernels de distância vetorizados em tempo de compilação para KNN exato em grandes datasets financeiros.
Análise de Tempo de Execução Teórica: Uma prova demonstrando que, sob suposições de poda padrão, a k-d tree do Mojo domina assintoticamente tanto a força bruta SIMD do Mojo quanto a k-d tree do scikit-learn no regime de estoque fixo, $n$ grande e dimensões moderadas.
Co-Design Finanças-Hardware: Uma abordagem de engenharia de atributos padronizada onde os atributos derivados de OHLCV são alinhados com larguras SIMD (16 e 24 valores float32 mapeando para 2 e 3 larguras de registrador, respectivamente), preservando a interpretabilidade financeira enquanto maximiza o throughput.
Validação Empírica: Benchmarks abrangentes mostrando acelerações significativas através de diversos tipos de ativos e plataformas de hardware, com significância estatística confirmada via testes de postos sinalizados de Wilcoxon.
Demonstração de Escalabilidade: Um experimento secundário usando Extra Trees para precificação de volatilidade implícita mostrou que os ganhos de throughput permitem o treinamento em 10 $\times$ mais dados, melhorando diretamente a precisão da previsão.

Resultos

Aceleração em x86 ( $d=16$ ): A k-d tree do Mojo alcançou um aceleração de 17,5–21,6 $\times$ sobre a k-d tree do scikit-learn e uma aceleração de 1,2–1,3 $\times$ sobre a força bruta do scikit-learn em datasets variando de 143K a 277K amostras.
Aceleração em ARM64 ( $d=24$ ): O método alcançou 28,1–43,5 $\times$ de aceleração sobre a força bruta do scikit-learn no Apple M3. Notavelmente, no ARM64, o kernel de força bruta SIMD do Mojo foi 780–1549 $\times$ mais lento que a k-d tree devido a um descompasso entre a largura SIMD de tempo de compilação (otimizada para registradores de 256 bits x86) e os registradores nativos de 128 bits do ARM. No entanto, a poda algorítmica ( $O(n^{1-1/d})$ ) da k-d tree a tornou imune a essa penalidade específica de hardware, mantendo ganhos massivos.
Expoentes de Escalonamento: O ajuste empírico da complexidade de tempo $T(n) = Cn^\alpha$ resultou em um expoente de 1,755 para a k-d tree do Mojo (apenas consulta), comparado a 1,885 para força bruta e 2,320 para a k-d tree do scikit-learn. Isso confirma um escalonamento subquadrático que se amplia conforme o tamanho do dataset aumenta.
Qualidade de Previsão: No experimento de Extra Trees, o treinamento em 200.000 amostras (10 $\times$ o limite da linha de base Python) reduziu o RMSE da Volatilidade Implícita (IV) de Put em 8,0% (de 0,361 para 0,333). A separação de calls e puts reduziu ainda mais o RMSE em 27–31%.
Significância Estatística: Um teste de postos sinalizados de Wilcoxon confirmou que a k-d tree do Mojo é estritamente mais rápida que a k-d tree do scikit-learn em todos os oito datasets ( $p < 0,01$ ), com uma média geométrica de aceleração de 10,8 $\times$ (IC 95%: [5,94 $\times$ , 16,62 $\times$ ]).

Significância e Alegações
O artigo afirma ser o primeiro estudo de nível de sistema, compatível com Python e de código aberto sobre a eficiência de inferência de IA financeira em escala. Sua principal significância reside em demonstrar que o co-design entre algoritmo, layout de memória, hardware e linguagem pode gerar aceleração operacionalmente significativa sem sacrificar a exatidão ou a compatibilidade com Python.

Os autores argumentam que o Mojo preenche a lacuna entre a flexibilidade da pesquisa em Python e a performance dos sistemas de produção em C++. Ao permitir um único codebase que atinge throughput próximo ao do C++ otimizado (aprox. 60% da velocidade do C++ otimizado em uma comparação específica) enquanto oferece 10 $\times$ de aceleração sobre bibliotecas Python padrão, este trabalho posiciona o Mojo como um stack escalável e pronto para produção para IA financeira. Os resultados sugerem que, à medida que os volumes de dados financeiros crescem em direção às escalas de tick-level, o escalonamento subquadrático desta abordagem se tornará cada vez mais crítico para manter as restrições de latência em tempo real. Os princípios também são alegados como aplicáveis a outros campos intensivos em dados que exigem recuperação de vizinho mais próximo exato, como genômica e cibersegurança.