Onflow: a model free, online portfolio allocation algorithm robust to transaction fees

O artigo apresenta o Onflow, um algoritmo de alocação de portfólio baseado em aprendizado por reforço e fluxos de gradiente que otimiza retornos logarítmicos considerando custos de transação, demonstrando ser robusto a riscos de modelo e superior a métodos existentes em cenários de altas taxas.

O essencial

Imagine que você tem um jardim com várias plantas diferentes (ações, criptomoedas, etc.). Seu objetivo é decidir quanto de água e adubo (seu dinheiro) dar para cada planta todos os dias para que seu jardim cresça o mais rápido possível.

O problema é que o clima muda, algumas plantas crescem muito rápido e outras morrem, e, pior ainda, mudar a quantidade de água que você dá a cada planta custa dinheiro (como taxas de transação no mercado financeiro). Se você mudar de ideia toda hora, as taxas vão comer todo o seu lucro.

Este artigo apresenta uma nova ferramenta chamada Onflow. Pense nela como um jardineiro robótico superinteligente que não precisa de um manual de instruções sobre como as plantas funcionam.

Aqui está como ele funciona, explicado de forma simples:

1. O Jardineiro que Aprende na Prática (Aprendizado por Reforço)

A maioria dos jardineiros tradicionais tenta prever o futuro: "Acho que amanhã vai chover, então vou regar menos". O Onflow não tenta adivinhar o futuro. Ele é como um jardineiro que olha apenas para o que aconteceu hoje e decide o que fazer amanhã baseado no que funcionou agora. Ele não assume que o mercado é "normal" ou previsível; ele apenas reage aos preços que vê.

2. O Fluxo Suave (A Ideia do "Gradient Flow")

Aqui está a parte genial. Outros robôs de investimento fazem ajustes bruscos: "Hoje a ação A subiu, então vou vender tudo de B e comprar A!". Isso gera muitas taxas e é perigoso.

O Onflow usa uma matemática chamada "fluxo de gradiente". Imagine que você está descendo uma montanha nebulosa para chegar ao vale (o melhor lucro).

• Outros robôs: Dão passos gigantes e desajeitados, muitas vezes tropeçando e gastando muita energia (taxas).
• O Onflow: É como um rio fluindo suavemente pela montanha. Ele faz pequenos ajustes contínuos e suaves na direção do lucro. Isso evita que ele "pule" de um lado para o outro, economizando dinheiro nas taxas de transação.

3. O Filtro de "Custo de Mudança"

O Onflow tem um "senso de economia" embutido. Ele sabe que mudar a composição do portfólio custa dinheiro (taxas).

• Se a diferença entre o que você tem e o que você quer ter é pequena, o robô pensa: "Não vale a pena pagar a taxa para fazer essa mudança pequena". Ele fica quieto.
• Se a diferença é grande e o lucro potencial é alto, ele faz a mudança, mas de forma calculada.

É como se você tivesse um carro com um sistema que só muda de faixa se a vantagem for clara o suficiente para valer o risco e o combustível gasto na manobra.

4. O Que os Testes Mostraram?

Os autores testaram esse "jardineiro robótico" em dados reais do mercado americano (desde os anos 60 até hoje) e em ações modernas voláteis (como Tesla e Bitcoin).

• Sem taxas: O Onflow funciona tão bem quanto os melhores jardineiros do mundo, alcançando resultados ótimos.
• Com taxas altas (o grande diferencial): Quando as taxas de transação são altas (como 2%, o que é muito no mundo real), os outros robôs (como o "Universal Portfolio" ou o "EG") começam a falhar. Eles tentam trocar de ação tanto que as taxas comem todo o lucro.
  • O Onflow brilha aqui: Ele se torna mais conservador, faz menos trocas e, por isso, sobrevive e lucra mais quando os outros quebram. Em um cenário de taxas altas, ele foi o único que conseguiu superar a estratégia simples de "comprar e segurar" (buy-and-hold).

Resumo em uma Analogia Final

Imagine uma corrida de carros:

• Outros algoritmos são carros de Fórmula 1 que fazem curvas fechadas e trocam de pista a cada segundo. Em uma pista perfeita (sem taxas), eles são incríveis. Mas se a pista tiver pedágios a cada curva (taxas altas), eles gastam todo o dinheiro em pedágios e param.
• O Onflow é um carro de rally experiente. Ele sabe quando vale a pena fazer uma curva fechada e quando é melhor manter o caminho reto para economizar combustível e pedágios. Ele não é o mais rápido em uma pista perfeita, mas é o mais eficiente e robusto em uma pista cheia de obstáculos e custos.

Conclusão: O Onflow é uma estratégia de investimento "à prova de falhas" que não precisa de previsões mágicas, apenas de inteligência para saber quando agir e, mais importante, quando ficar quieto para não perder dinheiro com taxas.

Resumo técnico

Resumo Técnico: Onflow – Um Algoritmo de Alocação de Portfólio Online Robusto a Custos de Transação

1. Problema e Motivação

A alocação de portfólio tradicional, baseada na teoria moderna de portfólio de Markowitz, depende fortemente da estimativa precisa dos momentos de primeira e segunda ordem (retorno e variância) dos ativos. No entanto, essas estimativas são frequentemente incertas, levando a resultados subótimos na prática.

Abordagens de aprendizado online (sem modelo prévio), como a "Universal Portfolio" de Cover e os algoritmos de atualização multiplicativa de Helmbold et al., oferecem robustez ao não assumirem distribuições específicas de retorno. Contudo, a maioria desses métodos enfrenta dificuldades significativas na presença de custos de transação elevados. Estratégias dinâmicas que rebalanceiam frequentemente podem ter seus lucros erodidos por taxas de transação, tornando-as ineficazes em regimes de custos altos (ex: 2%).

O artigo propõe o Onflow, um algoritmo de aprendizado por reforço (RL) model-free que utiliza o conceito de fluxo de gradiente (gradient flows) para ajustar dinamicamente a alocação de portfólio, maximizando o retorno logarítmico esperado enquanto gerencia intrinsecamente os custos de transação.

2. Metodologia

2.1. Estrutura do Problema
O algoritmo opera em um ambiente de mercado com $K$ ativos e $T$ instantes de tempo. O portfólio é definido por um vetor de pesos $\pi$ no simplex unitário (sem venda a descoberto). O objetivo é maximizar o crescimento exponencial da riqueza, o que equivale a maximizar o retorno logarítmico esperado $E[\ln(\langle \pi, f \rangle)]$, onde $f$ são os relativos de preço.

2.2. Parametrização Softmax
Para garantir que os pesos do portfólio permaneçam positivos e somem 1, o algoritmo utiliza uma parametrização via função softmax. Os pesos $\pi$ são derivados de um vetor de parâmetros $H \in \mathbb{R}^K$:
$$\pi(k) = \frac{e^{H_k}}{\sum_{\ell} e^{H_\ell}}$$

2.3. O Algoritmo Onflow (Fluxo de Gradiente)
Diferente dos métodos tradicionais que usam atualizações discretas (como o algoritmo EG de Helmbold), o Onflow modela a evolução dos parâmetros $H$ como uma Equação Diferencial Ordinária (ODE) contínua.

A função objetivo a ser minimizada (ou o negativo da recompensa a ser maximizada) inclui:

1. Recompensa Logarítmica: $F_t(H) = \ln(\langle S(H), f_t \rangle)$.
2. Custo de Transação: Um termo de penalidade baseado na mudança de alocação. O modelo considera taxas proporcionais $\xi$. Para evitar instabilidades numéricas causadas pela não suavidade da função valor absoluto $|x|$, o artigo utiliza uma regularização pseudo-Huber:
   $$G_t(H) = \xi \sum_{k} \left( \sqrt{(\pi(k) - \pi_{t+}(k))^2 + a^2} - a \right)$$
   onde $\pi_{t+}$ é a alocação "driftada" devido à evolução dos preços antes do rebalanceamento.

A atualização segue a ODE:
$$\frac{d}{du}H(u) = -\nabla_H (G_t(H) - F_t(H))$$
O novo estado $H_{t+1}$ é obtido resolvendo esta ODE por um intervalo de tempo $\tau$.

2.4. Vantagens da Abordagem Contínua

• Suavidade: A ODE fornece atualizações mais suaves e controláveis em comparação com saltos discretos, mitigando o "overshooting".
• Robustez a Custos: A inclusão do termo de custo na dinâmica do gradiente permite que o algoritmo reduza automaticamente a frequência de rebalanceamento quando as taxas são altas, evitando a erosão do capital.
• Estabilidade Numérica: O uso da perda pseudo-Huber garante diferenciabilidade em zero, melhorando a convergência.

3. Resultados Teóricos

O artigo estabelece resultados de convergência sob a hipótese de que os ativos seguem uma dinâmica log-normal e que os custos de transação são nulos ($\xi = 0$):

• Convergência para o Ótimo: Sob condições técnicas (matriz de covariância não singular), o algoritmo converge para a alocação ótima de Markowitz (o portfólio log-ótimo).
• Taxa de Convergência: A convergência é exponencial quando a alocação inicial está próxima do ótimo ou quando o ótimo está no interior do simplex (todos os ativos com peso positivo).
• Monotonicidade: A recompensa esperada aumenta monotonicamente ao longo do tempo.

4. Resultados Numéricos e Experimentais

Os testes foram realizados no conjunto de dados clássico "Old NYSE" (1965-1987, 36 ações) e em dados recentes de ativos de alta volatilidade (2020-2025).

4.1. Desempenho com Custos de Transação Baixos ($\xi = 0\%$)

• O Onflow apresenta desempenho comparável ou ligeiramente superior às estratégias de referência, como a "Universal Portfolio" de Cover (UP) e o algoritmo EG de Helmbold et al.
• Em pares de ações voláteis (ex: Iroquois vs. Kin Ark), o Onflow e o EG superam significativamente os ativos individuais e a UP, alcançando cerca de 70x o patrimônio inicial contra 40x da UP.

4.2. Desempenho com Custos de Transação Altos ($\xi = 2\%$)

• Este é o ponto forte do Onflow. Enquanto as estratégias UP e EG colapsam (desempenho inferior a "comprar e segurar" devido à alta rotação e custos), o Onflow mantém a eficiência.
• Redução de Turnover: O Onflow reduz drasticamente a taxa de rotação diária (turnover) de ~2% (padrão em outras estratégias) para ~0,5% ou menos, adaptando-se ao custo.
• Exemplos:
  • No par Commercial Metals vs. Kin Ark com 2% de taxa, o Onflow manteve ~50x o patrimônio inicial, enquanto EG e UP caíram para ~15x.
  • Em pares de baixa correlação ou alta volatilidade (ex: TSLA/NVDA, Criptomoedas BTC/ETH), o Onflow demonstrou capacidade de identificar períodos de desempenho superior e ajustar a alocação sem incorrer em custos excessivos.

4.3. Estatísticas de Sharpe e Multi-ativos

• Em testes com 10 ativos aleatórios, o Onflow obteve um Sharpe Ratio estatisticamente superior (p-value < $10^{-3}$) em comparação com EG, CRP uniforme e estratégias passivas ("Split and Forget").
• A análise de escalabilidade mostra que o tempo de resolução da ODE estabiliza para portfólios com mais de 10 ativos, indicando boa eficiência computacional.

5. Contribuições Principais e Significância

1. Abordagem Contínua para RL: Introduz o uso de fluxos de gradiente (ODEs) em vez de atualizações discretas para alocação de portfólio, oferecendo uma base teórica mais sólida e atualizações mais suaves.
2. Robustez a Custos de Transação: Resolve um problema crítico da literatura de portfólio online: a degradação de desempenho de algoritmos dinâmicos sob taxas de transação altas. O Onflow é capaz de operar eficientemente em regimes (até 2%) onde outras técnicas falham.
3. Independência de Modelo (Model-Free): Não assume distribuição de retornos (funciona bem mesmo com caudas pesadas/kurtosis alta), tornando-o robusto ao risco de modelo.
4. Aplicabilidade Prática: O algoritmo é computacionalmente eficiente e pode ser implementado com dados de preços observados, sem necessidade de previsões futuras ou modelos complexos de previsão.

Conclusão:
O Onflow representa um avanço significativo na gestão de portfólio online, combinando a flexibilidade do aprendizado por reforço com a estabilidade matemática dos fluxos de gradiente. Sua capacidade de equilibrar a exploração de oportunidades de retorno com a minimização de custos de transação o torna uma estratégia promissora para ambientes de mercado reais, especialmente aqueles com custos de negociação não desprezíveis.