Onflow: a model free, online portfolio allocation algorithm robust to transaction fees

L'article présente Onflow, un algorithme d'allocation de portefeuille sans modèle et en ligne basé sur l'apprentissage par renforcement et les flots de gradient, qui optimise les rendements logarithmiques tout en étant robuste aux coûts de transaction et aux risques de modèle.

L'essentiel

Imaginez que vous êtes le capitaine d'un navire (votre portefeuille d'investissements) naviguant sur un océan financier imprévisible. Votre but est d'arriver à destination avec le plus de trésors possible, sans jamais couler.

Le papier que nous allons explorer présente un nouveau capitaine virtuel nommé Onflow. Voici comment il fonctionne, expliqué simplement.

1. Le problème : La mer est pleine de pièges

Traditionnellement, pour naviguer, on utilise des cartes très précises (des modèles mathématiques complexes) qui prédisent où seront les courants et les tempêtes. Le problème ? Ces cartes sont souvent fausses. Si vous vous fiez à une carte erronée, vous pouvez vous échouer sur un récif.

De plus, chaque fois que vous changez de cap (vous vendez une action pour en acheter une autre), vous payez un "droit de passage" au port (les frais de transaction). Si vous changez de cap trop souvent, ces frais mangent tout votre trésor.

2. La solution : Onflow, le navigateur intuitif

Onflow est différent. Il ne regarde pas de cartes préétablies. Il ne suppose pas que le marché va se comporter d'une certaine manière (comme une courbe parfaite). Il est "sans modèle".

• L'analogie du surfeur : Imaginez un surfeur qui ne connaît pas la théorie des vagues. Il ne prédit pas la prochaine vague. Il regarde simplement la vague qui arrive maintenant, ajuste sa planche, et glisse. S'il sent que la vague change, il ajuste instantanément. Onflow fait pareil : il observe les prix en temps réel et ajuste son portefeuille à la minute.

3. Comment il ajuste sa planche ? (Le flux de gradient)

C'est ici que la magie opère. Onflow utilise une méthode appelée "flux de gradient".

• L'image du toboggan : Imaginez que votre portefeuille est une bille au sommet d'une colline. Le but est de descendre le plus vite possible vers la vallée (le profit maximal).
  • Les méthodes anciennes font des pas de géant : elles calculent, sautent, calculent, sautent. Parfois, elles sautent trop loin et tombent dans un trou (elles perdent de l'argent à cause des frais).
  • Onflow, lui, glisse comme sur un toboggan lisse. Il ne fait pas de sauts brusques. Il suit une trajectoire fluide et continue. Cela lui permet de faire des ajustements très doux, évitant de se faire "mordre" par les frais de transaction.

4. Le secret de la souplesse : Le "Softmax"

Pour décider combien d'argent mettre dans chaque action, Onflow utilise une astuce mathématique appelée "Softmax".

• L'analogie du chef d'orchestre : Imaginez un chef qui doit répartir l'attention entre plusieurs musiciens. Au lieu de dire "Joue fort !" ou "Tais-toi !", il ajuste le volume très progressivement. Si un musicien joue bien, le volume monte doucement. S'il joue mal, il baisse doucement.
• Grâce à cela, Onflow ne panique pas. Il ne vide pas tout son argent d'un coup pour le mettre sur une seule action. Il garde toujours un équilibre, ce qui le rend très robuste.

5. Le résultat : Pourquoi Onflow est-il si bon ?

Les auteurs ont testé ce navigateur sur de vraies données historiques (des actions américaines des années 60 à 80, et des crypto-monnaies récentes).

• Quand les frais sont nuls : Onflow arrive à faire aussi bien que les meilleurs experts du passé. Il trouve le chemin optimal.
• Quand les frais sont élevés (le vrai test) : C'est là qu'Onflow brille. La plupart des autres algorithmes, s'ils doivent payer 2% de frais à chaque changement, finissent par perdre tout leur argent car ils changent trop souvent de direction.
  • Onflow, lui, devient un "paresseux intelligent". Il ne bouge que si c'est vraiment nécessaire. Il résiste aux frais comme un rocher résiste à la houle. Dans les scénarios où les autres stratégies s'effondrent, Onflow continue de faire du profit.

En résumé

Onflow est un algorithme de gestion de portefeuille qui :

1. N'a pas de préjugés : Il ne croit pas aux cartes prédéfinies, il regarde la réalité.
2. Glisse au lieu de sauter : Il ajuste ses positions en douceur pour éviter de payer trop de frais.
3. Survit aux tempêtes : Il fonctionne même quand les frais de transaction sont très élevés, là où les autres méthodes échouent.

C'est comme avoir un navigateur qui sait exactement quand il faut ramer fort et quand il faut laisser le courant faire le travail, sans jamais gaspiller d'énergie inutilement.

Résumé technique

1. Problématique et Contexte

La gestion de portefeuille traditionnelle (théorie de Markowitz) repose sur des hypothèses statistiques fortes (moments d'ordre 1 et 2 connus) qui sont souvent incertaines en pratique. Les approches d'apprentissage en ligne (online learning) et d'apprentissage par renforcement (RL) ont émergé pour pallier ce manque de robustesse, notamment via des algorithmes comme le "Universal Portfolio" de Cover ou les mises à jour multiplicatives de Helmbold et al. (EG).

Cependant, un défi majeur persiste : les frais de transaction. La plupart des algorithmes dynamiques performants en l'absence de frais (comme EG) deviennent inefficaces, voire perdenturs, lorsque des frais de transaction significatifs (ex: 2 %) sont introduits, car ils génèrent un turnover (taux de rotation) trop élevé.

L'objectif de cet article est de proposer Onflow, un nouvel algorithme d'allocation de portefeuille :

• Sans modèle (Model-free) : Ne suppose aucune distribution spécifique des rendements.
• En ligne (Online) : S'adapte aux flux de données en temps réel sans rétrospection (no-hindsight).
• Robuste aux frais : Intègre intrinsèquement les coûts de transaction dans le mécanisme d'optimisation pour réduire le turnover tout en maximisant les rendements.

2. Méthodologie : L'algorithme Onflow

L'approche repose sur le cadre de l'apprentissage par renforcement et l'utilisation des flots de gradient (gradient flows) pour des mises à jour continues, plutôt que des mises à jour discrètes classiques.

A. Paramétrisation et Formalisme

• Espace d'état : Le portefeuille est défini par un vecteur de poids $\pi$ appartenant au simplexe unité $S_K$ (somme des poids = 1, pas de vente à découvert).
• Softmax : Pour garantir que les poids restent positifs et somment à 1, l'algorithme paramètre le portefeuille via une fonction Softmax d'un vecteur latent $H \in \mathbb{R}^K$ :
  $$\pi(k) = S(H)_k = \frac{e^{H_k}}{\sum_\ell e^{H_\ell}}$$
• Récompense : L'objectif est de maximiser le rendement logarithmique espéré $\mathbb{E}[\ln(\langle \pi, f \rangle)]$, où $f$ est le vecteur des prix relatifs.

B. Intégration des Frais de Transaction

Contrairement aux approches discrètes qui pénalisent les changements de poids a posteriori, Onflow intègre les frais directement dans la dynamique d'optimisation.

• Les frais sont modélisés comme proportionnels à la variation absolue des poids : $\xi \sum | \pi_{new} - \pi_{old} |$.
• Pour assurer la différentiabilité nécessaire aux flots de gradient, la fonction de coût absolue est régularisée par une fonction Pseudo-Huber : $\sqrt{x^2 + a^2} - a$.

C. Dynamique Continue (Flot de Gradient)

Au lieu d'une mise à jour discrète (comme dans l'algorithme EG), Onflow résout une Équation Différentielle Ordinaire (EDO) pour faire évoluer le vecteur latent $H$ dans le temps continu $u \in [0, \tau]$ :

$$\frac{d}{du}H(u) = -\nabla_H \mathcal{F}_t(H(u))$$

Où la fonction objectif $\mathcal{F}_t$ combine le gain logarithmique et le coût de transaction :
$$\mathcal{F}_t(H) = \underbrace{\xi \sum_k \text{PseudoHuber}(S(H)_k - \pi_{t+}^k)}_{\text{Coût de transaction}} - \underbrace{\ln(\langle S(H), f_t \rangle)}_{\text{Gain attendu}}$$

• $\pi_{t+}$ représente l'allocation "dérivée" par l'évolution des prix avant rebalancement.
• La résolution de cette EDO (via des méthodes numériques comme odeint de SciPy) produit une nouvelle allocation $\pi_{t+1}$ qui est un compromis optimal entre maximisation du rendement et minimisation des frais de transaction.

3. Résultats Théoriques

Les auteurs établissent des résultats de convergence pour un cas idéal (actifs log-normaux, temps continu, frais nuls) :

1. Convergence vers l'optimum : Sous l'hypothèse que la matrice de covariance est non singulière, l'algorithme converge vers l'allocation de portefeuille optimale de Markowitz (le portefeuille log-optimal).
2. Stabilité : La dynamique est prouvée stable. Si l'allocation initiale est proche de l'optimum, la convergence est exponentielle.
3. Robustesse aux hypothèses : Bien que la preuve théorique suppose une distribution log-normale, les auteurs notent que l'algorithme reste performant empiriquement sur des distributions à "queues lourdes" (kurtosis élevé), typiques des marchés réels.

4. Résultats Numériques et Expérimentaux

Les tests ont été réalisés sur le jeu de données "Old NYSE" (36 actions, 1965-1987) et sur des actifs modernes (Tech, Crypto) avec des frais de transaction de 0 % et 2 % (niveau élevé).

A. Comparaison avec les Benchmarks (UP, EG)

• Sans frais ($\xi=0$) : Onflow performe aussi bien que les algorithmes de référence (Universal Portfolio de Cover, EG de Helmbold), atteignant des rendements supérieurs aux stratégies d'achat-et-conserve.
• Avec frais élevés ($\xi=2\%$) : C'est ici que la robustesse d'Onflow brille.
  • Les stratégies EG et UP voient leurs performances s'effondrer (souvent inférieures à l'achat d'un actif individuel) en raison d'un turnover excessif.
  • Onflow maintient sa performance, surpassant significativement les autres méthodes. Il réduit drastiquement le turnover (ex: de ~2% quotidien pour EG à ~0.5% pour Onflow) tout en capturant les tendances de marché.

B. Cas d'étude spécifiques

• Paires d'actifs volatils (Iroquois/Kin Ark, Commercial Metals) : Onflow parvient à suivre les actifs performants tout en évitant les rebalancements inutiles coûteux.
• Actifs à forte volatilité (NVDA, TSLA, Crypto) : Sur des données récentes (2020-2025), Onflow démontre une capacité à basculer dynamiquement entre actifs (ex: de Tesla vers Nvidia) tout en maintenant un ratio de Sharpe compétitif et un turnover faible face à la stratégie EG.
• Portefeuilles multi-actifs : Sur des échantillons de 10 actifs, Onflow obtient un ratio de Sharpe statistiquement supérieur aux stratégies CRP uniforme, "Split and Forget" et EG (p-value < $10^{-3}$).

C. Efficacité Computationnelle

L'algorithme est scalable. Le temps de résolution de l'EDO se stabilise pour des portefeuilles de plus de 10 actifs, rendant la méthode applicable à des univers d'actifs plus larges.

5. Contributions Clés et Signification

1. Nouvelle approche par Flot de Gradient : L'utilisation d'une EDE continue pour l'optimisation de portefeuille, plutôt que des mises à jour discrètes, permet une gestion plus fine et plus stable des paramètres, évitant les oscillations brutales.
2. Robustesse aux Frais de Transaction : C'est la contribution principale. Onflow résout le problème classique où les stratégies dynamiques échouent sous des frais élevés. En intégrant le coût dans le gradient, l'algorithme "apprend" à ne pas rebalancer sauf si le gain attendu justifie le coût.
3. Indépendance du Modèle : L'algorithme ne nécessite aucune hypothèse sur la distribution des rendements, le rendant applicable à des marchés réels complexes (queues lourdes, non-gaussiens).
4. Praticité : L'implémentation est simple (résolution d'EDO standard) et ne nécessite pas de modèles prédictifs complexes (comme les réseaux de neurones LSTM), ce qui réduit le risque de surapprentissage (overfitting).

Conclusion :
Onflow représente une avancée significative dans la gestion de portefeuille algorithmique. Il offre une alternative robuste aux méthodes existantes, particulièrement dans des environnements de marché où les frais de transaction sont élevés ou où la volatilité rend les stratégies de rebalancement fréquentes trop coûteuses. Il combine la rigueur théorique de l'apprentissage par renforcement avec une efficacité pratique immédiate.