Onflow: a model free, online portfolio allocation algorithm robust to transaction fees

Onflow is een modelvrij, online algoritme voor portefeuilletoewijzing dat via gradiëntstromen en versterkt leren dynamisch de verwachte logaritmische rendementen maximaliseert terwijl het transactiekosten effectief verwerkt, waardoor het zelfs bij hoge kosten superieur presteert ten opzichte van bestaande methoden zonder aannames over rendementverdelingen.

De kern

Onflow: De Slimme Portefeuille die Zich Aangepast aan de Kosten

Stel je voor dat je een kapitein bent van een schip dat door een onvoorspelbare oceaan vaart. Je doel is om zo snel mogelijk naar de horizon te komen (rijkdom vergaren), maar je hebt twee grote problemen:

1. Je weet niet precies hoe het weer wordt (de markt is onvoorspelbaar).
2. Elke keer als je je koers een beetje aanpast, moet je betalen voor het draaien van het roer (transactiekosten).

De meeste oude methoden voor beleggen doen alsof ze een perfecte weersvoorspelling hebben. Ze zeggen: "Als we de statistieken van de afgelopen 100 jaar kennen, weten we precies hoe we moeten varen." Maar in de echte wereld werkt dat niet; het weer verandert, en die voorspellingen zijn vaak fout.

Wat is Onflow?
De auteurs van dit paper, Gabriel Turinici en Pierre Brugiere, hebben een nieuwe methode bedacht die ze Onflow noemen. In plaats van te proberen de toekomst te voorspellen, leert Onflow simpelweg door te kijken wat er nu gebeurt. Het is als een schipper die niet naar een kaart kijkt, maar continu naar de golven en de wind, en zijn roer heel soepel aanpast.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Zachte" Aanpassing (De Soepelheid)

Stel je voor dat je een bak met drie soorten fruit hebt: appels, peren en bananen. Je wilt ze in een bepaalde verhouding houden. Als de prijs van appels stijgt, heb je per ongeluk meer appels dan je wilt.

• De oude manier: Je gooit direct alle appels weg en koopt nieuwe peren. Dit kost veel geld (transactiekosten) en is onhandig.
• De Onflow-methode: Onflow gebruikt een wiskundige truc (een "softmax" functie) die zorgt dat je verhoudingen niet schokkerig veranderen, maar soepel. Het is alsof je het fruit heel langzaam en voorzichtig van de ene naar de andere kom schuift, in plaats van alles in één keer te gooien.

2. De Kosten van Draaien (Transactiekosten)

Dit is het belangrijkste stukje. In de echte wereld kost het geld om te kopen en verkopen.

• Als je te vaak je portefeuille aanpast, vreet de "roer-kost" (transactiekosten) je winst op.
• Onflow is slim genoeg om te weten: "Laten we niet draaien als het niet echt nodig is."
• De algoritme berekent continu: "Is het voordeel van het aanpassen groter dan de kosten van het draaien?" Als het antwoord nee is, blijft het stil. Als het ja is, draait het heel voorzichtig.

3. Waarom is dit beter dan de rest?

De auteurs hebben Onflow getest op oude beursdata (de "Old NYSE" dataset) en ook op moderne, wilde activa zoals crypto en tech-aandelen.

• Bij lage kosten: Onflow doet ongeveer even goed als de beste bekende methoden. Het is een sterke speler.
• Bij hoge kosten: Hier wordt het magisch. Als de kosten om te handelen hoog zijn (bijvoorbeeld 2% per keer), crashten de oude methoden. Ze draaiden te veel en betaalden te veel. Onflow bleef echter stabiel. Het draaide minder vaak, maar wel op de juiste momenten, en behield daardoor veel meer van zijn winst.

Een creatieve analogie: De danser
Stel je voor dat beleggen een dans is op een vloer die voortdurend beweegt.

• De Markowitz-methode (de oude klassieker) probeert een perfecte danspas te plannen op basis van een statische foto van de vloer. Als de vloer beweegt, struikelt hij.
• De EG-methode (een andere populaire methode) is een danser die heel snel en heftig reageert op elke beweging. Hij is snel, maar hij stuitert heen en weer en versleten zijn schoenen (hoge kosten) en valt vaak.
• Onflow is een danser die zweeft. Hij voelt de beweging van de vloer en past zijn gewicht soepel aan. Hij maakt geen grote sprongen, maar kleine, vloeiende bewegingen. Hierdoor verslijt hij zijn schoenen niet (lage kosten) en blijft hij net zo lang op de vloer als de muziek speelt, zelfs als de vloer heel onrustig wordt.

Conclusie voor de gewone mens

Onflow is een beleggingsstrategie die geen voorspellingen doet. Het vertrouwt niet op complexe modellen die zeggen "morgen gaat de markt omhoog". In plaats daarvan is het een leerend systeem dat:

1. Kijkt naar de prijzen van vandaag.
2. Zachtjes zijn portefeuille aanpast om meer winst te maken.
3. Zeer goed is in het vermijden van onnodige kosten.

Het is een veilige, robuuste manier om te beleggen, vooral in tijden waarin het handelen duur is of de markt erg onvoorspelbaar is. Het is als een auto die automatisch remt en stuurt om brandstof te besparen, in plaats van vol gas te geven en te hard te remmen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Onflow: a model free, online portfolio allocation algorithm robust to transaction fees" in het Nederlands.

Titel en Doel

Het artikel introduceert Onflow, een nieuwe online portfolio-allocation algoritme dat gebruikmaakt van reinforcement learning (RL) en gradiëntstromen (gradient flows). Het primaire doel is het dynamisch optimaliseren van portefeuilletoewijzingen om de verwachte logaritmische rendementen te maximaliseren, terwijl rekening wordt gehouden met transactiekosten, zonder aannames te doen over de statistische verdeling van asset-returns.

Het Probleem

Traditionele portfolio-theorieën, zoals die van Markowitz, vereisen kennis van de eerste en tweede momenten (verwachting en variantie) van toekomstige returns, wat in de praktijk vaak onzeker is. Bestaande online leermethoden (zoals Cover's Universal Portfolio of Helmbold et al.'s EG-algoritme) zijn robuust, maar hebben moeite met hoge transactiekosten.

• De uitdaging: Transactiekosten kunnen de winst van dynamische rebalancing-strategieën volledig tenietdoen. Bestaande discrete updates (zoals multiplicatieve updates) zijn vaak niet optimaal in het balanceren van rendement versus transactiekosten, vooral bij hoge kostenpercentages (bijv. 2%).
• De behoefte: Een "model-vrije" aanpak die direct leert van gestreamde data, geen aannames doet over de onderliggende verdeling (zoals log-normaal), en intrinsiek rekening houdt met transactiekosten.

Methodologie: Het Onflow Algoritme

Onflow benadert het probleem als een continu optimalisatieproces in plaats van een reeks discrete stappen.

1. Parametrisatie via Softmax:
   De portefeuillegewichten $\pi$ worden niet direct geüpdatet, maar via een vector $H$ die wordt getransformeerd naar het eenheidssimplex $S_K$ via de softmax-functie:
   $$\pi(k) = \frac{e^{H_k}}{\sum_\ell e^{H_\ell}}$$
   Dit zorgt ervoor dat de gewichten altijd positief zijn en op 1 sommeren (geen short-selling, tenzij expliciet aangepast).

2. Gradiëntstroom (Gradient Flow) i.p.v. Discrete Updates:
   In plaats van een discrete update (zoals bij het EG-algoritme), wordt de evolutie van $H$ beschreven door een gewone differentiaalvergelijking (ODE):
   $$\frac{d}{du}H(u) = -\nabla_H \mathcal{F}_t(H)$$
   Hierbij is $\mathcal{F}_t(H)$ een kostenfunctie die bestaat uit twee delen:

   • Rendementscomponent: De logaritme van het gewogen gemiddelde van de prijsrelaties (maximaliseren van $\ln(\langle \pi, f \rangle)$).
   • Transactiekostencomponent: Een term die de kosten van het verschuiven van de portefeuille van de huidige toestand naar de nieuwe toestand straft.

3. Modellering van Transactiekosten:
   De kosten worden gemodelleerd als een proportioneel percentage $\xi$ van het verhandelde volume. Om numerieke stabiliteit te garanderen en differentieerbaarheid te behouden (nodig voor gradiëntmethoden), wordt de niet-gladde absolute waarde-functie $|x|$ vervangen door een pseudo-Huber loss:
   $$\sqrt{x^2 + a^2} - a$$
   Dit zorgt voor een gladde overgang en voorkomt numerieke instabiliteiten bij kleine wijzigingen.

4. Implementatie:
   Voor elke tijdstap $t$ wordt de ODE opgelost over een tijdsinterval $\tau$ (een hyperparameter) om de nieuwe toestand $H_{t+1}$ te vinden, waarna de nieuwe toewijzing $\pi_{t+1}$ wordt berekend via softmax.

Theoretische Resultaten

De auteurs bewijzen convergentie-eigenschappen onder specifieke aannames:

• Log-normale Assets: In een continu tijdskader met log-normale asset-dynamiek en zonder transactiekosten ($\xi=0$), convergeert het algoritme naar de Markowitz-optimale portefeuille.
• Convergentie: Het algoritme convergeert exponentieel naar de optimale toewijzing $\pi^*$, mits de covariance-matrix niet-singulier is en de startwaarde dicht genoeg bij het optimum ligt (of het optimum in het inwendige van het simplex ligt).
• Robuustheid: Hoewel de theorie log-normale distributies veronderstelt, suggereren de empirische resultaten dat het algoritme ook werkt bij distributies met zware staarten (hoge kurtosis).

Empirische Resultaten

De prestaties van Onflow zijn getest op de "Old NYSE" dataset (36 aandelen, 1965-1987) en recente data (2020-2025) voor crypto en tech-aandelen.

1. Vergelijking met Benchmarks:

   • Bij 0% transactiekosten: Onflow presteert vergelijkbaar met of iets beter dan Cover's Universal Portfolio (UP) en het EG-algoritme van Helmbold et al.
   • Bij hoge transactiekosten (2%): Dit is het belangrijkste onderscheid. Terwijl de prestaties van UP en EG sterk dalen (vaak onder de prestaties van een "buy-and-hold" strategie), blijft Onflow robuust en presteert het aanzienlijk beter.
   • Reden: Onflow reduceert de omloopsnelheid (turnover) drastisch. Bij 2% kosten daalt de dagelijkse turnover van Onflow naar 0,5%, terwijl UP en EG hoog blijven (2%), wat leidt tot enorme kosten.

2. Case Studies:

   • Iroquois vs. Kin Ark: Onflow behaalt ~70x het startkapitaal bij 0% kosten en blijft winstgevend bij 2% kosten, terwijl andere strategieën faalbaar worden.
   • High Volatility (Tesla/Nvidia, Crypto): Onflow slaagt erin om perioden van sterke prestaties te identificeren en de toewijzing dynamisch aan te passen, zelfs in zeer volatiele markten.
   • Meerdere Assets: In tests met 10 willekeurige assets (1000 steekproeven) had Onflow een statistisch significant hogere Sharpe-ratio dan EG, Uniform CRP en "Split and Forget".

3. Efficiëntie:
   Het algoritme schaalt goed; de rekentijd stabiliseert bij portefeuilles met meer dan 10 assets, wat maakt dat het geschikt is voor grotere portefeuilles.

Belangrijkste Bijdragen

1. Modelvrije aanpak: Geen aannames over de verdeling van returns; het leert puur uit de data.
2. Integratie van Transactiekosten: Door het gebruik van gradiëntstromen en een gladde kostenfunctie (pseudo-Huber) worden transactiekosten intrinsiek en continu geoptimaliseerd, in plaats van als een narekening.
3. Robuustheid bij Hoge Kosten: Onflow is de eerste methode die consistent presteert bij transactiekosten van 2%, een niveau waar de meeste bestaande dynamische strategieën instorten.
4. Theoretische Onderbouwing: Het biedt een convergentiebewijs naar de Markowitz-optimale portefeuille in een log-normale setting.

Significantie en Toekomstperspectief

Onflow biedt een praktische, theoretisch onderbouwde oplossing voor real-world trading waar transactiekosten een grote rol spelen. Het overbrugt de kloof tussen pure theorie (die vaak kosten negeert) en praktische toepassing.

• Beperkingen: De huidige versie staat geen short-selling toe (hoewel dit technisch eenvoudig te implementeren is) en de keuze van de parameter $\tau$ is momenteel nog empirisch.
• Toekomst: Verdere onderzoek richt zich op het testen van short-posities, vergelijking met deep learning modellen (zoals LSTM) en toepassing op andere markten.

Kortom, Onflow is een veelbelovende strategie die de balans vindt tussen rendement en transactiekosten door gebruik te maken van continue optimalisatietechnieken uit het reinforcement learning domein.