Onflow: a model free, online portfolio allocation algorithm robust to transaction fees

Il paper introduce Onflow, un algoritmo di allocazione di portafoglio basato sul reinforcement learning e sui gradienti flow che, non richiedendo assunzioni sulla distribuzione dei rendimenti, ottimizza i log-rendimenti attesi e dimostra una superiorità rispetto alle tecniche esistenti in scenari con elevati costi di transazione.

L'essenziale

Ecco una spiegazione del paper "Onflow" immaginata come una guida per il viaggiatore moderno, usando metafore semplici e quotidiane.

🌊 Onflow: Il Navigatore Intelligente per il tuo Portafoglio

Immagina di dover gestire un giardino (il tuo portafoglio di investimenti) pieno di diverse piante (azioni, criptovalute, ecc.). Il tuo obiettivo è far crescere il giardino il più possibile. Il problema? Il clima cambia ogni giorno (i prezzi delle azioni salgono e scendono) e ogni volta che sposti una pianta da un vaso all'altro, perdi un po' di terra e radici (le commissioni di transazione).

La maggior parte dei metodi tradizionali cerca di prevedere il clima futuro basandosi su modelli matematici complessi. Se il modello sbaglia, il giardino soffre. Onflow, invece, è un approccio diverso: è come avere un giardiniere robotico che non indovina il futuro, ma reagisce perfettamente al presente.

Ecco come funziona, passo dopo passo:

1. Non serve una sfera di cristallo (Model-Free)

La maggior parte degli investitori cerca di indovinare quale pianta crescerà di più domani. Onflow dice: "Non importa cosa succederà. Guarda solo cosa è successo oggi e aggiusta le tue piante di conseguenza".
Non fa ipotesi su come si comportano le azioni in futuro. Impara direttamente dai prezzi che vede, giorno per giorno. È come un surfista: non deve sapere come sarà l'onda tra un'ora, deve solo bilanciare la tavola in base all'onda che sta cavalcando ora.

2. La regola del "Flusso Continuo" (Gradient Flow)

Molti algoritmi vecchi funzionano a scatti: guardano i dati, fanno un calcolo, spostano tutto di colpo, poi aspettano il giorno dopo. È come guidare un'auto facendo sterzate brusche: si consuma più benzina (commissioni) e si rischia di uscire di strada.

Onflow usa un concetto chiamato "flusso gradiente". Immagina di dover spostare l'acqua da un secchio all'altro. Invece di rovesciare il secchio tutto insieme (che crea disordine e sprechi), Onflow versa l'acqua lentamente e continuamente, come un rubinetto che si apre e si chiude con precisione millimetrica.

• Il vantaggio: Questo movimento fluido permette di ottimizzare il portafoglio senza fare movimenti bruschi che costerebbero troppo in commissioni.

3. Il nemico invisibile: Le Commissioni (Transaction Fees)

Qui sta la vera magia del paper. Quando vendi un'azione per comprarne un'altra, la banca ti chiede una tassa. Se muovi troppo spesso i soldi, le tasse mangiano tutti i tuoi guadagni.

• Gli altri algoritmi: Quando le tasse sono alte (es. 2%), smettono di funzionare. Si bloccano o fanno movimenti così costosi che il portafoglio perde valore.
• Onflow: È come un pilota esperto in una tempesta. Quando le condizioni sono difficili (tasse alte), Onflow sa esattamente quanto spostarsi. Se spostare una pianta costa troppo, Onflow decide di non spostarla affatto, o di spostarla solo di un millimetro.
  • Risultato: Mentre gli altri algoritmi falliscono con tasse alte, Onflow continua a guadagnare, perché sa quando è il momento di stare fermi e quando è il momento di agire.

4. La "Mappa" Softmax

Per decidere quanto spazio dare a ogni pianta, Onflow usa una funzione matematica chiamata Softmax.
Immagina di avere una torta. Softmax è un modo intelligente per tagliare la torta in fette. Se una pianta sta andando bene, Onflow le dà una fetta leggermente più grande. Se sta male, ne riduce la fetta. Ma lo fa in modo che la somma delle fette sia sempre una torta intera (100% del tuo capitale). Non permette di scommettere su cose che non hai (niente "vendita allo scoperto", cioè non puoi vendere ciò che non possiedi).

🧪 Cosa hanno scoperto i ricercatori?

I creatori di Onflow (Gabriel Turinici e Pierre Brugiere) hanno fatto dei test su dati reali, usando azioni storiche degli anni '60 e '70 (il "vecchio NYSE") e anche azioni moderne molto volatili come Tesla e Nvidia, o criptovalute.

Ecco cosa è successo:

1. Senza tasse: Onflow funziona benissimo, quasi quanto i migliori metodi esistenti.
2. Con tasse alte (2%): Qui è dove Onflow brilla. Gli altri metodi crollano, perdendo quasi tutto il guadagno. Onflow, invece, resiste. Riduce i suoi movimenti per pagare meno tasse, mantenendo il portafoglio in salute.
3. Stabilità: Anche quando il mercato è caotico (come con le criptovalute), Onflow riesce a trovare un equilibrio, spostando i soldi solo quando ne vale davvero la pena.

💡 In sintesi: Perché dovresti preoccupartene?

Pensa a Onflow come a un sistema di navigazione GPS che non si blocca mai.

• Se la strada è libera, accelera per guadagnare tempo.
• Se c'è traffico o pedaggi costosi (le commissioni), rallenta e sceglie la strada più economica invece di fermarsi o di fare manovre rischiose.

È un metodo che non ha bisogno di teorie complicate sul futuro, ma si affida alla realtà dei fatti di oggi, adattandosi in modo fluido e intelligente. È una soluzione pratica per chi vuole investire senza farsi "mangiare" dalle commissioni bancarie, specialmente in mercati turbolenti.

La morale della favola: Non serve essere dei geni per prevedere il futuro; serve solo un algoritmo che sappia muoversi con grazia nel presente, risparmiando energia (soldi) quando serve.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Onflow: a model free, online portfolio allocation algorithm robust to transaction fees" in italiano.

1. Il Problema

La gestione del portafoglio finanziario tradizionale (es. modello di Markowitz) richiede stime precise dei momenti statistici (media e varianza) dei rendimenti futuri, informazioni spesso incerte o soggette a errori di stima ("model risk"). Le strategie di apprendimento online (online learning) e reinforcement learning (RL) cercano di ovviare a questo problema adattandosi dinamicamente ai dati man mano che arrivano, senza assumere una distribuzione specifica dei rendimenti.

Tuttavia, un limite critico per molte strategie di allocazione dinamica è la robustezza ai costi di transazione. Strategie che operano frequenti ribilanciamenti (come il "Universal Portfolio" di Cover o gli aggiornamenti moltiplicativi di Helmbold et al.) tendono a degradare drasticamente le performance quando i costi di transazione sono elevati, poiché i costi erodono i profitti generati dai continui aggiustamenti. L'obiettivo è sviluppare un algoritmo che sia:

• Model-free: Non assuma distribuzioni di rendimenti (es. log-normali).
• Robusto ai costi: Mantenga l'efficienza anche con costi di transazione significativi (fino al 2%).
• Continuo: Utilizzi un approccio di flusso continuo invece di aggiornamenti discreti.

2. Metodologia: L'Algoritmo Onflow

Gli autori propongono Onflow, un metodo di apprendimento per rinforzo basato sui flussi gradiente (gradient flows).

Concetti Chiave:

• Parametrizzazione Softmax: L'allocazione del portafoglio $\pi$ (un vettore di pesi che somma a 1) è parametrizzata tramite una funzione softmax $S(H)$ applicata a un vettore di variabili latenti $H \in \mathbb{R}^K$. Questo garantisce che i pesi siano sempre positivi e sommino a 1, evitando vendite allo scoperto (a meno di modifiche specifiche).
• Flusso Gradiente Continuo: A differenza degli algoritmi classici che aggiornano i pesi in modo discreto (es. $H_{t+1} = H_t + \text{gradiente}$), Onflow modella l'evoluzione dei parametri come una Equazione Differenziale Ordinaria (ODE).
  • L'obiettivo è massimizzare il rendimento logaritmico atteso $E[\ln(\langle \pi, f \rangle)]$ minimizzando al contempo i costi di transazione.
  • La funzione obiettivo da minimizzare è $F_t(H) = G_t(H) - F_t(H)$, dove $F_t$ è il log-rendimento e $G_t$ è una penalità per i costi di transazione.
• Modellazione dei Costi di Transazione:
  • I costi sono modellati come una percentuale proporzionale al volume scambiato.
  • Per rendere la funzione differenziabile e stabile numericamente, gli autori sostituiscono il termine di costo assoluto (non liscio) $|\cdot|$ con una funzione "pseudo-Huber" (una regolarizzazione liscia che si comporta quadraticamente vicino a zero e linearmente per grandi valori).
• L'Equazione ODE: L'algoritmo risolve un'ODE per trovare il nuovo stato $H_{t+1}$ partendo da $H_t$:
  $$\frac{d}{du}H(u) = -\nabla_H F_t(H(u))$$
  dove il gradiente include sia la spinta verso rendimenti più alti sia la forza di attrito verso l'allocazione corrente (per ridurre i costi di transazione).

Implementazione:

L'algoritmo legge i prezzi relativi $f_t$, calcola l'allocazione "driftata" dovuta all'evoluzione dei prezzi, e risolve l'ODE per trovare la nuova allocazione ottimale $\pi_{t+1}$ prima di applicare i costi di transazione.

3. Risultati Teorici

Gli autori dimostrano la convergenza dell'algoritmo in un caso ideale:

• Ipotesi: Asset con dinamica log-normale, costi di transazione nulli ($\xi=0$) e gradienti "veri" (non stocastici).
• Convergenza: Sotto queste ipotesi, l'algoritmo Onflow converge esponenzialmente verso il portafoglio ottimale di Markowitz (il portafoglio che massimizza il rendimento logaritmico atteso).
• Stabilità: Il sistema dinamico è stabile e l'allocazione converge al punto critico stabile unico, a meno che non si verifichino condizioni di frontiera estreme.

4. Risultati Sperimentali

L'algoritmo è stato testato sul dataset storico "Old NYSE" (36 azioni dal 1965 al 1987) e su dati recenti (2020-2025) per azioni tech e criptovalute.

Confronto con Benchmark:

• Costi Zero ($\xi=0$): Onflow performa in modo comparabile o leggermente superiore a strategie consolidate come il Universal Portfolio (Cover) e l'algoritmo EG (Helmbold et al.), replicando l'efficienza del portafoglio ottimale.
• Costi Elevati ($\xi=2\%$): Questo è il risultato più significativo.
  • Le strategie tradizionali (UP, EG) crollano, performando peggio di una strategia "buy-and-hold" semplice a causa dell'eccessivo turnover (ribilanciamento frequente).
  • Onflow mantiene l'efficienza: Riduce drasticamente il turnover (da ~2% giornaliero a ~0.5% o meno) adattando la velocità di aggiornamento tramite il parametro $\tau$. Di conseguenza, Onflow supera nettamente i benchmark e le strategie passive anche in scenari con costi di transazione molto alti.

Casi di Studio Specifici:

• Asset Volatili e Non Correlati: Onflow riesce a catturare i rendimenti composti meglio degli altri.
• Asset con Trend Forte: Onflow tende a "agganciare" l'asset performante e a mantenerlo, riducendo i costi di ribilanciamento inutile.
• Mercati ad Alta Volatilità (Crypto/Tech): Anche in mercati recenti e volatili (BTC, ETH, NVDA, TSLA), Onflow mostra un rapporto di Sharpe competitivo e una gestione del rischio superiore rispetto all'algoritmo EG quando i costi sono presenti.
• Scalabilità: L'analisi computazionale mostra che il tempo di esecuzione si stabilizza per portafogli con più di 10 asset, rendendo l'algoritmo scalabile.

5. Contributi Chiave e Significato

1. Approccio Model-Free Robusto: Onflow non richiede assunzioni sulla distribuzione dei rendimenti, rendendolo resistente al "model risk".
2. Gestione Intrinseca dei Costi: L'uso del flusso gradiente continuo e della regolarizzazione pseudo-Huber permette di incorporare i costi di transazione direttamente nella dinamica di ottimizzazione, evitando i picchi di turnover che distruggono il valore nelle strategie discrete.
3. Superiorità in Regimi di Costi Elevati: Dimostra empiricamente che è possibile mantenere strategie di allocazione dinamica attive anche con costi di transazione del 2%, un regime in cui la maggior parte delle strategie esistenti fallisce.
4. Fondamento Teorico: Fornisce una prova di convergenza verso l'ottimo di Markowitz in un contesto continuo, collegando l'apprendimento per rinforzo alla teoria dei flussi gradiente.

Conclusione

Onflow rappresenta un avanzamento significativo nella gestione di portafogli online. La sua capacità di bilanciare l'esplorazione dei rendimenti con l'exploitation dei costi di transazione attraverso un meccanismo di flusso continuo lo rende una soluzione pratica e robusta per la realtà dei mercati finanziari, dove i costi di transazione sono una realtà ineludibile.