A Reinforcement Learning Supervisor with Dynamic Performance-Metric Weighting for Cryptocurrency Portfolio Management

Investire nei mercati finanziari è un gioco di costante adattamento. Le regole del gioco cambiano man mano che l'economia passa da un periodo di crescita in pieno boom a una deriva lenta e laterale, o a un declino improvviso e netto. In questi ambienti, una singola strategia che funziona perfettamente durante un boom spesso fallisce miseramente quando il mercato cambia rotta. Questa è la sfida centrale della gestione di portafoglio: decidere come ripartire il denaro tra diversi asset quando il futuro è incerto e il passato non è una mappa affidabile. Per decenni, gli investitori si sono affidati a formule matematiche per bilanciare rischio e rendimento, ma questi modelli statici spesso faticano quando le condizioni di mercato cambiano rapidamente. Più recentemente, gli scienziati informatici si sono rivolti a un tipo di intelligenza artificiale chiamata apprendimento per rinforzo (reinforcement learning). Invece di essere istruiti con regole specifiche, questi programmi informatici imparano attraverso tentativi ed errori, interagendo con un mercato simulato per scoprire quali azioni portano ai migliori risultati a lungo termine. Sebbene questi programmi possano imparare a fare trading, spesso rimangono bloccati in un unico modo di pensare, incapaci di cambiare rotta quando il regime di mercato muta.

Un team di ricercatori della Korea National University of Transportation ha proposto un nuovo modo per risolvere questo problema. Invece di cercare di costruire un singolo robot di trading perfetto, hanno creato un sistema che agisce come un supervisore, gestendo un team di cinque diversi robot di trading, ognuno addestrato con un metodo di apprendimento leggermente diverso. Il supervisore non esegue le operazioni di trading in sé. Inve แทน, osserva come ogni robot ha performato di recente e decide quale debba essere al comando in ogni momento. I ricercatori hanno testato questo sistema utilizzando dati reali ad alta frequenza dal mercato delle criptovalute, un luogo noto per la sua estrema volatilità e i rapidi cambiamenti. Hanno scoperto che questo sistema di supervisione ha costantemente superato qualsiasi singolo robot, così come le strategie di investimento tradizionali, passando dinamicamente all'agente più adatto alle attuali condizioni di mercato.

I ricercatori hanno iniziato costruendo un team di cinque agenti distinti. Ogni agente è un programma informatico progettato per prendere decisioni di investimento, ma sono stati addestrati utilizzando approcci matematici differenti. Sebbene tutti gli agenti siano stati addestrati nello stesso ambiente di portafoglio con la stessa funzione di ricompensa, i loro distinti meccanismi di apprendimento hanno fatto sì che ogni agente sviluppasse una personalità unica. Uno potrebbe essere molto aggressivo, inseguendo alti profitti ma correndo grandi rischi, mentre un altro potrebbe essere più cauto, dando priorità alla stabilità rispetto ai guadagni rapidi. In un mercato stabile, l'agente aggressivo potrebbe eccellere. In un mercato turbolento, quello cauto potrebbe essere l'unico a sopravvivere. Il problema è che nessun singolo agente è il migliore in tutto, in ogni momento. Se un investitore sceglie un solo agente e si attiene ad esso, è probabile che ne soffra quando il mercato cambia in un modo che l'agente non gradisce.

Per risolvere questo, i ricercatori hanno introdotto un agente supervisore. Questo supervisore non conosce il codice interno dei cinque agenti che sta gestendo. Invece, agisce come un allenatore che osserva una partita, guardando solo il tabellone dei punteggi. Monitora sette diverse metriche di performance per ogni agente, come quanto profitto hanno generato, quanto rischio hanno corso per ottenere quel profitto e la proporzione di periodi con rendimenti positivi. Osserva questi numeri su diversi intervalli temporali, dalle ultime ore agli ultimi giorni. Il compito del supervisore è capire quale di queste metriche sia più importante in questo momento. In un mercato calmo, il supervisore potrebbe decidere che i profitti costanti e regolari siano il segnale più importante di un buon agente. In un mercato caotico, potrebbe decidere che evitare grandi perdite sia l'unica cosa che conta.

Il supervisore apprende questo sistema di ponderazione attraverso il proprio processo di addestramento. Osserva il mercato e le storie recenti degli agenti, poi impara ad assegnare punteggi di importanza alle diverse metriche di performance. Non si limita a scegliere l'agente con il profitto recente più alto. Invece, calcola un punteggio per ogni agente combinando i loro dati di performance con i pesi di importanza che il supervisore ha appreso per quel momento specifico. L'agente con il punteggio totale più alto viene selezionato per gestire il portafoglio per il periodo di trading successivo. Questo crea un sistema che rivaluta costantemente le proprie scelte, spostando la fiducia da un agente all'altro man mano che l'ambiente di mercato cambia.

I ricercatori hanno testato questo sistema utilizzando dati di prezzo a trenta minuti dell'exchange di criptovalute Binance, coprendo un periodo dal 1° gennaio 2021 al 31 dicembre 2025. Hanno impostato due scenari differenti: uno con quattro criptovalute popolari e un altro con cinque, aggiungendo un quinto asset per vedere se il sistema potesse gestire un gruppo di investimenti leggermente più ampio. Hanno confrontato il loro sistema di supervisione con i cinque agenti individuali, una semplice strategia di acquisto e mantenimento (buy and hold) di tutti gli asset in parti uguali, e diverse formule di investimento tradizionali. I risultati sono stati chiari. Il sistema di supervisione ha generato valori di portafoglio finali significativamente più alti di qualsiasi singolo agente o delle strategie tradizionali. Nello scenario a quattro asset, il supervisore ha fatto crescere il valore del portafoglio di 2,349 volte l'importo iniziale, mentre il miglior agente individuale è arrivato solo a 1,652. Nello scenario a cinque asset, il supervisore ha raggiunto 3,044 volte il valore iniziale, rispetto a 2,554 del miglior agente individuale.

Fondamentalmente, questa crescita extra non è avvenuta a scapito di un rischio maggiore. Il sistema di supervisione ha anche registrato perdite massime (drawdown) minori rispetto agli agenti individuali. Ciò suggerisce che il sistema non stava solo facendo scommesse più grandi per ottenere rendimenti più elevati; stava effettivamente gestendo meglio il rischio, sapendo quando passare a un agente più sicuro. I ricercatori hanno anche confrontato il loro sistema con una versione più semplice che utilizzava una singola regola fissa per cambiare agente, come scegliere sempre l'agente con il profitto recente più alto. Il sistema di supervisione ha superato di gran lunga queste strategie a regola singola. Ciò ha dimostrato che il successo del sistema derivava dalla sua capacità di pesare molteplici fattori simultaneamente, piuttosto che affidarsi a un criterio singolo e rigido.

Per capire esattamente cosa avesse fatto funzionare il sistema, i ricercatori hanno condotto una serie di test in cui hanno rimosso parti del sistema per vedere cosa accadeva. Hanno scoperto che il sistema aveva bisogno di tutte le sette metriche di performance e di tutte e quattro le finestre temporali per funzionare al meglio. Rimuovere le metriche relative al profitto ha danneggiato la capacità del sistema di accumulare ricchezza, mentre rimuovere le metriche relative al rischio ha danneggiato la sua capacità di proteggersi dalle perdite. Allo stesso modo, il sistema aveva bisogno di osservare sia la storia a breve che quella a lungo termine. Nel test a quattro asset, la storia a lungo termine era la più importante, mentre nel test a cinque asset, la storia a breve termine era quella più rilevante. Questa variazione ha dimostrato che il sistema non stava usando una regola fissa, ma stava genuinamente adattandosi alle esigenze specifiche dell'attuale portafoglio e delle condizioni di mercato.

Lo studio conclude che gestire un portafoglio non significa solo trovare il singolo algoritmo di trading migliore. Significa creare una struttura capace di scegliere lo strumento giusto per il compito, man mano che il compito cambia. Utilizzando un supervisore per pesare dinamicamente i diversi segnali di performance, il sistema può navigare la natura imprevedibile dei mercati delle criptovalute in modo più efficace rispetto a qualsiasi singolo agente o strategia statica. I ricercatori osservano che il loro sistema attuale utilizza un set specifico di cinque agenti e un set specifico di dati di mercato. Il lavoro futuro potrebbe espandere questo approccio includendo agenti con diversi profili di rischio o testando il sistema su altri tipi di asset. Tuttavia, il nucleo della scoperta rimane solido: un approccio gerarchico che impara a selezionare le policy basandosi su una visione flessibile e multifattoriale della performance offre un modo potente per gestire l'incertezza dei mercati finanziari.