Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

Il mondo del trading azionario è da tempo un regno in cui l'intuizione umana combatte contro mercati caotici e mutevoli. Per decenni, i trader si sono affidati ad algoritmi per setacciare montagne di dati, sperando di trovare schemi che prevedano se un prezzo salirà o scenderà. Negli ultimi anni, un potente tipo di intelligenza artificiale noto come apprendimento per rinforzo (reinforcement learning) è emerso come uno strumento principale per questo compito. Immaginate un agente digitale che impara a fare trading non venendo istruito sulla risposta corretta, ma provando azioni, commettendo errori e imparando lentamente dai profitti e dalle perdite che sperimenta. Questo approccio è promettente perché può adattarsi alle condizioni mutevoli, a differenza dei metodi più vecchi che presuppongono che il mercato si comporti oggi nello stesso modo in cui si è comportato ieri. Tuttavia, insegnare a questi agenti a essere sia redditizi che stabili è incredibilmente difficile. Il mercato finanziario è rumoroso e imprevedibile, e spesso fornisce all'agente pochissimo feedback sul fatto che una specifica decisione sia stata buona o cattiva fino a molto tempo dopo. Senza una guida chiara, l'agente può faticare a imparare, diventando erratico o fallendo nel generalizzare le proprie abilità a nuove condizioni di mercato.

Per aiutare questi agenti a imparare più velocemente e in modo più affidabile, i ricercatori spesso forniscono loro compiti extra, più piccoli, da risolvere insieme all'obiettivo principale di guadagnare denaro. Questi sono chiamati compiti ausiliari. Tradizionalmente, gli esperti devono progettare manualmente questi compiti extra, ipotizzando cosa potrebbe aiutare l'agente a comprendere meglio il mercato, come prevedere la prossima variazione di prezzo o stimare quanto il mercato potrebbe essere volatile. Ma il problema di questo approccio manuale è che il mercato cambia costantemente. Un compito che funziona bene durante un periodo di calma potrebbe essere inutile o addirittura dannoso durante uno turbolento. Se i compiti di supporto sono scolpiti nella pietra, non possono adattarsi al paesaggio mutevole del mercato azionario, lasciando l'agente di trading con informazioni obsolete o irrilevanti.

Un team di ricercatori dell'Indian Institute of Technology Mandi ha sviluppato un nuovo modo per risolvere questo problema. Invece di chiedere a un essere umano di indovinare quali compiti extra potrebbero aiutare, hanno creato un sistema che scopre questi compiti automaticamente. Chiamano il loro nuovo framework QUESTrader. L'idea centrale è lasciare che l'intelligenza artificiale capisca da sola ciò di cui ha bisogno per imparare. Il sistema utilizza un design a doppia rete. Una rete, il trader principale, impara come comprare e vendere azioni per massimizzare il profitto. La seconda rete funge da generatore di domande. Propone costantemente nuove e semplici domande al trader principale da rispondere, come "cosa farà il prezzo nei prossimi giorni?" o "quanto si muoverà il mercato?", basandosi sui dati di chiusura giornaliera dei prezzi e sugli indicatori tecnici utilizzati nello studio. Queste domande non sono fisse; vengono generate dinamicamente in base a ciò che il sistema sta attualmente sperimentando. Il sistema addestra quindi il trader principale a rispondere a queste domande mentre opera.

La genialità di questo approccio risiede nel modo in cui il sistema decide quali domande valga la pena porre. I ricercatori utilizzano un sofisticato meccanismo di apprendimento che osserva i risultati a lungo termine. Si chiede: "Rispondere a questa specifica domanda ha aiutato il trader a prendere decisioni migliori in seguito?". Se una domanda porta a una migliore performance di trading, il sistema regola i suoi parametri per continuare a porla. Se una domanda si rivela una distrazione, il sistema perfeziona i suoi parametri per smettere di generarla. Questo processo assicura che i compiti ausiliari siano sempre rilevanti rispetto alle attuali condizioni di mercato. I ricercatori hanno testato questo metodo su quattro grandi mercati azionari mondiali: il Dow Jones Industrial Average negli Stati Uniti, il FTSE 100 nel Regno Unito, il Sensex in India e il TAIEX a Taiwan. Hanno confrontato il loro nuovo sistema con una vasta gamma di strategie esistenti, inclusi i metodi di investimento tradizionali, i modelli standard di intelligenza artificiale e altri sistemi che utilizzano compiti di supporto progettati manualmente.

I risultati sono stati sorprendenti. In tutti e quattro i mercati, il sistema QUESTrader ha costantemente superato gli altri metodi. Nel mercato statunitense, ha ottenuto un rendimento annuo del 21,785 percento, significativamente superiore al secondo miglior metodo, che ha gestito il 18,176 percento. Più importante ancora, il sistema non stava solo guadagnando più denaro; lo stava facendo con maggiore stabilità. Ha ottenuto i punteggi corretti per il rischio più elevati, il che significa che generava più profitto per ogni unità di rischio assunto. Quando il mercato scendeva, l'agente QUESTrader perdeva meno denaro dei suoi concorrenti. Nel mercato indiano, ad esempio, ha mantenuto una perdita massima del 10,584 percento, che era molto inferiore al 17,783 percento di perdita registrato da altri modelli avanzati. Il sistema si è dimostrato efficace anche nell'altamente volatile mercato taiwanese, dove ha deliverato un rendimento annuo del 30,279 percento, superando di gran lunga tutti gli altri approcci.

I ricercatori hanno scoperto che la chiave di questo successo è stata la capacità del sistema di adattare i propri compiti di supporto in tempo reale. Scoprendo automaticamente le domande giuste da porre, l'agente di trading ha costruito una comprensione più ricca e accurata del mercato. Ha imparato a riconoscere schemi che i compiti progettati dagli umani avrebbero potuto mancare. Lo studio ha anche esplorato quanti compiti il sistema dovrebbe porre contemporaneamente e quanto lontano debba guardare nel futuro per giudicare il valore di una domanda. Hanno scoperto che un numero moderato di domande, circa sedici o sessantaquattro, funzionava meglio, e che guardare avanti di circa dieci passi nel processo di apprendimento permetteva al sistema di attribuire correttamente il merito alle giuste domande per il successo futuro. Questo equilibrio ha evitato che il sistema venisse sopraffatto da troppe informazioni o confuso guardando troppo lontano nel futuro.

Questo lavoro suggerisce che il futuro del trading automatizzato potrebbe non risiedere in esseri umani più intelligenti che progettano regole migliori, ma in macchine più intelligenti che possono insegnare a se stesse a cosa prestare attenzione. Lasciando che il sistema scopra i propri obiettivi di apprendimento, i ricercatori hanno creato un agente di trading che è più robusto, più adattabile e, in definitiva, più redditizio rispetto a quelli che si affidano a istruzioni statiche create dall'uomo. Le scoperte indicano che nel complesso e mutevole mondo della finanza, la capacità di imparare cosa imparare è importante quanto la capacità di imparare come fare trading.