🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

Questo articolo presenta un sistema di apprendimento per rinforzo profondo aumentato dal sentiment per il CLaC@FinMMEval 2026 Task 3, dimostrando che un agente DDPG che utilizza il sentiment delle notizie di LLaMA 3.2 e ricompense basate su alpha supera significativamente le strategie buy-and-hold su TSLA e BTC, evidenziando al contempo le sfide della generalizzazione delle policy dai regimi di mercato rialzisti a quelli ribassisti.

Autori originali: Andrei Neagu, Eeham Khan, Leila Kosseim

Pubblicato 2026-07-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Andrei Neagu, Eeham Khan, Leila Kosseim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come giocare a un videogioco molto complicato: il mercato azionario. L'obiettivo non è solo fare punti; è battere il punteggio di un giocatore che non smette mai di giocare, che non cambia mai la sua strategia e che tiene semplicemente il suo personaggio per tutto il tempo (una strategia chiamata "buy-and-hold"). Il gioco è caotico, pieno di rumorosi effetti sonori, improvvisi colpi di scena e un flusso costante di titoli di notizie che potrebbero cambiare le regole. Per vincere, serve un agente intelligente che sappia guardare lo schermo, leggere le notizie, sentire il ritmo del gioco e decidere se procedere, stare fermo o tornare indietro. Questo è il mondo del Deep Reinforcement Learning (DRL). Pensa al DRL come a un metodo in cui l'IA impara attraverso tentativi ed errori, ricevendo un "cinque" (ricompensa) quando compie una buona mossa e un "ghigno" (penalità) quando sbaglia. Il documento che stai per leggere esplora come costruire il robot trader definitivo per due personaggi molto diversi: un'azienda tecnologica chiamata Tesla (TSLA) e una moneta digitale chiamata Bitcoin (BTC).

I ricercatori della Concordia University si sono posti l'obiettivo di costruire un sistema di trading che non si limiti a indovinare; volevano che imparasse. Hanno trattato il mercato azionario come un complesso livello di un videogioco dove il giocatore (l'IA) deve prendere una decisione quotidaria: andare Long (scommettere che il prezzo salga), andare Flat (stare a guardare ai margini) o andare Short (scommettere che il prezzo scenda). Per aiutare l'IA a compiere queste scelte, le hanno fornito tre tipi di informazioni: Indicatori Tecnici (come tachimetri e linee di tendenza derivate dai prezzi passati), Cicli del Calendario (sapere se è lunedì o la fine del mese, perché i mercati a volte si comportano diversamente in quei giorni) e Score di Sentiment (un "anello dell'umore" per le notizie, calcolato da un'IA super intelligente che legge gli articoli per vedere se le persone sono felici o spaventate riguardo all'asset).

Il team ha addestrato quattro diversi tipi di "cervelli" artificiali per giocare a questo gioco: Policy Gradient (PG), Proximal Policy Optimization (PPO), Deep Q-Learning (DQL) e Deep Deterministic Policy Gradient (DDPG). Ma ecco la parte intelligente: invece di ricompensare l'IA solo per aver guadagnato denaro, le hanno dato una speciale "Alpha Reward". Immagina se stessi correndo contro un amico; invece di ricompennarti solo per correre veloce, riceveresti punti solo se corri più veloce del tuo amico. Questo ha costretto l'IA a concentrarsi sul battere la linea di base "buy-and-hold" piuttosto che limitarsi ad avere fortuna perché l'intero mercato stava salendo. Hanno anche fatto sì che le sessioni di addestramento iniziassero in momenti casuali, in modo che l'IA non si limitasse a memorizzare la sceneggiatura di un singolo gioco specifico, ma imparasse a gestire qualsiasi situazione.

Quando hanno testato questi robot su dati reali del 2025, i risultati sono stati un misto di trionfo e una dura lezione sul futuro. Per Tesla, il robot DDPG è stato la stella, ottenendo un enorme rendimento del 54,96%, mentre il robot DQL è arrivato un close secondo con il 52,62%. Entrambi hanno distrutto la strategia "buy-and-hold", che ha ottenuto solo il 16,45%. Il robot DDPG è stato particolarmente bravo a evitare i problemi, mantenendo le sue perdite (drawdown) molto più basse rispetto agli altri.

Tuttavia, il test su Bitcoin è stato un livello molto più difficile. Il mercato si è trasformato in un bear market, dove i prezzi sono crollati, e la strategia "buy-and-hold" ha perso un enorme 34,27%. In questa tempesta, il robot DDPG è stato l'unico a riuscire a restare a galla, concludendo con un piccolo ma positivo guadagno dell'1,58%. Gli altri robot, incluso il DQL che era sembrato fantastico durante l'addestramento, hanno faticato ad adattarsi al passaggio improvviso da un mercato in crescita a uno in calo.

Il documento suggerisce che, sebbene questi agenti di IA possano imparare a fare trading efficacemente, sono comunque sensibili al "meteo" del mercato. L'algoritmo DDPG si è dimostrato il più robusto, gestendo sia le giornate soleggiate di Tesla che le giornate tempestose di Bitcoin meglio degli altri. Tuttavia, i ricercatori hanno riscontrato un divario complicato: il robot che sembrava il migliore durante l'addestramento (DQL) non sempre ha vinto nel test reale, specialmente quando il regime di mercato è cambiato da un bull market a un bear market. Questo ci dice che, sebbene l'IA possa imparare a navigare nelle acque finanziarie, deve comunque fare attenzione a non abituarsi troppo alle acque calme, perché la prossima onda potrebbe essere uno tsunami. In definitiva, lo studio mostra che combinare il sentiment delle notizie con algoritmi di apprendimento intelligenti può aiutare a battere il mercato, ma il robot "migliore" dipende pesantemente dal tipo di mercato che sta affrontando.

Sintesi Tecnica: CLaC @ FinMMEval 2026 Task 3

Definizione del Problema

Questo articolo affronta il Task 3 del CLEF 2026 FinMMEval Lab, una sfida che richiede lo sviluppo di un agente di trading automatizzato capace di prendere decisioni quotidiane (Long, Flat o Short) per due asset distinti: Bitcoin (BTC) e Tesla (TSLA). L'agente deve sintetizzare dati multi-modali, inclusi prezzi storici di mercato, indicatori tecnici e articoli di notizie quotidiane, per massimizzare le metriche di performance come il Rendimento Cumulativo (CR), lo Sharpe Ratio (SR) e il Maximum Drawdown (MDD). La difficoltà principale risiede nel navigare dinamiche di mercato complesse e non lineari e nell'adattarsi ai cambiamenti di regime (ad esempio, la transizione da mercati bull a mercati bear) evitando l'overfitting sui dati storici di addestramento.

Metodologia

1. Formulazione del Processo Decisionale di Markov (MDP)

Il problema del trading è formulato come un MDP a azioni discrete $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ :

Spazio degli Stati ( $\mathcal{S}$ ): Un vettore a 15 dimensioni composto da:
- Dinamiche dei Prezzi: Log-rendimenti.
- Stato dell'Agente: Posizione precedente ( $p_{t-1} \in \{-1, 0, 1\}$ ) per tenere conto dei costi di transazione.
- Codifiche del Calendario: Rappresentazioni cicliche seno/coseno di Giorno della Settimana, Giorno del Mese e Mese dell'Anno per catturare la stagionalità.
- Indicatori Tecnici: EMA (10, 50) normalizzata, RSI (14), MACD, Bande di Bollinger e variazione del logaritmo del volume.
- Sentiment: Un punteggio di sentiment giornaliero derivato dagli articoli di notizie.
Spazio delle Azioni ( $\mathcal{A}$ ): Insieme discreto $\{-1 \text{ (short)}, 0 \text{ (flat)}, 1 \text{ (long)}\}$ .
Funzione di Ricompensa ( $\mathcal{R}$ ): Utilizza una formulazione di Alpha Reward (vedi Contributi) invece del rendimento del portafoglio grezzo.
Dinamiche di Transizione: Assunte come esogene (assunzione di price-taker), dove le azioni dell'agente non influenzano i prezzi di mercato.

2. Elaborazione dei Dati e Ingegneria delle Caratteristiche

Fonti dei Dati: Dati storici di prezzo/volume da Yahoo Finance (2010–2022 per TSLA; 2014–2022 per BTC) e articoli di notizie dal dataset Financial News Multi-Source.
Analisi del Sentiment: Il sentiment delle notizie giornaliere è valutato utilizzando LLaMA 3.2 1B Instruct in un contesto zero-shot. Gli articoli sono troncati alle prime 300 parole (titolo e attacco) per concentrarsi sui segnali principali. Il modello esegue un singolo passaggio in avanti (forward pass), estraendo i logit per i token "positivo", "negativo" e "neutro". Il punteggio di sentiment è calcolato come $P(\text{positivo}) - P(\text{negativo})$ , limitato nell'intervallo $[-1, 1]$ .
Allineamento Temporale: Per prevenire il look-ahead bias, gli articoli pubblicati dopo la chiusura del mercato sono spostati al giorno di trading successivo per TSLA, mentre per BTC (24/7) sono ancorati alle date del calendario UTC.
Suddivisione del Dataset: Sono state utilizzate suddivisioni cronologiche: Training (pre-2023), Validation (2023–2024, un periodo di mercato bull) e Testing (2025–2026, che contiene un mercato bear per BTC).

3. Algoritmi di Deep Reinforcement Learning (DRL)

Sono stati implementati e confrontati quattro algoritmi:

Policy Gradient (PG): Attore basato su LSTM con rendimenti Monte-Carlo ed extra bonus di entropia.
Proximal Policy Optimization (PPO): Attore-critico basato su LSTM con obiettivo surrogato troncato (clipped) e GAE.
Deep Q-Learning (DQL): Rete feed-forward con aggiornamenti Double DQN e experience replay.
Deep Deterministic Policy Gradient (DDPG): Attore-critico con spazio di azione continuo discretizzato tramite soglie ( $\pm 0.33$ ) e rumore di Ornstein-Uhlenbeck per l'esplorazione.

4. Strategia di Addestramento

Alpha Reward: La ricompensa è definita come il rendimento in eccesso rispetto al mercato: $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ . Questo incentiva l'agent a superare il benchmark buy-and-hold piuttosto che il profitto assoluto.
Inizio Episodico Casuale: Gli episodi di addestramento iniziano in giorni casuali per evitare la memorizzazione di sequenze fisse e migliorare la generalizzazione.
Ottimizzazione degli Iperparametri: Condotta tramite Ray Tune con 180 trial per coppia algoritmo-asset.
Selezione del Modello: I modelli sono stati selezionati in base allo Sharpe Ratio di Validazione, applicando l'early stopping.

Contributi Chiave

Rappresentazione dello Stato Multi-Modale: Il documento dimostra che la combinazione di indicatori tecnici, codifiche del calendario cicliche e punteggi di sentiment derivati da LLM crea un segnale di stato efficace per gli agenti DRL.
Formulazione dell'Alpha Reward: Gli autori introducono e analizzano una ricompensa alpha che addestra gli agenti a massimizzare il rendimento in eccesso rispetto al mercato. Stabiliscono tre proprietà teoriche:
- È uguale al log-alpha della strategia quando sommato su un episodio.
- Sotto l'assunzione di price-taker, condivide le stesse politiche ottimali dei rendimenti logaritmici grezzi.
- Agisce come una controvariabile di riduzione della varianza, riducendo significativamente la varianza del gradiente in ambienti ad alta volatilità.
Confronto Algoritmico Esaustivo: Una rigorosa valutazione di PG, PPO, DQL e DDPG con ottimizzazione degli iperparametri rivela che DDPG offre le prestazioni più robuste su entrambi gli asset, evidenziando al contempo la sensibilità della selezione del modello basata sulla validazione ai cambiamenti di regime di mercato.

Risultati

Prestazioni su TSLA (Periodo di Test)

Baseline (Buy-and-Hold): 16.45% CR, SR 0.61.
DDPG: Ha raggiunto il 54.96% di CR e uno SR di 1.44, con il Maximum Drawdown (MDD) più basso (19.20%).
DQL: Ha raggiunto il 52.62% di CR e SR 1.38, ma con un MDD più elevato (35.76%).
PG e PPO: Hanno sottoperformato rispetto alla baseline o sono rimasti significativamente indietro rispetto ai migliori modelli.

Prestazioni su BTC (Periodo di Test)

Baseline (Buy-and-Hold): -34.27% CR, SR -0.87 (mercato bear severo).
DDPG: L'unico modello a ottenere un rendimento positivo (1.58%) con un SR di 0.23 e MDD di 35.30%. Ha mitigato con successo le perdite di mercato passando a posizioni flat/short durante i cali.
PG: Ha ridotto le perdite al -14.53%, ma è rimasto in territorio negativo.
DQL e PPO: Hanno sottoperformato significativamente, con DQL che ha ottenuto -23.22% e PPO -33.80%.

Gap di Generalizzazione

È stato osservato un significativo gap di generalizzazione tra validazione e test, particolarmente per BTC. Il periodo di validazione (2023–2024) è stato un mercato bull sostenuto, portando modelli come DQL (che aveva il più alto SR di validazione) a fare overfitting sul momentum rialzista. Di conseguenza, DQL non è riuscito a generalizzare nelle condizioni di mercato bear del test, mentre l'architettura attore-critico e lo spazio di azione continuo di DDPG hanno fornito una migliore adattabilità ai cambi di regime.

Significato e Rivendicazioni

Il documento sostiene che l'integrazione dell'analisi del sentiment basata su LLM con il Deep Reinforcement Learning è un approccio praticabile per il trading algoritmico, a patto che:

Reward Shaping: L'uso di un alpha reward allinea l'obiettivo di addestramento con l'obiettivo competitivo di battere il mercato, riducendo l'overfitting ai movimenti di prezzo assoluti.
Selezione dell'Algoritmo: DDPG dimostra una robustezza superiore nel gestire i cambi di regime rispetto ai metodi on-policy ricorrenti (PG, PPO) e ai metodi di valore puramente off-policy (DQL), specialmente in ambienti volatili e bear.
Limitazioni della Validazione: Lo studio evidenzia un limite critico nel machine learning finanziario: la selezione del modello basata su una singola finestra di validazione (specialmente se coincide con un mercato bull) può portare a una scarsa generalizzazione in successivi mercati bear. Gli autori notano che, sebbene DQL sia stato selezionato per la competizione live in base alle metriche di validazione, DDPG si è rivelato superiore nel periodo di test effettivo, sottolineando la difficoltà di adattare le politiche addestrate in mercati bull a condizioni di mercato bear.

Gli autori concludono che, sebbene il loro sistema abbia ottenuto un sostanziale sovraperformance rispetto alla baseline buy-and-hold (specialmente su TSLA e nella preservazione del capitale su BTC), il gap di generalizzazione osservato suggerisce la necessità di futuri lavori riguardanti la cross-validazione walk-forward e il reinforcement learning gerarchico per catturare meglio le strategie dipendenti dal regime.