Decoding Market Emotions in Cryptocurrency Tweets via Predictive Statement Classification with Machine Learning and Transformers

1. Problema e Contesto

Il mercato delle criptovalute è caratterizzato da un'elevata volatilità e da una forte influenza dei fattori speculativi e delle emozioni degli investitori, spesso espresse sui social media. Le analisi di sentiment tradizionali (positive/negative) risultano spesso ambigue nel contesto finanziario: la stessa notizia o movimento di prezzo può generare emozioni opposte a seconda della prospettiva dell'investitore (es. un calo di prezzo può essere visto come un'opportunità di acquisto da parte di alcuni, generando gioia, o come una perdita da parte di altri, generando rabbia).

Il paper identifica il bisogno di distinguere non solo il tono emotivo, ma l'intento predittivo direzionale degli utenti. L'obiettivo è decodificare le dichiarazioni sui tweet per capire se gli investitori prevedono un aumento, una diminuzione o la stabilità dei prezzi, indipendentemente dall'emozione associata a tale previsione.

2. Metodologia

Lo studio propone un framework di classificazione a due stadi applicato ai tweet relativi a cinque criptovalute popolari: Cardano (ADA), Matic (MATIC), Binance (BNB), Ripple (XRP) e Fantom (FTM).

A. Definizione delle Categorie (Predictive Statements)

I tweet sono classificati in quattro categorie principali:

1. Predittivi Incrementali: Prevedono un aumento del prezzo (es. "bullish", "andrà in alto").
2. Predittivi Decrementali: Prevedono un calo del prezzo (es. "bearish", "crollerà").
3. Predittivi Neutrali: Prevedono stabilità o assenza di movimenti significativi.
4. Non Predittivi: Non contengono previsioni future (descrivono fatti passati, opinioni generali o notizie).

B. Raccolta e Annotazione dei Dati

• Dataset: 3.116 tweet raccolti da X (Twitter) tra settembre 2021 e marzo 2023.
• Annotazione: I dati sono stati etichettati tramite un approccio ibrido: annotazione manuale da parte di esperti umani e validazione/arricchimento tramite modelli GPT (GPT-4o).
• Metrica di Accordo: Il coefficiente Kappa di Cohen tra annotatori umani e GPT è stato di 0.7493, confermando l'affidabilità del dataset.
• Estrazione Emotiva: È stato utilizzato SenticNet per estrarre e raggruppare le emozioni (es. "Gioia/Entusiasmo", "Paura/Ansia", "Rabbia", "Tristezza") associate a ciascuna categoria predittiva.

C. Gestione dello Squilibrio delle Classi (Data Balancing)

Il dataset originale presentava uno squilibrio significativo (es. molte più dichiarazioni "Non Predittive" rispetto alle altre). Per mitigare questo problema, è stata utilizzata una strategia di Data Augmentation basata su GPT:

• Il modello GPT ha generato parafrasi sintetiche delle classi sottorappresentate mantenendo il significato originale ma variando la formulazione.
• Questo ha permesso di creare un dataset bilanciato per l'addestramento dei modelli.

D. Modelli di Machine Learning

Sono stati valutati tre gruppi di modelli su entrambi i task (Task 1: Binario Predittivo/Non Predittivo; Task 2: Multiclasse Incrementale/Decrementale/Neutrale):

1. Machine Learning Tradizionale: Logistic Regression, SVM (Kernel Lineare e RBF), XGBoost, Random Forest (con estrazione features TF-IDF).
2. Deep Learning: CNN e BiLSTM combinati con embedding pre-addestrati (GloVe e FastText).
3. Transformer: Modelli pre-addestrati come DistilRoBERTa, RoBERTa-base, BERT-base-uncased, XLM-RoBERTa.

3. Risultati Chiave

Performance dei Modelli

• Task 1 (Classificazione Binaria):
  • I modelli Transformer hanno ottenuto le prestazioni migliori sul dataset bilanciato. In particolare, XLM-RoBERTa ha raggiunto il miglior Macro F1-score (0.7011).
  • Tra i modelli tradizionali, SVM con kernel RBF ha ottenuto il miglior risultato (0.6825).
  • I modelli Deep Learning (BiLSTM con GloVe) hanno raggiunto un Macro F1 di 0.6349.
• Task 2 (Classificazione Multiclasse - Finer-grained):
  • In questa fase più complessa, i modelli Machine Learning Tradizionali hanno sorpreso, con Random Forest che ha ottenuto il miglior Macro F1-score (0.6488).
  • Tra i Deep Learning, la CNN con FastText ha ottenuto il miglior risultato (0.6153).
  • I Transformer (es. DistilRoBERTa) hanno ottenuto un Macro F1 di 0.5936, mostrando che per task molto specifici e con dati bilanciati, modelli più semplici possono talvolta essere più efficaci o competitivi.

Analisi delle Emozioni

L'analisi tramite SenticNet ha rivelato pattern interessanti:

• Le dichiarazioni Incrementali sono fortemente associate a emozioni positive (Gioia, Entusiasmo).
• Le dichiarazioni Decrementali sono associate a emozioni negative (Paura, Rabbia, Tristezza).
• Scoperta Critica: Alcune dichiarazioni decrementali (previsione di calo) sono state espresse con emozioni positive (Gioia/Entusiasmo). Questo conferma l'ipotesi iniziale: alcuni investitori vedono i cali come opportunità di acquisto ("buy the dip"). Un'analisi di sentiment tradizionale avrebbe erroneamente classificato questi tweet come "positivi" per il mercato, mentre il framework proposto li classifica correttamente come "previsione di calo" con un'emozione positiva.

Impatto del Bilanciamento

L'uso dell'augmentation basata su GPT ha migliorato significativamente le prestazioni di tutti i modelli, specialmente nelle metriche Macro F1, dimostrando che l'equilibrio delle classi è cruciale per evitare bias verso la classe maggioritaria.

4. Contributi Principali

1. Nuovo Framework di Categorizzazione: Introduzione del concetto di "Predictive Statement" che separa l'intento direzionale (su/giù/neutro) dal tono emotivo, risolvendo l'ambiguità delle analisi di sentiment tradizionali.
2. Dataset Annotato Ibrido: Creazione di un dataset etichettato sia manualmente che tramite GPT, con un bilanciamento delle classi ottenuto tramite parafrasi sintetiche generate da AI.
3. Analisi Emotiva Granulare: Applicazione di SenticNet per mappare le emozioni specifiche alle diverse direzioni di previsione, rivelando la complessità psicologica degli investitori.
4. Valutazione Comparativa: Un'analisi estesa che confronta ML tradizionale, Deep Learning e Transformer, mostrando come le prestazioni varino in base alla complessità del task (binario vs multiclasse) e alla bilanciatura dei dati.

5. Significato e Implicazioni

Questo studio offre un contributo significativo alla finanza comportamentale e all'analisi dei mercati delle criptovalute:

• Decisioni più Informate: Permette di distinguere tra "ottimismo sul mercato" e "ottimismo su un'opportunità di acquisto durante un calo", fornendo segnali più precisi per gli investitori.
• Regolamentazione e Analisi: Può aiutare i regolatori a rilevare bolle speculative o panico di mercato distinguendo le reazioni emotive dalle reali aspettative di prezzo.
• Integrazione con Modelli di Prezzo: Il framework funge da strato intermedio interpretabile tra il linguaggio naturale e i modelli di previsione dei prezzi numerici, potenzialmente migliorando l'accuratezza delle previsioni finanziarie ibride.

In sintesi, il paper dimostra che la combinazione di tecniche NLP avanzate (Transformer), strategie di bilanciamento dati innovative (GPT) e un'analisi psicologica fine (separazione tra direzione e emozione) è essenziale per decodificare correttamente il sentiment nei mercati finanziari volatili.