SenseAI: A Human-in-the-Loop Dataset for RLHF-Aligned Financial Sentiment Reasoning

Il paper introduce SenseAI, un dataset validato con ciclo umano per il ragionamento sul sentiment finanziario che supporta l'allineamento RLHF, rivelando errori sistematici e correggibili nei modelli linguistici.

L'essenziale

🧠 Il Problema: L'Intelligenza Artificiale è un "Studente Eccellente ma Distratto"

Immagina di avere un assistente finanziario molto intelligente, un robot che legge migliaia di notizie ogni giorno per dirti se il mercato salirà o scenderà. Questo robot ha studiato tutto internet: sa le parole, la grammatica e le regole.

Tuttavia, quando si tratta di soldi veri, questo robot fa un errore strano: è troppo timido e troppo sicuro di sé allo stesso tempo.

• Troppo timido: Se una notizia dice "L'azienda ha fatto un profitto record!", il robot non dice "È fantastico!" (Bullish). Dice invece: "Beh, è leggermente positivo, ma chissà..." (Slightly Bullish). Non osa prendere una posizione forte.
• Troppo sicuro di sé: Quando ti dice "Sono sicuro al 70%", in realtà non lo è. La sua sicurezza è come un'auto che ha il tachimetro rotto: segna 100 km/h anche quando vai a 40. Non puoi fidarti del suo "sentimento" per decidere se investire.

Inoltre, il robot a volte inventa cose. Se leggi una notizia su un'azienda, lui potrebbe aggiungere nel suo ragionamento cose che ha imparato in passato su quell'azienda, anche se non sono scritte nella notizia di oggi. È come se un detective, analizzando un caso, iniziasse a dire: "Sì, il colpevole è Mario, perché Mario è sempre stato sospetto l'anno scorso", anche se la prova attuale non c'entra nulla.

🛠️ La Soluzione: SenseAI, il "Tutor Umano"

Gli autori del paper hanno creato SenseAI, che è come un tutor umano che lavora a stretto contatto con il robot.

Ecco come funziona, passo dopo passo:

1. Il Robot prova: Il robot legge una notizia finanziaria e scrive la sua opinione, spiegando perché la pensa così (il suo "ragionamento").
2. L'Uomo controlla: Un esperto umano (un vero analista finanziario) legge la stessa notizia.
3. La Correzione: Se il robot ha sbagliato o è stato troppo timido, l'umano lo corregge. Ma non si limita a dire "Sbagliato". L'umano dice: "Ehi, qui hai esagerato con la cautela. La notizia è chiara, è un 'Bullish' vero e proprio, non 'leggermente'."
4. La Verifica Reale: Dopo 4 ore, il paper controlla cosa è successo realmente al prezzo dell'azione. Se il prezzo è salito, l'umano aveva ragione. Se è sceso, il robot aveva ragione. Questo dà un "voto di realtà" al lavoro.

🍪 La "Zona Goldilocks" (Né Troppo Freddo, Né Troppo Caldo)

Il paper scopre una cosa affascinante: il robot non è un disastro totale. Non commette errori catastrofici (come dire "Vendi tutto!" quando invece dovresti "Comprare!").

Il robot è nella "Zona Goldilocks" (come la favola dell'Orso e i tre orsetti):

• Non è perfetto (troppo freddo).
• Non è sbagliato al punto da essere inutile (troppo caldo).
• È abbastanza buono da essere utile, ma abbastanza imperfetto da aver bisogno di un piccolo aggiustamento.

È come un'auto che va bene, ma ha bisogno di una piccola regolazione del volante per stare dritta in autostrada. SenseAI è proprio quel manuale di istruzioni per fare quella regolazione.

📊 Cosa Abbiamo Imparato (Le 6 Scoperte)

Analizzando questo lavoro di squadra tra uomo e macchina, gli autori hanno scoperto 6 cose nuove:

1. Il Robot è troppo "politicamente corretto": Usa troppe parole di riserva ("forse", "leggermente") anche quando la notizia è chiara.
2. La sua sicurezza è falsa: Il numero di "sicurezza" che si dà da solo non ha nulla a che fare con la verità.
3. Il "Ragionamento Latente": Il robot usa conoscenze vecchie che non c'entrano con la notizia attuale. È come se un avvocato usasse un caso vecchio per difendere uno nuovo senza guardare le prove attuali.
4. La Zona Correggibile: La maggior parte degli errori sono piccoli aggiustamenti. Non serve ricominciare da zero, basta "raffinare" il robot.
5. Il Futuro Inventato: A volte il robot immagina cosa succederà domani nella notizia di oggi, invece di analizzare solo ciò che è scritto.
6. I Modelli Migliorano, ma il Problema Resta: Anche con i robot più nuovi, questi errori di "timidezza" restano. Serve sempre un umano a correggere.

🚀 Perché è Importante per il Futuro?

Oggi le aziende vogliono usare l'Intelligenza Artificiale per prendere decisioni finanziarie automatiche (agenti autonomi). Se il robot è troppo timido o si fida di una sua sicurezza falsa, l'azienda perde soldi.

SenseAI è il primo "manuale di addestramento" fatto apposta per insegnare a questi robot a:

• Essere più decisi quando serve.
• Capire quando sono davvero sicuri.
• Non inventare cose basandosi sul passato.

In sintesi, SenseAI non è solo un elenco di notizie. È un diario di bordo che registra ogni volta che un umano deve correggere un robot, spiegando perché e come. Questo permette di creare un'intelligenza artificiale finanziaria che non solo "sa" le cose, ma "ragiona" come un vero esperto umano, pronta a lavorare nelle banche e nei fondi di investimento senza fare disastri.

È come passare da un assistente che ti dice "Forse piove" a un meteorologo esperto che ti dice "Porta l'ombrello, pioverà tra 10 minuti", e che sa esattamente perché lo dice.

Sommario tecnico

Panoramica del Documento

Il paper introduce SenseAI, un corpus proprietario e in continua evoluzione di dati finanziari validati tramite un approccio Human-in-the-Loop (HITL). Il dataset è progettato specificamente per colmare le lacune strutturali delle risorse attuali di NLP finanziario, fornendo dati pronti per l'addestramento tramite Reinforcement Learning from Human Feedback (RLHF). A differenza dei benchmark tradizionali, SenseAI non si limita a classificare il sentiment, ma cattura l'intero processo decisionale, le catene di ragionamento (Chain-of-Thought), i segnali di correzione umana e la validazione tramite l'andamento reale del mercato.

---

1. Il Problema

L'applicazione dei Large Language Models (LLM) generici in ambienti finanziari ad alto rischio presenta limiti critici non immediatamente evidenti dai benchmark generali:

• Natura del linguaggio finanziario: Il tono è spesso sottinteso, dipendente dal contesto e soggetto a condizioni macroeconomiche. Una stessa frase può avere implicazioni opposte.
• Limiti dei dataset esistenti: Benchmark come FinancialPhraseBank (2014) o FiQA catturano "cosa" è il sentiment, ma non "come" un esperto giunge a tale conclusione. Mancano di:
  • Annotazioni consapevoli del ragionamento (reasoning-aware).
  • Segnali di correzione umana strutturati per l'RLHF.
  • Validazione tramite outcome di mercato reale.
• Conseguenze: L'uso di modelli non allineati in sistemi finanziari autonomi (agenti) comporta rischi monetari diretti e fallimenti nella classificazione di segnali complessi.

---

2. Metodologia e Struttura del Dataset

SenseAI è stato raccolto dal dicembre 2024 al marzo 2026 (data futura indicata nel paper) e copre 1.439 punti dati su 40 azioni quotate negli USA e 13 categorie di dati finanziari.

Schema dei Dati (13 Campi)

Ogni punto dati include un contesto cognitivo completo:

1. Ticker e Timestamp: Simbolo azionario e momento preciso dell'evento.
2. Input: Titolo e paragrafo completo della notizia finanziaria.
3. Output AI: Classificazione del sentiment (5 categorie: da Bullish a Bearish), catena di ragionamento completa (CoT) e punteggio di confidenza.
4. Validazione Umana (HITL): Un esperto finanziario (studente post-laurea in finanza) revisiona l'output. Se c'è divergenza, viene registrata una correzione con un'etichetta di severità (Edit Type):
   • Cat 0: Nessuna correzione.
   • Cat 1: Correzione minore (es. da Slightly Bullish a Bullish).
   • Cat 2: Correzione moderata (cambio significativo).
   • Cat 3: Inversione completa (es. da Bullish a Bearish).
5. Validazione di Outcome: Prezzo reale dell'azione 4 ore dopo la classificazione per validare oggettivamente la qualità del sentiment.
6. Metadati: Versione del modello LLM utilizzato.

Protocollo di Qualità

Viene utilizzato un protocollo di auto-consistenza in cui l'annotatore rivaluta periodicamente i dati senza riferimento all'etichetta originale, mantenendo un tasso di coerenza del 90%.

---

3. Contributi Chiave

Il paper apporta cinque contributi principali:

1. Primo Corpus RLHF-Ready Finanziario: SenseAI è il primo dataset finanziariamente validato che integra catene di ragionamento, segnali di correzione umana e validazione di mercato.
2. Allineamento Strutturale all'RLHF: Il dataset soddisfa i tre requisiti fondamentali dell'RLHF: segnali di preferenza umana, annotazioni di correzione e contesto di ragionamento, permettendo un'integrazione diretta nei pipeline di Supervised Fine-Tuning (SFT) e Reward Modeling.
3. Metodologia di Raccolta Dinamica: A differenza dei dataset statici, SenseAI è un corpus in crescita continua, permettendo il tracciamento longitudinale delle prestazioni dei modelli nel tempo.
4. Validazione Oggettiva: L'inclusione dei dati di prezzo di mercato a 4 ore offre un segnale esterno indipendente dal giudizio umano.
5. Analisi Empirica: Identificazione di sei nuove scoperte sul comportamento degli LLM nel ragionamento finanziario.

---

4. Risultati e Scoperte Empiriche

L'analisi dei 1.439 punti dati ha rivelato sei scoperte fondamentali:

1. Ipersensibilità ai Qualificatori Linguistici: I modelli tendono sistematicamente a "ammorbidire" i segnali direzionali forti, classificando notizie chiaramente positive come Slightly Bullish a causa di qualificatori linguistici (es. "nonostante le condizioni di mercato"). Il 61,3% delle classifiche AI è Slightly Bullish.
2. Sovra-aggiustamento della Confidenza (Over-Hedging): I punteggi di confidenza sono concentrati sistematicamente nella fascia 60-69% (71% dei casi), indipendentemente dalla chiarezza del segnale. La confidenza dichiarata dal modello non è correlata all'accuratezza della classificazione.
3. Deriva del Ragionamento Latente (Latent Reasoning Drift): I modelli incorporano contesti globali appresi durante il pre-addestramento (es. performance storiche, condizioni di mercato generali) anche quando analizzano un singolo documento. Questo "contaminazione" del ragionamento è rilevabile solo tramite l'analisi delle catene di pensiero.
4. La "Zona di Goldilocks": Il 51,4% delle classificazioni richiede una correzione umana, ma il 99,7% di queste sono correzioni minori (Cat 1) o moderate (Cat 2). Non ci sono inversioni complete (Cat 3). Questo indica che i modelli sono "abbastanza buoni" ma sistematicamente imprecisi, rendendo il fine-tuning su questi errori altamente efficiente.
5. Proiezione Futura (Forward Projection): I modelli tendono a inserire assunzioni su eventi futuri o condizioni di mercato non presenti nel testo sorgente, un errore di "allucinazione" rilevabile solo analizzando il ragionamento.
6. Effetti della Versione del Modello: Il passaggio a versioni più recenti (es. GPT-5.2) riduce gli errori moderati (Cat 2), ma sposta la distribuzione degli errori verso la zona di correzioni minori (Cat 1), confermando che la "Zona di Goldilocks" persiste attraverso le generazioni di modelli.

---

5. Significato e Implicazioni

Scientifico e di Ricerca

• Superamento del "Data Wall": SenseAI dimostra che per l'addestramento di agenti finanziari, la qualità strutturale e la ricchezza dei dati (ragionamento + correzione) sono superiori alla semplice quantità di etichette grezze.
• Rilevanza Normativa: La capacità di rilevare la "deriva del ragionamento latente" è cruciale per la conformità normativa (SEC, FCA), poiché i modelli devono essere spiegabili e basati solo sulle evidenze fornite nel documento.
• Calibrazione della Confidenza: Le scoperte sulla miscalibrazione della confidenza suggeriscono che le architetture di deployment attuali che usano soglie di confidenza per il routing automatico sono inefficaci e potenzialmente pericolose.

Commerciale e Industriale

• Deployment di Agenti Finanziari: Il dataset è fondamentale per addestrare agenti autonomi che operano in ambienti ad alto rischio, riducendo i rischi finanziari derivanti da errori di interpretazione del sentiment.
• Valore del Dataset: La combinazione di validazione umana, tracciamento delle versioni e dati di mercato rende SenseAI un asset proprietario irripetibile, con potenziale di licenziamento o acquisizione strategica da parte di fornitori di dati finanziari e laboratori AI.
• Fine-Tuning Efficiente: La natura "correggibile" degli errori (Zona di Goldilocks) suggerisce che un fine-tuning mirato su un dataset di dimensioni relativamente piccole (rispetto ai corpus generici) può produrre miglioramenti significativi e misurabili.

Conclusione

SenseAI rappresenta un cambio di paradigma nella raccolta dati per il NLP finanziario, spostando il focus dalla semplice classificazione alla comprensione del processo decisionale. Dimostra che i modelli LLM generici operano in un regime di errore prevedibile e correggibile, rendendo i dati HITL di alta qualità essenziali per la prossima generazione di sistemi di intelligenza artificiale finanziaria affidabili e allineati agli obiettivi umani.