Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

1. Il Problema: I Limiti dei Benchmark di Raccomandazione Finanziaria Attuali

Il paper identifica una fondamentale discrepanza nei benchmark esistenti per i sistemi di raccomandazione, in particolare nel dominio finanziario.

• Imitazione Comportamentale vs. Qualità Decisionale: La maggior parte dei benchmark valuta i modelli di Intelligenza Artificiale (LLM) basandosi sulla capacità di imitare le scelte passate degli utenti (es. clic, valutazioni, acquisti). Tuttavia, nel contesto finanziario, le azioni osservate degli investitori sono spesso rumorose, influenzate da emozioni a breve termine o dalla volatilità di mercato, e possono confliggere con gli obiettivi a lungo termine e la tolleranza al rischio reale dell'utente.
• Il Paradosso: Considerare le scelte comportamentali come "verità fondamentale" (ground truth) confonde l'imitazione di comportamenti irrazionali con la fornitura di consigli finanziari di alta qualità. Un modello che imita perfettamente le scelte rumorose di un utente potrebbe non fornire un buon consiglio finanziario.
• Carenze Esistenti: I benchmark attuali mancano di:
  1. Grounding nell'Utilità: Non distinguono tra ciò che l'utente ha fatto e ciò che sarebbe stato ottimale per i suoi obiettivi.
  2. Valutazione Multi-vista: Non analizzano se un modello segue l'analisi razionale, imita il rumore o segue la momentum di mercato.
  3. Contesto Conversazionale e Longitudinale: Mancano di simulazioni interattive che evolvono nel tempo.

2. Metodologia: Il Benchmark Conv-FinRe

Gli autori introducono Conv-FinRe, il primo benchmark conversazionale e longitudinale per la raccomandazione di azioni, progettato per valutare gli LLM oltre la semplice imitazione comportamentale.

A. Formulazione del Task

Il task è definito come un problema di allineamento multi-vista su un orizzonte temporale fisso ($T$). Il modello agisce come un consulente finanziario personalizzato che deve generare ranking di azioni basandosi su:

1. Contesto di Onboarding: Un'intervista iniziale per estrarre background, obiettivi e tolleranza al rischio.
2. Traiettoria Longitudinale: Dialoghi passo-passo con l'utente e segnali di mercato.
3. Quattro Viste di Riferimento (Reference Views): Il modello viene valutato confrontando il suo output con quattro prospettive diverse:
   • $y_{user}$ (Scelta Utente): Le scelte empiriche effettuate dall'utente (spesso rumorose).
   • $y_{util}$ (Utilità Razionale): Il ranking ideale derivato da una funzione di utilità calibrata (bilanciamento ottimale tra rendimento e rischio).
   • $y_{mom}$ (Momentum di Mercato): Un ranking basato puramente sui rendimenti recenti (tendenza di mercato).
   • $y_{safe}$ (Sensibilità al Rischio): Un ranking conservativo che penalizza la volatilità e il rischio di ribasso specifico per l'utente.

B. Grounding delle Preferenze Latenti (Inverse Optimization)

Poiché la vera funzione di utilità dell'utente non è nota, il sistema la ricostruisce tramite Ottimizzazione Inversa:

• Si assume che le decisioni dell'utente siano governate da una funzione di utilità latente $U(s) = \tilde{\mu} - \lambda \tilde{\sigma}^2 - \gamma \text{Drawdown}$.
• I parametri specifici dell'utente ($\lambda_i, \gamma_i$), che rappresentano la sensibilità alla volatilità e al rischio di ribasso, sono stimati analizzando la traiettoria comportamentale longitudinale dell'utente utilizzando un modello Logit Multinomiale.
• Questi parametri stimati vengono utilizzati per costruire le viste di riferimento razionali ($y_{util}$ e $y_{safe}$) senza esporre la funzione matematica al modello LLM durante l'inferenza.

C. Raccolta Dati e Simulazione

• Dati di Mercato: Un universo di 10 azioni rappresentative (S&P 500) coprenti diversi settori e livelli di volatilità (beta), con dati giornalieri e intraday su un periodo di 30 giorni.
• Dati Utente: 10 partecipanti reali hanno completato questionari strutturati (basati su linee guida normative come MiFID II) e hanno interagito con un simulatore di asset per generare traiettorie decisionali longitudinali.
• Simulazione Conversazionale: Le interazioni sono trasformate in dialoghi strutturati multi-turno (onboarding + consigli passo-passo) che includono consigli contrastanti da parte di tre "esperti" virtuali (Razionale, Momentum, Sicurezza).

D. Metriche di Valutazione

• uNDCG (Utility-based NDCG): Misura l'allineamento con l'utilità razionale latente ($y_{util}$).
• MRR e Hit Rate: Misurano la capacità di recuperare la scelta effettiva dell'utente ($y_{user}$).
• Expert Alignment Score (EAS): Misura l'allineamento con i principi degli esperti (Utilità, Momentum, Rischio) utilizzando la correlazione di Kendall's $\tau$.

3. Risultati Sperimentali

Il benchmark è stato utilizzato per valutare una suite di LLM all'avanguardia (inclusi GPT-4o/5.2, DeepSeek, Qwen, Llama e modelli finanziari specializzati).

• Tensione Fondamentale: È emersa una tensione persistente tra la qualità decisionale razionale e l'allineamento comportamentale.
  • I modelli che ottengono punteggi elevati in uNDCG (allineamento all'utilità razionale) spesso falliscono nel prevedere le scelte effettive dell'utente, suggerendo che offrono consigli "ideali" ma non allineati al comportamento reale.
  • I modelli che eccellono in MRR/Hit Rate (allineamento comportamentale) tendono a sovrapporsi al rumore a breve termine, imitando le scelte non ottimali dell'utente.
• Analisi degli Esperti:
  • I modelli generalisti (es. Llama-3.3-70B) tendono ad allinearsi fortemente con l'Utilità e il Momentum, ma faticano a decouplare la protezione dal rischio (basso allineamento con $y_{safe}$).
  • I modelli specializzati nel settore finanziario (es. Llama3-XuanYuan3) mostrano un alto allineamento comportamentale (imitano l'utente) ma un basso allineamento con l'utilità razionale, agendo più come consulenti empatici che seguono le preferenze pragmatiche (e rumorose) degli investitori reali piuttosto che formule matematiche rigide.
  • DeepSeek-V3.2 ha mostrato il profilo più equilibrato, integrando segnali conflittuali senza estremismi.
• Dinamiche di Scoperta delle Preferenze: L'accesso alla cronologia conversazionale migliora l'allineamento per alcuni modelli (Adaptive Advisors), ma per altri (Behavioral Overfitters) l'introduzione del contesto storico peggiora l'allineamento all'utilità, indicando una sovra-sensibilità alle azioni rumorose dell'utente.

4. Contributi Chiave

1. Conv-FinRe: Il primo benchmark conversazionale e longitudinale per la raccomandazione di azioni che valuta gli LLM basandosi sull'utilità specifica dell'investitore, andando oltre l'imitazione comportamentale.
2. Framework Diagnostico Multi-vista: Una formulazione che tratta la raccomandazione finanziaria come un problema di allineamento multi-vista, permettendo di distinguere tra allineamento comportamentale, qualità decisionale razionale e aderenza ai trend di mercato.
3. Grounding delle Preferenze: L'uso dell'ottimizzazione inversa per inferire le preferenze latenti di rischio dagli utenti reali, creando un ground truth normativo senza esporre la funzione matematica al modello.
4. Analisi Empirica: Una valutazione sistematica che rivela come i diversi modelli LLM gestiscano il compromesso tra razionalità finanziaria e adattamento comportamentale.

5. Significato e Implicazioni

Il lavoro di Conv-FinRe segna un cambio di paradigma nella valutazione dei sistemi di raccomandazione finanziaria:

• Superamento della "Trappola dell'Imitazione": Dimostra che imitare le scelte passate degli utenti non è sinonimo di fornire buoni consigli finanziari. Un vero assistente AI dovrebbe essere in grado di bilanciare le preferenze espresse (spesso irrazionali) con una guida razionale basata sul rischio.
• Diagnosi dei Modelli: Fornisce strumenti per diagnosticare se un modello sta agendo come un analista razionale, un imitatore di rumore o un seguace di trend di mercato.
• Futuro della Finanza AI: Suggerisce che i futuri benchmark e modelli devono essere progettati per disaccoppiare le preferenze a lungo termine degli investitori dal rumore di mercato a breve termine, richiedendo una valutazione più sfumata che consideri sia l'utilità normativa che l'allineamento comportamentale.

Il dataset e il codice sono stati resi pubblici su Hugging Face e GitHub per favorire la riproducibilità e ulteriori ricerche in questo settore.