One Size Fits None: Heuristic Collapse in LLM Investment Advice

Riassunto Tecnico: "One Size Fits None: Heuristic Collapse in LLM Investment Advice"

1. Il Problema: Il "Collasso Euristico"

Il paper affronta una criticità fondamentale nell'impiego dei Large Language Models (LLM) in domini ad alto rischio (finanza, medicina, legge): la capacità di fornire consulenza realmente personalizzata. Gli autori introducono il concetto di "Heuristic Collapse" (Collasso Euristico).

Questo fenomeno si verifica quando un modello, pur elaborando un contesto complesso e multi-fattoriale, riduce la sua decisione finale a un numero esiguo di variabili dominanti (euristiche). In ambito finanziario, ciò significa che il modello produce raccomandazioni che sembrano personalizzate, ma che in realtà ignorano la maggior parte dei dati del cliente (come reddito, età o orizzonte temporale), basandosi quasi esclusivamente su un unico parametro saliente (es. la tolleranza al rischio). Questo comportamento è pericoloso perché è difficile da rilevare tramite il semplice controllo della qualità dell'output (che appare fluido e plausibile) e viola gli standard legali di "suitability" (adeguatezza), che richiedono un'analisi olistica del profilo del cliente.

2. Metodologia

Per quantificare il collasso euristico, gli autori hanno progettato una pipeline diagnostica rigorosa:

• Generazione dei Profili (Latin Hypercube Sampling): Invece di usare profili casuali, hanno utilizzato il campionamento Latin Hypercube per generare 1.000 profili di clienti sintetici. Questo metodo garantisce una copertura quasi ortogonale dello spazio degli input, permettendo di isolare l'effetto di ogni singola variabile (età, reddito, risparmi, ecc.) senza correlazioni spurie.
• Task di Investimento: Gli LLM (famiglie GPT-4o e GPT-5.4) sono stati istruiti ad agire come consulenti finanziari, selezionando prodotti da un menu standardizzato e fornendo percentuali di allocazione e una motivazione (rationale).
• Modelli Surrogate (Reverse Engineering): Per capire cosa guidasse le decisioni del modello, gli autori hanno applicato tecniche di apprendimento supervisionato (Random Forest e Ridge Regression) agli output degli LLM. L'obiettivo era creare un modello interpretabile che approssimasse la funzione decisionale dell'LLM.
• Metriche di Misurazione:
  • Feature Concentration (FC): Adattamento dell'Indice di Herfindahl-Hirschman per misurare quanto l'importanza delle variabili fosse concentrata su un unico input (1 = puro eurismo; $1/k$ = integrazione olistica).
  • Diversificazione (HHI) e Personalizzazione (Jaccard Similarity): Per valutare la qualità dei portafogli prodotti.
  • Valutazione Qualitativa (LLM-as-Judge): Utilizzo di altri modelli (Claude e Gemini) per valutare la qualità delle motivazioni testuali prodotte.

3. Risultati Principali

• Dominanza della Tolleranza al Rischio: Gli LLM mostrano un marcato collasso euristico. Le decisioni di allocazione sono dominate dalla "tolleranza al rischio dichiarata", che da sola spiega tra il 57% e l'88% del peso predittivo. Fattori cruciali come reddito, età e orizzonte temporale contribuiscono in modo marginale.
• L'Effetto Ambivalente della Web Search: L'integrazione della ricerca web (strumento agentico) produce risultati contrastanti:
  • Migliora la diversificazione: I portafogli sono più distribuiti tra i prodotti.
  • Riduce la personalizzazione: Le raccomandazioni diventano più omogenee tra clienti diversi (aumento della Jaccard Similarity). In pratica, la ricerca web tende ad "ancorare" il modello a prodotti comuni del mercato, sacrificando la specificità del profilo individuale.
• Divergenza tra Modelli:
  • GPT-4o mostra un collasso più severo; la ricerca web sembra addirittura peggiorare la qualità delle motivazioni, rendendole più astratte e meno collegate al profilo del cliente.
  • La famiglia GPT-5.4 mostra una maggiore capacità di integrare le informazioni della ricerca, ma non risolve completamente il problema del collasso euristico.

4. Contributi e Significatività

• Nuovo Framework di Audit: Il paper sposta l'attenzione dall'accuratezza dell'output (output quality) alla sensibilità dell'input (input sensitivity). Suggerisce che per i sistemi critici non basta che la risposta sia "giusta", ma è necessario dimostrare che il modello stia effettivamente "ragionando" su tutti i dati forniti.
• Critica alla Scalabilità: I risultati suggeriscono che aumentare la dimensione del modello o aggiungere strumenti di ricerca (web search) non risolve intrinsecamente il problema del ragionamento euristico/scorciatoia (shortcut learning).
• Implicazioni Legali e Fiduciarie: Lo studio evidenzia un rischio sistemico: gli LLM attuali non soddisfano i requisiti di "adeguatezza" finanziaria, poiché si concentrano sulla volontà di rischio (willingness) ignorando la capacità di rischio (capacity, legata a risorse e tempo), rendendo i consigli potenzialmente inadeguati e rischiosi per l'utente finale.

Conclusione del paper: Gli LLM agiscono attualmente come generatori di consigli che sembrano professionali ma che sono strutturalmente insensibili al contesto completo, rendendoli, allo stato attuale, inadatti per un impiego fiduciario autonomo.