Generative AI for Analysts
Sfruttando l'integrazione della GenAI in FACTSET nel 2023 come esperimento naturale, questo studio rivela che, sebbene la tecnologia arricchisca significativamente l'ampiezza e la tempestività dei report degli analisti finanziari, essa espone simultaneamente l'attenzione umana come un nuovo collo di bottiglia, portando a una riduzione dell'accuratezza delle previsioni in condizioni di elevata domanda di elaborazione delle informazioni nonostante la disponibilità di dati sottostanti superiori.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della finanza, gli analisti professionisti agiscono come guide essenziali per gli investitori. Il loro compito è prendere un enorme e caotico flusso di dati finanziari — report sugli utili, tendenze di mercato e notizie economiche — e distillarli in consigli chiari e azionabili. Per decenni, questo lavoro è stato definito da un semplice limite umano: esiste una quantità limitata di informazioni che una persona può leggere, comprendere e sintetizzare in un singolo giorno. Anche l'analista più esperto ha una quantità finita di attenzione e tempo. Quando il volume dei dati cresce più velocemente di quanto la mente umana possa elaborarlo, la qualità del consiglio finale può risentirne. Questo è il puzzle centrale che un nuovo studio affronta: cosa succede quando arriva un nuovo strumento potente capace di raccogliere e organizzare istantaneamente molta più informazione di quanta un essere umano potrebbe mai gestire?
I ricercatori, guidati da Jian Xue, Qian Zhang e Wu Zhu, hanno indagato questa questione osservando un momento specifico della fine del 2023. Una grande società di dati finanziari chiamata FactSet ha introdotto un nuovo sistema di intelligenza artificiale denominato Mercury. Questo strumento è stato progettato per aiutare gli analisti a trovare informazioni più velocemente, creare grafici automaticamente e redigere report. Poiché FactSet ha reso questo strumento disponibile ai suoi utenti esistenti senza costi aggiuntivi, i ricercatori hanno potuto osservare un esperimento naturale. Hanno confrontato i report di ricerca scritti dagli analisti che utilizzavano FactSet prima dell'arrivo dell'IA con quelli scritti dopo. Non si sono limitati a guardare se i report fossero più lunghi; hanno utilizzato modelli linguistici avanzati per leggere ogni parola, tabella e grafico in migliaia di report per contare esattamente quante diverse fonti di informazione fossero state utilizzate, quanti diversi argomenti fossero stati trattati e quanti diversi metodi di analisi fossero stati applicati.
I risultati hanno rivelato una trasformata sorprendente nel lavoro stesso. Dopo l'introduzione dello strumento di IA, i report associati a FactSet sono diventati significativamente più ricchi. Includevano il 26% in più di fonti di informazione distinte, coprivano una gamma di argomenti superiore del 24% e utilizzavano il 21% in più di metodi analitici. I report arrivavano anche più velocemente, venendo spesso pubblicati entro tre giorni dall'annuncio degli utili di una società. L'IA aveva avuto successo nel rimuovere il collo di bottiglia della ricerca e dell'organizzazione dei dati. Gli analisti non dovevano più lottare per individuare i numeri corretti; stavano presentando una visione molto più ampia e profonda delle società che seguivano.
Tuttavia, la storia prende una piega sorprendente quando i ricercatori hanno esaminato l'accuratezza delle previsioni. Nonostante i report fossero più ricchi e veloci, l'accuratezza relativa delle previsioni è in realtà diminuita. Gli analisti che utilizzavano lo strumento di IA erano meno precisi nelle loro previsioni sugli utili rispetto ai loro colleghi che non utilizzavano lo strumento. Questo risultato sfida la comune assunzione secondo cui una maggiore quantità di informazioni porti sempre a decisioni migliori. I ricercatori hanno scavato più a fondo per capire perché ciò fosse accaduto. Hanno scoperto che il calo di accuratezza non era uniforme; era concentrato tra gli analisti che erano già sotto la pressione maggiore. Coloro che seguivano un numero elevato di società, lavoravano in team piccoli con poco supporto o cercavano di aggiornare le previsioni per più aziende nello stesso giorno vedevano il calo di prestazioni più significativo.
Lo studio suggerisce che il problema non fosse la qualità delle informazioni fornite dall'IA, ma la capacità umana di elaborarle. Quando lo strumento di IA consegnava agli analisti un mucchio di dati molto più grande, consegnava loro anche un carico cognitivo molto più pesante. Gli analisti dovevano verificare, dare priorità e dare senso a segnali contrastanti che non avevano mai dovuto gestire prima. Per coloro che avevano tempo e attenzione limitati, questo sovraccarico portava a confusione ed errori. Per dimostrare ciò, i ricercatori hanno costruito un modello informatico che elaborava esattamente le stesse informazioni trovate nei report. A differenza degli analisti umani, il computer non si stancava né si distraeva. Quando la macchina ha elaborato i nuovi e più ricchi dati, la sua accuratezza non è diminuita. Ciò ha confermato che l'informazione stessa era ancora buona; il collo di bottiglia si era semplicemente spostato dal reperimento dei dati alla loro comprensione.
I ricercatori hanno anche escluso diverse altre possibilità. Hanno controllato se l'IA stesse generando sciocchezze o "allucinando" fatti, ma hanno scoperto che i dati nei report rimanevano tanto affidabili quanto prima. Hanno controllato se i report fossero solo diventati più lunghi e ripetitivi, ma non hanno trovato un aumento di testo inutile. Hanno persino testato se gli analisti stessero affrettando il lavoro per pubblicarlo più velocemente, ma il calo di accuratezza non era limitato ai report più rapidi. Le prove hanno indicato costantemente verso una conclusione: lo strumento aveva espanso l'offerta di informazioni più velocemente di quanto la mente umana potesse assorbirle.
Questa scoperta offre una visione sfumata dell'intelligenza artificiale sul posto di lavoro. Suggerisce che, sebbene l'IA possa aumentare drasticamente la produttività gestendo il lavoro pesante di raccolta dati, non migliora automaticamente il processo decisionale. In effetti, se l'utente umano è già al limite, aggiungere più informazioni può peggiorare le cose. Lo studio implica che, affinché l'IA sia davvero d'aiuto, le organizzazioni potrebbero dover riprogettare il modo in cui i loro dipendenti lavorano. Invece di fornire semplicemente agli analisti più strumenti, potrebbero dover fornire loro più tempo, carichi di lavoro minori o sistemi migliori per aiutarli a filtrare il flusso di nuove informazioni. Il valore della tecnologia dipende non solo da ciò che la macchina può generare, ma dalla capacità umana di comprenderlo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.