Disagreement Is Not Debiasing: Human–AI Views in Portfolio Decisions
Questo articolo dimostra che, sebbene l'aggiunta di una previsione AI indipendente alle previsioni degli analisti umani migliori l'accuratezza probabilistica affinando le stime di incertezza attraverso il disaccordo, essa non riesce a correggere i bias sistematici condivisi né a migliorare le decisioni di portafoglio basate sul target senza una calibrazione rispetto ai risultati realizzati.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo ad alta posta in gioco degli investimenti, prendere una decisione spesso sembra come cercare di colpire un bersaglio in movimento stando su una piattaforma instabile. Gli investitori si affidano alle previsioni per indovinare quanto denaro guadagnerà un'azienda, ma queste ipotesi sono raramente perfette. Per decenni, un approccio standard è stato quello di combinare le opinioni di esperti umani con i calcoli di modelli informatici, sperando che gli errori di uno compensassero gli errori dell'altro. Questa idea, nota come combinazione di previsioni, suggerisce che se si prendono due previsioni imperfette e se ne fa la media, il risultato dovrebbe essere più accurato di ciascuna di esse da sola. Tuttavia, questa logica presuppone che le due fonti stiano commettendo errori di tipo diverso. Se sia l'umano che la macchina stanno leggendo gli stessi documenti e sono influenzati dallo stesso umore ottimista, potrebbero commettere lo stesso identico errore nello stesso momento. In tal caso, semplicemente fare la media delle loro opinioni non risolve il problema; lo rafforza soltanto.
Questa realtà costituisce lo sfondo per un nuovo studio condotto da ricercatori della Xiamen University Tan Kah Kee College, i quali si sono posti l'obiettivo di testare se un sistema di intelligenza artificiale potesse correggere i pregiudizi sistematici degli analisti finanziari umani. I ricercatori si sono concentrati sul mercato azionario cinese, un'arena vasta e attiva dove migliaia di società sono monitorate da analisti professionisti. Hanno raccolto decenni di dati, esaminando le previsioni sugli utili fatte dagli esperti umani e confrontandole con le previsioni generate da un modello linguistico di grandi dimensioni, un tipo di IA avanzata che legge gli stessi rapporti aziendali ma a cui è severamente vietato vedere le previsioni degli analisti stessi. L'obiettivo era vedere se l'IA potesse agire come un secondo parere indipendente che pulisse l'errore umano, o se le due fonti fossero semplicemente influenzate dalla stessa direzione di pregiudizio, rendendo il loro disaccordo inutile per risolvere il problema centrale.
Lo studio è iniziato riconoscendo un fatto ben noto: gli analisti finanziari umani sono costantemente troppo ottimisti. Nei dati esaminati, questi esperti hanno previsto utili superiori a quelli che effettivamente si sono verificati in circa tre quarti dei casi. I ricercatori hanno quindi introdotto l'IA, che è stata nutrita con gli stessi dati finanziari grezzi ma è stata progettata per essere informazionalmente indipendente, il che significa che non poteva sbirciare il consenso umano. Un'ipotesi naturale potrebbe essere che se l'IA e l'umano sono in disaccordo, la differenza riveli il pregiudizio dell'umano. Se l'umano dice che un'azienda guadagnerà molto e l'IA dice meno, si potrebbe supporre che l'umano abbia torto. Tuttavia, i ricercatori hanno scoperto che questa intuizione è errata. Poiché sia l'umano che l'IA stavano leggendo gli stessi rapporti sottostanti, condividevano un punto cieco comune. Erano entrambi influenzati nella stessa direzione, solo con intensità diverse.
La scoperta centrale del documento è che il disaccordo tra due fonti influenzate non corregge automaticamente il pregiudizio. Quando due previsori condividono un errore comune, il loro disaccordo indica solo quanto differiscono l'uno dall'altro, non dove risieda la verità. Per trovare la verità, è necessario guardare a ciò che è effettivamente accaduto in passato, non solo alla differenza tra le due attuali ipotesi. I ricercatori hanno costruito un modello sofisticato per testare questo aspetto. Innanzitutto, hanno regolato sia le previsioni umane che quelle dell'IA sulla base dei dati storici, insegnando essenzialmente al modello a riconoscere e sottrarre l'ottimismo tipico presente in ciascuna fonte. Una volta completata questa calibrazione, hanno combinato le due visioni per vedere se il risultato fosse migliore rispetto all'uso della sola previsione umana.
I risultati sono stati sfumati e hanno sfidato la speranza che aggiungere l'IA migliori semplicemente tutto. Al livello della pura accuratezza predittiva, la combinazione delle previsioni umane e dell'IA calibrate ha migliorato la descrizione statistica dell'incertezza. Il modello è diventato più bravo a descrivere l'intervallo dei possibili risultati, principalmente perché il disaccordo tra le due fonti ha aiutato il modello a capire quando dovesse essere più cauto. Quando l'umano e l'IA erano in disaccordo, il modello interpretava correttamente questo come un segno di incertezza e ampliava i propri margini di sicurezza. Ciò ha migliorato l'accuratezza probabilistica della previsione, rendendola uno strumento migliore per comprendere il rischio.
Tuttavia, quando i ricercatori hanno testato se questa previsione migliorata portasse a decisioni di investimento migliori, la storia è cambiata. Hanno simulato una strategia di portafoglio che richiedeva un obiettivo specifico e assoluto di rendimento. In questo scenario, l'aggiunta della previsione dell'IA non ha fornito alcun beneficio rilevabile rispetto all'uso della sola previsione umana calibrata. La ragione risiede nella natura del pregiudizio condiviso. Mentre l'IA aiutava il modello a comprendere la dispersione dei possibili risultati, non riusciva a correggere il livello della previsione. Poiché sia l'umano che l'IA erano ancora leggermente troppo ottimisti in media, la previsione combinata rimaneva troppo alta. Per una decisione che dipende dal raggiungere un numero specifico, questo piccolo errore residuo è stato sufficiente a impedire qualsiasi miglioramento. Il disaccordo tra le due fonti non poteva sostituire il duro lavoro della calibrazione rispetto ai risultati del mondo reale.
Lo studio ha anche rivelato che la previsione dell'IA non era un oracolo neutrale e privo di pregiudizi. Come gli analisti umani, anche l'IA era influenzata verso l'alto, prevedendo utili più alti di quelli che si sono effettivamente verificati. Questa scoperta è fondamentale perché smantella l'idea che un'IA sia automaticamente un "portatore di verità" capace di correggere l'errore umano. Invece, l'IA era un'altra fonte di informazione che portava con sé i propri difetti sistematici. I ricercatori hanno scoperto che il pregiudizio dell'IA era di circa un punto percentuale, distinto dal pregiudizio dell'analista di 1,45 punti percentuali. Ciò significa che semplicemente aggiungere un'IA al mix non elimina magicamente l'ottimismo che affligge la previsione finanziaria.
In definitiva, il documento dimostra che il valore di un secondo parere dipende interamente dal tipo di decisione che si sta prendendo. Se l'obiettivo è classificare le aziende dalla migliore alla peggiore, il pregiudizio condiviso non conta, poiché sia l'umano che l'IA probabilmente le classificheranno nello stesso ordine. Ma se l'obiettivo è raggiungere un target specifico, come un tasso di rendimento minimo, quel pregiudizio condiviso diventa un ostacolo critico. La ricerca mostra che non ci si può affidare alla differenza tra due previsioni per correggere un errore condiviso; bisogna imparare dagli esiti reali del passato. Lo studio conclude che, sebbene l'intelligenza artificiale possa migliorare la comprensione dell'incertezza e la descrizione del rischio, non può sostituire la necessità di una rigorosa calibrazione rispetto alla realtà storica. In fin dei conti, un design di intelligenza collaborativa deve separare il compito dell'apprendimento dagli esiti da quello della raccolta di nuove informazioni, riconoscendo che il disaccordo è un segnale di incertezza, non una cura per il pregiudizio.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.