Disagreement Is Not Debiasing: Human–AI Views in Portfolio Decisions
Dit artikel으로 toont aan dat hoewel het toevoegen van een onafhankelijke AI-voorspelling aan de voorspellingen van menselijke analisten de probabilistische nauwkeurigheid verbetert door onzekerheidsschattingen te verfijnen via onenigheid, het faalt in het corrigeren van gedeelde systematische biases of het verbeteren van doelgerichte portfoliobeslissingen zonder kalibratie tegen gerealiseerde uitkomsten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van beleggen voelt het nemen van een beslissing vaak als het proberen te raken van een bewegend doelwit terwijl je op een verschuivend platform staat. Beleggers vertrouwen op prognoses om te raden hoeveel geld een bedrijf zal verdienen, maar deze gissingen zijn zelden perfect. Decennialang was een standaardbenadering om de meningen van menselijke experts te combineren met de berekeningen van computermodellen, in de hoop dat de fouten van de één de fouten van de ander zouden compenseren. Dit idee, bekend als prognosecombinatie, suggereert dat als je twee imperfecte voorspellingen neemt en ze middelt, het resultaat nauwkeuriger zou moeten zijn dan een van beide alleen. Deze logica gaat er echter van uit dat de twee bronnen verschillende soorten fouten maken. Als zowel de mens als de machine naar dezelfde documenten kijken en door dezelfde optimistische stemming worden beïnvloed, kunnen ze precies dezelfde fout op hetzelfde moment maken. In een dergelijk geval lost het simpelweg middelen van hun visies het probleem niet op; het versterkt de fout juist.
Deze realiteit vormt het decor voor een nieuwe studie uitgevoerd door onderzoekers van de Xiamen University Tan Kah Kee College, die onderzoek deden naar de vraag of een systeem van kunstmatige intelligentie de systematische vooroordelen van menselijke financiële analisten kon corrigeren. De onderzoekers concentreerden zich op de Chinese aandelenmarkt, een enorm en actief toneel waar duizenden bedrijven worden gevolgd door professionele analisten. Ze verzamelden decennia aan gegevens, waarbij ze keken naar de winstprognoses van menselijke experts en deze vergeleken met prognoses gegenereerd door een large language model, een type geavanceerde AI dat dezelfde bedrijfsrapporten leest maar strikt verboden is om de eigen voorspellingen van de analisten te zien. Het doel was om te zien of de AI kon fungeren als een onafhankelijke tweede mening die de menselijke fout opschoont, of dat de twee bronnen simpelweg in dezelfde richting bevooroordeeld waren, waardoor hun onenigheid nutteloos was voor het oplossen van het kernprobleem.
De studie begon met het erkennen van een bekend feit: menselijke financiële analisten zijn consequent te optimistisch. In de onderzochte gegevens voorspelden deze experts winsten die hoger waren dan wat er daadwerkelijk gebeurde in ongeveer drie kwart van de gevallen. De onderzoekers introduceerden vervolgens de AI, die werd gevoed met dezelfde ruwe financiële gegevens maar zo was ontworpen dat deze informationeel onafhankelijk was, wat betekent dat de AI niet kon spieken naar de menselijke consensus. Een natuurlijke aanname zou kunnen zijn dat als de AI en de mens het oneens zijn, het verschil de menselijke bias onthult. Als de mens zegt dat een bedrijf veel zal verdienen en de AI minder, zou men kunnen aannemen dat de mens het mis heeft. Echter, de onderzoekers stelden vast dat deze intuïtie gebrekkig is. Omdat zowel de mens als de AI dezelfde onderliggende rapporten lazen, deelden zij een gemeenschappelijke blinde vlek. Ze waren beiden in dezelfde richting bevooroordeeld, zij het met verschillende mate.
De kernontdekking van het artikel is dat onenigheid tussen twee bevooroordeelde bronnen de bias niet automatisch corrigeert. Wanneer twee voorspellers een gemeenschappelijke fout delen, vertelt hun onenigheid je alleen hoeveel ze van elkaar verschillen, niet waar de waarheid daadwerkelijk ligt. Om de waarheid te vinden, moet je kijken naar wat er in het verleden daadwerkelijk is gebeurd, niet alleen naar het verschil tussen de twee huidige gissingen. De onderzoekers bouwden een geavanceerd model om dit te testen. Eerst pasten ze zowel de menselijke als de AI-prognoses aan op basis van historische gegevens, waarbij ze het model in essentie leerden om de typische overoptimisme te herkennen en af te trekken die bij elke bron voorkomt. Zodra deze kalibratie was voltooid, combineerden ze de twee visies om te zien of het resultaat beter was dan alleen de menselijke prognose gebruiken.
De resultaten waren genuanceerd en daagden de hoop uit dat het toevoegen van AI simpelweg alles verbetert. Op het niveau van pure voorspellingsnauwkeurigheid verbeterde de combinatie van de gekalibreerde menselijke en AI-prognoses de statistische beschrijving van onzekerheid. Het model werd beter in het beschrijven van het bereik van mogelijke uitkomsten, grotendeels omdat de onenigheid tussen de twee bronnen het model hielp te begrijpen wanneer het voorzichtiger moest zijn. Wanneer de mens en de AI het oneens waren, interpreteerde het model dit correct als een teken dat de situatie onzeker was en verbredde het de veiligheidsmarges. Dit verbeterde de probabilistische nauwkeurigheid van de prognose, waardoor het een beter instrument werd voor het begrijpen van risico.
Echter, toen de onderzoekers testten of deze verbeterde prognose leidde tot betere beleggingsbeslissingen, veranderde het verhaal. Ze simuleerden een portefeuille-strategie die een specifieke, absolute doelstelling vereiste voor rendementen. In dit scenario bood het toevoegen van de AI-prognose geen detecteerbaar voordeel ten opzichte van het gebruik van de gekalibreerde menselijke prognose alleen. De reden ligt in de aard van de gedeelde bias. Hoewel de AI het model hielp om de spreiding van mogelijke uitkomsten te begrijpen, kon het de hoogte van de prognose niet corrigeren. Omdat zowel de mens als de AI gemiddeld genomen nog steeds iets te optimistisch waren, bleef de gecombineerde prognose te hoog. Voor een beslissing die afhangt van het behalen van een specifiek getal, was deze kleine resterende fout genoeg om elke verbetering te voorkomen. De onenigheid tussen de twee bronnen kon niet in de plaats komen van het harde werk van kalibratie tegen de werkelijkheid.
De studie onthulde ook dat de AI-prognose zelf geen neutrale, onbevooroordeelde orakel was. Net als de menselijke analisten was de AI ook naar boven toe bevooroordeeld, waarbij het winsten voorspelde die hoger waren dan wat er daadwerkelijk plaatsvond. Dit bevinding is cruciaal omdat het de gedachte ontmantelt dat een AI automatisch een "waarheidsspreker" is die menselijke fouten kan corrigeren. In plaats daarvan was de AI een andere bron van informatie die haar eigen systematische gebreken met zich meedroeg. De onderzoekers vonden dat de bias van de AI ongeveer één procentpunt bedroeg, in tegenstelling tot de analistenbias van 1,45 procentpunt. Dit betekent dat het simpelweg toevoegen van een AI aan de mix niet magisch de optimisme verwijdert die de financiële voorspelling teistert.
Uiteindelijk laat het artikel zien dat de waarde van een tweede mening volledig afhangt van het type beslissing dat wordt genomen. Als het doel is om bedrijven van best naar slecht te rangschikken, doet de gedeelde bias er niet toe, omdat zowel de mens als de AI waarschijnlijk in dezelfde volgorde rangschikken. Maar als het doel is om een specifieke doelstelling te halen, zoals een minimaal rendement, dan wordt die gedeelde bias een kritieke hindernis. Het onderzoek laat zien dat je niet kunt vertrouwen op het verschil tussen twee prognoses om een gedeelde fout te herstellen; je moet leren van de werkelijke uitkomsten uit het verleden. De studie concludeert dat hoewel kunstmatige intelligentie het begrip van onzekerheid en de beschrijving van risico kan verbeteren, het de noodzaak van rigoureuze kalibratie tegen de historische realiteit niet kan vervangen. Uiteindelijk moet een ontwerp voor collaboratieve intelligentie de taak van het leren van uitkomsten scheiden van de taak van het verzamelen van nieuwe informatie, waarbij wordt erkend dat onenigheid een signaal van onzekerheid is, en geen medicijn tegen bias.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.