Cognitive Load and Information Processing in Financial Markets: Theory and Evidence from Disclosure Complexity

In de wereld van de financiële sector zijn bedrijven verplicht om gedetailleerde rapporten te publiceren over hun geld, hun schulden en hun toekomstige plannen. Decennialang was de aanname dat de moeilijkheid van het begrijpen van deze rapporten volledig afhing van het document zelf. Als een rapport lang was, vol stond met complexe zinnen of gepakt was met dichte tabellen, werd het beschouwd als "moeilijk leesbaar", en die moeilijkheid werd gezien als een vaststaand kenmerk van het papier. Dit idee vormde de manier waarop onderzoekers het gedrag van beleggers bestudeerden, uitgaande van de veronderstelling dat een ingewikkeld rapport iedereen gelijkmatig zou verwarren, ongeacht wie het las of welke hulpmiddelen zij gebruikten. De manier waarop informatie wordt geleverd, is echter veranderd. Bedrijven dienen deze rapporten nu in twee vormen tegelijk in: een traditioneel document bedoeld voor menselijke ogen, en een gestructureerd digitaal bestand dat ontworpen is om door computers direct gelezen te worden. Deze verschuiving roept een nieuwe vraag op: blijft de moeilijkheid van een rapport hetzelfde wanneer een mens het leest versus wanneer een machine het verwerkt?

Een team van onderzoekers zette zich in om dit te beantwoorden door de moeilijkheid van een financieel rapport niet te behandelen als één enkel getal, maar als een resultaat van drie zaken die samenwerken: de lezer, de taak en de interface. Ze wilden zien of de oude regels nog steeds golden in een tijdperk waarin kunstmatige intelligentie en geautomatiseerde software steeds vaker degene zijn die deze documenten lezen. Hiervoor bekeken ze historische gegevens van de Amerikaanse Securities and Exchange Commission, analyseerden ze duizenden moderne indieningen en voerden ze een grootschalig experiment uit waarbij ze computermodellen vroegen vragen over bedrijfsrapporten te beantwoorden met behulp van verschillende methoden. Hun werk onthult dat de complexiteit van een financieel rapport geen stabiele eigenschap van het document is. In plaats daarvan verandert het afhankelijk van wie de vraag stelt en hoe die vraag gesteld wordt.

De onderzoekers begonnen door terug te kijken naar een specifiek moment in de geschiedenis toen de regels voor het indienen veranderden. Rond 2009 werden grote bedrijven verplicht om hun financiële gegevens ook in een speciaal, door machines leesbaar formaat genaamd XBRL in te dienen, naast hun standaardrapporten. Het team reconstrueerde de verkeerslogs van de overheidswebsite om te zien hoe mensen en computers op deze verandering reageerden. Ze ontdekten dat de regel niet werkte als een eenvoudige aan/uit-schakelaar. Hoewel de vereiste het gebruik van de machineleesbare bestanden wel heeft vergroot, zorgde het niet voor een enorme daling in het aantal mensen dat de standaarddocumenten las. Belangrijker nog, de gegevens suggereerden dat de twee formaten verschillende doelen dienden. De machineleesbare bestanden werden vaker geraadpleegd door geautomatiseerde systemen, terwijl de door mensen leesbare documenten de primaire bron bleven voor direct lezen. Dit gaf aan dat de "last" van het lezen van een rapport aan het verschuiven was. Voor een mens bestond de last uit het lezen van lange pagina's tekst. Voor een machine bestond de last uit het vinden van de juiste cijfers binnen een gestructureerd bestand.

Om te begrijpen hoe deze twee werelden vandaag de dag met elkaar interageren, onderzochten de onderzoekers meer dan 200.000 moderne indieningen. Ze ontdekten een verrassend patroon: de bedrijven die de langste, meest complexe rapporten produceerden voor mensen, waren vaak dezelfde bedrijven die de rijkste, meest gedetailleerde gegevens voor machines boden. In het verleden zouden onderzoekers misschien hebben aangenomen dat een lang rapport simpelweg "moeilijk" was voor iedereen. De nieuwe gegevens lieten zien dat een rapport zeer moeilijk kan zijn voor een persoon om te lezen vanwege de lengte en het vocabulaire, maar tegelijkertijd extreem gemakkelijk voor een computer om specifieke feiten uit te extraheren. Dit betekent dat de oude manier om complexiteit te meten — het tellen van woorden of zinlengte — niet langer het hele verhaal vertelt. Een rapport kan "moeilijk" zijn voor een mens en "gemakkelijk" voor een machine op hetzelfde moment. De onderzoekers ontdekten ook dat grotere bedrijven, die complexere bedrijfsactiviteiten hebben, de neiging hadden om zowel een hogere menselijke leeslast als een hogere machine-toegankelijkheid te hebben. Dit suggereert dat de kloof tussen wat gemakkelijk is voor een persoon en wat gemakkelijk is voor een computer niet willekeurig is; het is een structureel kenmerk van het moderne financiële systeem.

Het meest onthullende deel van de studie was een gecontroleerd experiment waarbij de onderzoekers testten hoe goed kunstmatige intelligentie vragen over deze rapporten kon beantwoorden. Ze namen 432 specifieke vragen over bedrijfsfinanciën, zoals "Wat was de netto-inkomst?" of "Wat is de huidige ratio?", en vroegen aan zes verschillende AI-modellen om deze te beantwoorden. Ze testten deze vragen onder twaalf verschillende omstandigheden. In sommige gevallen kreeg de AI het volledige, rommelige menselijke document. In andere gevallen kreeg het een perfect georganiseerde lijst van alleen de feiten die het nodig had. In sommige gevallen moest de AI de feiten zelf zoeken, terwijl in andere gevallen de feiten direct aan de AI werden overhandigd.

De resultaten waren duidelijk en specifiek. Wanneer de AI het volledige menselijke document kreeg en zelf de cijfers moest vinden, beantwoordde het de vragen slechts in ongeveer 47 procent van de gevallen correct. Echter, wanneer de onderzoekers de AI exact dezelfde tekst gaven, maar deze zo organiseerden dat de relevante feiten gemakkelijk te vinden waren, schoot de nauwkeurigheid omhoog naar bijna 100 procent. Dit bewees dat het hoofpprobleem voor de AI niet was dat het de taal of de wiskunde niet begreep. Het probleem was dat de AI de juiste cijfers niet kon vinden te midden van duizenden woorden. De onderzoekers testten ook of het speciale machineleesbare formaat (XBRL) inherent beter was dan platte tekst. Ze ontdekten dat zodra de AI exact dezelfde feiten in beide formaten kreeg, het verschil in nauwkeurigheid bijna nul was. Het voordeel van het machineleesbare formaat kwam niet voort uit het formaat zelf, maar uit het feit dat het makkelijker maakte om de specifieke cijfers te lokaliseren die nodig waren.

Deze bevinding daagt het idee uit dat het simpelweg overstappen naar een machineleesbaar formaat alle problemen oplost. De onderzoekers toonden aan dat de echte flessenhals "evidence localization" is — het vermogen om het juiste stuk informatie in een groot document te vinden. Als een computer het getal kan vinden, kan het het antwoord correct berekenen, of dat getal nu uit een gestructureerd bestand of een platte tekst komt. De studie testte ook of de AI de antwoorden simpelweg uit de trainingsdata had onthouden. De onderzoekers veranderden de cijfers in de rapporten naar nieuwe, verzonnen waarden en vroegen de AI om opnieuw antwoord te geven. De AI beantwoordde de vragen nog steeds correct, wat bewees dat het daadwerkelijk het document las en het werk deed, in plaats van alleen oude feiten op te roepen.

De studie concludeert dat we de complexiteit van een financieel rapport niet langer kunnen behandelen als een enkele, vaste score. De moeilijkheid van een rapport hangt af van de lezer, de taak en de middelen die worden gebruikt om er toegang toe te krijgen. Voor een menselijke investeerder is een lang rapport met complexe taal een zware last. Voor een machine is de last het vinden van het juiste datapunt in een zee van tekst. De onderzoekers ontdekten dat de kloof tussen menselijke moeilijkheid en machinegemak groter wordt, en dat de instrumenten die we gebruiken om toegang te krijgen tot informatie belangrijker zijn dan het document zelf. Dit betekent dat naarmate we verder bewegen in een tijdperk waarin kunstmatige intelligentie ons helpt bij het nemen van financiële beslissingen, we moeten stoppen met het zien van rapporten als statische objecten en ze moeten gaan zien als dynamische inputs die veranderen op basis van hoe ze worden verwerkt. De moeilijkheid zit niet in het papier; het zit in het pad tussen het papier en de persoon of machine die probeert het te begrijpen.