Can Language Models Identify Shadow Trading Targets? An NLP Evaluation of SEC Enforcement Theory

Stel je een wereld voor waarin de aandelenmarkt een enorme, drukke bibliotheek is. Binnenin schrijft elk bedrijf een jaarlijks dagboek genaamd een "10-K", waarin gedetailleerd wordt beschreven wat ze verkopen, met wie ze concurreren en welke risico's zij lopen. Decennialang hebben toezichthouders geloofd dat als je deze dagboeken zorgvuldig leest, je kunt zien welke bedrijven "tweelingen" of "neven" zijn, simpelweg door te kijken hoe vergelijkbaar hun verhalen klinken. Dit idee vormt de basis van een nieuwe, controversiële regel genaamd "shadow trading" (schaduwhandel).

De regel gaat als volgt: als een insider van een bedrijf een geheim leert over hun eigen bedrijf (zoals een verrassende fusie), wordt van hen niet alleen verwacht dat ze niet handelen in hun eigen aandelen. Ze wordt ook verwacht dat ze, zonder dat dit expliciet gezegd wordt, begrijpen dat hun "nevenbedrijven" ook beïnvloed kunnen worden. Als zij handelen in de aandelen van hun neefbedrijven op basis van dat geheim, is dat illegaal. Het probleem is dat de huidige manier waarop de overheid deze handelaren betraapt, lijkt op het installeren van een camera bij elk individu in de bibliotheek en elke stap die ze zetten vast te leggen, in de hoop de persoon te vinden die naar het verkeerde boek heeft gekeken. Deze massale surveillance is duur en roept grote vragen op over privacy. De grote vraag die dit artikel stelt is simpel: kan een superintelligente computer (een AI) die bedrijfsdagboeken lezen en bepalen welke bedrijven "neven" zijn voordat de handel plaatsvindt? Als het antwoord "ja" is, hebben we misschien geen spionage naar iedereen nodig. Als het antwoord "nee" is, dan is de massale surveillance van de overheid misschien de enige manier om deze handelaren te betrappen, zelfs als dat voelt als een inbreuk op de privacy.

Dit artikel, getiteld "Can Language Models Identify Shadow Trading Targets?", onderwerpt dat idee aan een test met behulp van een state-of-the-art AI. De onderzoekers bouwden een tweestaps robotdetective. Eerst leest de AI de "dagboeken" (specifiek de sectie "Management's Discussion and Analysis") van een bedrijf dat net is overgenomen. Vervolgens probeert de AI tien andere bedrijven te noemen die het meest vergelijkbaar klinken, alsover als een insider die de sector kent. Twe: de AI geeft deze "neefbedrijven" een gelijkenis-score, waarbij ze worden gerangschikt van "zeer nauwe familie" tot "verafgaande kennissen".

De onderzoekers speelden vervolgens een spel van "patroon herkennen". Ze bekeken 3ole echte overnames van bedrijven uit het afgelopen decennium. Voor elk evenement controleerden ze: zagen de bedrijven die de AI als de dichtstbijzijnde "neven" beschouwde, daadwerkelijk hun aandelenkoersen stijgen op de dag dat het nieuws bekend werd? Als de "shadow trading"-theorie waar is, had de AI de aandelen die zouden bewegen precies moeten kunnen voorspellen.

De resultaten waren een beetje een teleurstelling voor de theorie. Toen de onderzoekers naar de hele groep van 30 gebeurtenissen keken, hadden de rangschikkingen van de AI bijna geen verband met hoe de aandelen daadwerkelijk bewogen. Het was alsof je probeerde de winnaar van een paardenrace te raden door naar de hoefijzers van de paarden te kijken; de "gelijkenis-scores" van de AI waren net zo vaak fout als goed. Sterker nog, de statistische link was zo zwak (+0,07) dat de onderzoekers concludeerden dat de data inconsistent is met een enigmatig aanzienlijk verband. Ze vonden dat in 14 gevallen de gokken van de AI overeenkwamen met de markt, maar in 12 gevallen stonden ze er volledig tegenover in, en in 4 gevallen was het een puinhoop.

Het artikel sluit niet definitief uit dat openbare bedrijfsdagboeken een kaart bevatten van welke aandelen samen zullen bewegen; in plaats daarvan stelt het dat hun specifieke test niet heeft vastgesteld dat een dergelijke kaart bestaat en dat zij de omvang beperkte van elk mogelijk verband tot een zeer kleine waarde. De auteurs suggereren dat de "economische koppeling" waar de overheid op vertrouwt, niet iets is dat je betrouwbaar kunt vinden door enkel tekst te lezen met de instrumenten die zij gebruikten. In de beroemde zaak die dit hele debat startte (SEC v. Panuwat), slaagde de AI er weliswaar in om het specifieke bedrijf (Incyte) te vinden, maar het rangschikte het bedrijf slechts als derde van de tien, terwijl het aandeel dat het meest bewoog, een soortgenoot was die als negende werd gerangschikt.

De auteurs zijn voorzichtig en zeggen niet dat "shadow trading" niet bestaat of dat de AI nutteloos is. Ze stellen simpelweg dat, met de instrumenten die zij gebruikten, de gedachte dat een insider naar een openbaar rapport kan kijken en exact weet welke andere aandelen verboden terrein zijn, niet door de bewijzen wordt ondersteund. De "neef"-relatie lijkt te chaotisch en onvoorspelbaar om enkel door het lezen van tekst te worden gevonden. Deze bevinding zet druk op de juridische theorie: als je de "neven" niet vooraf kunt identificeren met behulp van publieke informatie, dan is het massale surveillancesysteem dat de overheid gebruikt om deze handelaren te betrappen, misschien wel de enige optie die overblijft, zelfs als dat voelt als een "digitale algemene bevelsbrief" die iedereen in de gaten houdt om de enkelingen te vinden die de regels breken.