Can Language Models Identify Shadow Trading Targets? An NLP Evaluation of SEC Enforcement Theory

Stellen Sie sich eine Welt vor, in der die Börse eine riesige, belebte Bibliothek ist. In dieser Bibliothek schreibt jedes Unternehmen ein jährliches Tagebuch namens „10-K“, in dem genau beschrieben wird, was es verkauft, mit wem es konkurriert und welchen Risiken es ausgesetzt ist. Seit Jahrzehnten glauben die Aufsichtsbehörden, dass man, wenn man diese Tagebücher sorgfältig liest, „Zwillinge“ oder „Cousins“ ausmachen kann, allein dadurch, wie ähnlich sich ihre Geschichten anhören. Diese Idee bildet die Grundlage einer neuen, umstrittenen Regel namens „Shadow Trading“ (Schattenhandel).

Die Regel besagt Folgendes: Wenn ein Insider eines Unternehmens ein Geheimnis über seine eigene Firma erfährt (wie etwa eine überraschende Fusion), soll er nicht nur vermeiden, mit seinen eigenen Aktien zu handeln. Er soll auch ohne explizite Anweisung wissen, dass auch seine „Cousin“-Unternehmen davon betroffen sein könnten. Wenn er auf Basis dieses Geheimnisses mit den Aktien seiner Cousins handelt, ist das illegal. Das Problem dabei ist, dass die derzeitige Methode der Regierung, diese Händler zu überführen, so ist, als würde man eine Kamera vor jeden einzelnen Menschen in der Bibliothek stellen und jeden Schritt aufzeichnen, in der Hoffnung, die eine Person zu finden, die in das falsche Buch geschaut hat. Diese massive Überwachung ist teuer und wirft große Fragen zum Thema Privatsphäre auf. Die zentrale Frage, die dieses Paper stellt, ist simpel: Kann ein superintelligenter Computer (eine KI) jene Unternehmens-Tagebücher lesen und herausfinden, welche Unternehmen „Cousins“ sind, bevor der Handel stattfindet? Wenn die Antwort „Ja“ lautet, brauchen wir vielleicht keine Überwachung von jedem Einzelnen. Wenn die Antwort „Nein“ lautet, dann könnte die massive Überwachung der Regierung der einzige Weg sein, um diese Händler zu fassen, selbst wenn sie sich wie eine Verletzung der Privatsphäre anfühlt.

Dieses Paper mit dem Titel „Can Language Models Identify Shadow Trading Targets?“ stellt diese Idee unter Verwendung einer hochmodernen KI auf die Probe. Die Forscher entwickelten einen zweistufigen Roboter-Detektiv. Zuerst liest die KI die „Tagebücher“ (speziell den Abschnitt „Management's Discussion and Analysis“) eines Unternehmens, das gerade übernommen wurde. Dann versucht sie, zehn andere Unternehmen aufzulisten, die am ähnlichsten klingen, und agiert dabei wie ein Insider, der die Branche kennt. Zweitens vergibt die KI für diese „Cousin“-Unternehmen einen Ähnlichkeitswert und ordnet sie von „sehr enger Verwandtschaft“ bis hin zu „entfernten Bekannten“.

Die Forscher spielten daraufhin ein Spiel nach dem Motto „Muster erkennen“. Sie untersuchten 30 reale Unternehmenskäufe aus dem letzten Jahrzehnt. Für jedes Ereignis prüften sie: Hatten die Unternehmen, die die KI als die engsten „Cousins“ einstufte, tatsächlich einen Anstieg ihrer Aktienkurse am Tag der Nachrichtenmeldung verzeichnet? Wenn die Theorie des „Shadow Trading“ wahr ist, sollte die KI in der Lage gewesen sein, genau vorherzusagen, welche Aktien sich bewegen würden.

Die Ergebnisse waren ein ziemlicher Reinfall für die Theorie. Als die Forscher die gesamte Gruppe von 30 Ereignissen betrachteten, hatten die Rankings der KI fast keine Verbindung dazu, wie sich die Aktien tatsächlich bewegten. Es war, als versuche man, den Gewinner eines Pferderennens vorherzusagen, indem man sich die Hufe der Pferde ansieht; die „Ähnlichkeitswerte“ der KI waren genauso wahrscheinlich falsch wie richtig. Tatsächlich war die statistische Verbindung so schwach (+0,07), dass die Forscher zu dem Schluss kamen, dass die Daten inkonsistent mit einer moderaten Beziehung sind. Sie fanden, dass in 14 Fällen die Vermutungen der KI mit dem Markt übereinstimmten, in 12 Fällen jedoch dem Markt völlig widersprachen und in 4 Fällen einfach ein einziges Chaos waren.

Das Paper schließt nicht definitiv aus, dass die öffentlichen Unternehmens-Tagebücher eine Landkarte enthalten, die zeigt, welche Aktien gemeinsam schwanken werden; es stellt vielmehr fest, dass der spezifische Test der Autoren nicht etabliert hat, dass eine solche Landkarte existiert, und die Größe einer möglichen Beziehung als sehr gering eingegrenzt hat. Die Autoren legen nahe, dass die „wirtschaftliche Verknüpfung“, auf die sich die Regierung stützt, nichts ist, das man zuverlässig finden kann, indem man lediglich Texte mit den verwendeten Werkzeugen liest. Im berühmten Fall, der die gesamte Debatte auslöste (SEC v. Panuwat), gelang es der KI zwar, das spezifische beteiligte Unternehmen (Incyte) zu finden, aber sie platzierte es nur auf dem dritten Platz von zehn, während die Aktie, die sich tatsächlich am stärksten bewegte, ein Peer-Unternehmen war, das auf Platz neun rangierte.

Die Autoren sind vorsichtig damit, nicht zu behaupten, dass „Shadow Trading“ nicht stattfindet oder dass die KI nutzlos ist. Sie stellen lediglich fest, dass – mit den von ihnen verwendeten Werkzeugen – die Vorstellung, ein Insider könne einen öffentlichen Bericht lesen und genau wissen, welche anderen Aktien nun tabu sind, durch die Beweise nicht gestützt wird. Die „Cousin“-Beziehung scheint zu unordentlich und unvorhersehbar zu sein, um allein durch das Lesen von Texten gefunden werden zu können. Dieses Ergebnis setzt die rechtliche Theorie unter Druck: Wenn man die „Cousins“ im Voraus mithilfe öffentlicher Informationen nicht identifizieren kann, dann könnte das massive Überwachungssystem der Regierung die einzige verbleibende Option sein, selbst wenn es sich wie ein „digitaler Generalbefehl“ anfühlt, der jeden beobachtet, um die wenigen zu finden, die gegen die Regeln verstoßen.