Governing Agentic AI in FinTech
Dieses Paper argumentiert, dass die primäre Governance-Einschränkung für agentische KI im FinTech-Sektor nicht die Leistungsfähigkeit, sondern die Verifizierbarkeit ist, wobei es die „Verifizierbarkeitslücke“ einführt und durch empirische Studien nachweist, dass aktuelle Systeme nicht über die Reproduzierbarkeit und Erklärbarkeit verfügen, die für eine rechtfertigbare Delegation folgenschwerer finanzieller Entscheidungen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, aber anstatt das Schiff selbst zu steuern, haben Sie eine brillante, superschnelle Roboter-Crew eingestellt, die die Navigation übernimmt. Sie sagen ihnen: „Bring uns zum Roten Planeten“, und sie sausen los, prüfen Karten, berechnen den Treibstoffverbrauch und zünden die Triebwerke, ohne jedes Mal um Ihre Erlaubnis zu fragen. Dies ist die Welt der Agentischen KI: künstliche Intelligenz, die nicht nur chattet oder Gedichte schreibt, sondern tatsächlich Dinge tut, wie etwa Kredite zu genehmigen, Aktien zu kaufen oder Geld zu verwalten. Lange Zeit haben Wissenschaftler und Banker über das „Black Box“-Problem besorgt gewesen – das bedeutet, der Roboter trifft eine Entscheidung, aber niemand weiß, warum oder wie er es getan hat. Die übliche Lösung bestand darin, das Gehirn des Roboters immer wieder durchlaufen zu lassen, um zu sehen, ob er dieselbe Antwort gibt. Aber hier kommt die Wendung: Was, wenn sich das Gehirn des Roboters jedes Mal verändert, wenn man nach ihm sieht? Was, wenn der Roboter seine eigenen Schritte vergisst oder die Werkzeuge, die er zur Navigation nutzt, vom Unternehmen, das ihn gebaut hat, ausgetauscht werden? Dieses Paper stellt eine beängstigende, aber notwendige Frage: Wenn ein Roboter heute eine große Finanzentscheidung trifft, können wir morgen genau beweisen, wie sie zustande kam, oder ist die Beweislast in Luft aufgelöst worden?
Das Paper mit dem Titel „Governing Agentic AI in FinTech“ von Henry Han taucht tief in dieses Mysterium ein. Der Autor argumentiert, dass das größte Problem nicht darin besteht, ob diese KI-Agenten klug genug sind, Entscheidungen zu treffen, sondern ob wir sie verifizieren können. Er führt ein Konzept namens die Verifizierbarkeitslücke (Verifiability Gap) ein. Stellen Sie sich das so vor: Sie geben einem Roboter eine Million Dollar zur Investition. Er tätigt einen Trade. Später fragt ein Auditor: „Zeigen Sie mir die Quittungen.“ Wenn der Roboter Ihnen nicht den exakten digitalen Pfad zeigen kann, wie er diesen Trade getätigt hat, oder wenn die „Quittungen“, die er Ihnen zeigt, andere sind als die, die er tatsächlich verwendet hat, klafft eine Lücke zwischen dem, was Sie ihn tun ließen, und dem, was Sie beweisen können, dass er getan hat. Das Paper legt nahe, dass sich diese Lücke vergrößert, während wir KI-Agenten mehr Kontrolle überlassen, und dass wir möglicherweise blind fliegen.
Um dies herauszufinden, führte der Forscher drei verschiedene „Laborexperimente“ unter Verwendung von Finanzszenarien wie Kreditgenehmigungen und Aktienhandel durch. Hier ist, was er fand, und es ist ein wenig wie ein Wendepunkt in einem Krimi.
Zuerst testete er, was passiert, wenn das „Gehirn“ der KI ein Update erhält. Er verwendete ein leistungsstarkes KI-Modell und ließ dasselbe über einen Zeitraum von 185 Tagen für 32 Finanzfälle durchlaufen. Obwohl die Anweisungen identisch waren, begannen die Entscheidungen der KI zu driften. In den späteren Updates wurde die KI konservativer und änderte ihre Meinung bei 5 von den 32 Fällen. Aber der eigentliche Clou? Das Unternehmen, das die KI gebaut hatte, nahm den Nutzern auch die „Regler“ weg, mit denen sie steuern konnten, wie die KI denkt. Sie entfernten die Möglichkeit, einen „Random Seed“ (eine Zahl, die die Entscheidungen der KI reproduzierbar macht) festzulegen. Es ist, als würde der Roboter-Kapitän plötzlich den Motor des Schiffes ändern und dann die Tür zum Kontrollraum abschließen mit der Begründung: „Sie können an den Knöpfen nicht mehr drehen.“ Die Studie ergab, dass selbst mit den strengsten Kontrollen eine lokale Version der KI ihre eigenen Aktionen perfekt wiederholen konnte (320 von 320 Malen), eine kommerzielle, gehostete Version jedoch nicht (319 von 320 und 959 von 960 Malen). Die KI traf vertretbare Entscheidungen, aber die Bank konnte nicht exakt beweisen, wie sie es tat, weil die Werkzeuge zum Wiederholen der Entscheidung verschwunden waren.
Zweitens untersuchte das Paper, was passiert, wenn man mehr Roboter zum Team hinzufügt. Stellen Sie sich vor, ein Roboter erledigt die Arbeit gegenüber einem Team von 50 Robotern, die sich gegenseitig Zettel zuschieben. Der Forscher fand heraus, dass das Hinzufügen von mehr Robotern das System nicht nur komplexer machte, sondern tatsächlich die Regeln des Spiels änderte, ohne dass es jemand bemerkte. Es ist wie bei einem Staffellauf, bei dem der Stab so oft weitergereicht wird, dass der Läufer an der Ziellinie keine Ahnung hat, wer das Rennen gestartet hat. In diesen Multi-Agenten-Setups mag das Endergebnis (das Urteil) stabil erscheinen, aber der Weg dorthin war ein Chaos. Tatsächlich fand die Studie heraus, dass mit zunehmender Größe des Teams die KI anfing, für jeden Fall die gleiche Entscheidung zu treffen, nur um auf der sicheren Seite zu sein. Es war wie ein Schüler, der, wenn er verwirrt ist, bei jeder Testfrage einfach „Ich weiß es nicht“ schreibt. Die KI wirkte super zuverlässig, weil sie immer wieder dieselbe Antwort gab, aber sie hatte aufgehört, über die Unterschiede zwischen den Fällen nachzudenken. Das Paper nennt dies „degenerate outcome reproducibility“ (degenere Ergebnismitbildbarkeit): Es sieht stabil aus, ist aber eigentlich kaputt, weil es aufgehört hat, zwischen verschiedenen Situationen zu unterscheiden.
Schließlich testete der Forscher ein einfaches, transparentes Kreditmodell (eines, das überhaupt keine „Black Box“ ist), um zu sehen, ob das Problem nur an komplexer KI lag. Er verwendete zwei Versionen desselben Modells, eine alte und eine neue. Obwohl das neue Modell fast identisch mit dem alten war, änderte es die Entscheidung bei 23 von 1.937 Kreditanträgen. Ein Antragsteller wurde vom alten Modell abgelehnt, aber vom neuen Modell zur menschlichen Überprüfung weitergeleitet, nur weil sich der Score um einen winzigen Bruchteil bewegte. Das Beängstigende daran? Wenn man versucht, die alte Entscheidung mit dem neuen Modell nachzuspielen, kann man es nicht. Das neue Modell ist für sich genommen perfekt stabil, aber es kann die Geschichte des alten nicht rekonstruieren. Es ist, als würde man ein Rezept mit einer winzigen Änderung der Salzmenge neu schreiben, und plötzlich schmeckt der Kuchen anders, aber man kann den ursprünglichen Kuchen nicht mehr schmecken, weil man das alte Rezept bereits weggeworfen hat.
Was bedeutet das also alles? Das Paper legt nahe, dass wir der KI nicht einfach vertrauen und auf das Beste hoffen können. Wir können nicht davon ausgehen, dass eine KI, nur weil sie klug ist, auch rechenschaftspflichtig ist. Der Autor schlägt eine neue Denkweise vor, die evidenzbasierte Delegation (evidence-contingent delegation) genannt wird. Das bedeutet, wir sollten KI-Agenten nur dann große Entscheidungen treffen lassen, solange wir ein perfektes, ununterbrochenes „Bündel an Beweisen“ (evidence bundle) behalten können, das genau beweist, wie sie gehandelt haben. Wenn sich das Gehirn der KI ändert, oder wenn sich die Werkzeuge, die sie nutzt, ändern, oder wenn das Team der Roboter zu groß und chaotisch wird, müssen wir innehalten und sagen: „Warte, das können wir nicht mehr beweisen.“ Wir müssen vielleicht langsamer werden, detailliertere Protokolle führen oder einen Menschen einschalten, der die Arbeit doppelt prüft. Das Paper sagt nicht, dass KI schlecht ist; es sagt, dass für den Einsatz von KI in der Finanzwelt sichergestellt werden muss, dass wir immer zurückblicken und sagen können: „Ja, genau so ist es passiert“, selbst wenn der Roboter schon zur nächsten Aufgabe übergegangen ist. Oh-ne dieser Beweise wird der Roboter zwar das Schiff steuern, aber wir sind diejenigen, die die Verantwortung tragen, wenn es abstürzt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.