Learning Dispute Structure for Settlement Prediction in Financial ADR: A Multi-Task and Cross-Institutional Approach

Stellen Sie sich die Welt des Rechts als einen riesigen, lärmenden Marktplatz vor, auf dem Menschen über Geld, Verträge und Versprechen streiten. Normalerweise gehen zwei Personen, die sich nicht einigen können, zu einem Richter in einem Gerichtssaal, was wie ein hochgestochenes Schiedsrichterspiel ist, das ewig dauert und ein Vermögen kostet. Aber es gibt einen leiseren, schnelleren Weg, diese Kämpfe zu lösen, der sich „Alternative Dispute Resolution“ (ADR) nennt. Betrachten Sie ADR als eine spezialisierte Mediationskabine, in der ein neutraler Helfer versucht, die beiden streitenden Parteien dazu zu bringen, sich die Hände zu geben und die Rechnung zu begleichen, ohne jemals einen Fuß in einen Gerichtssaal setzen zu müssen. In der Welt der Finanzen sind diese Kabinen entscheidend, da Geldangelegenheiten jeden Tag komplizierter werden und die Menschen manchmal einfach einen schnellen, fairen Weg brauchen, um ein gebrochenes Geschäft zu reparieren.

Stellen Sie sich nun vor, man versucht, einen Computer zu diesem Mediator zu erziehen. Hier kommt „Natural Language Processing“ (NLP) ins Spiel. NLP ist der Zweig der Wissenschaft, der Computer lehrt, menschliche Worte zu lesen und zu verstehen – so als würde man einem Roboter ein Wörterbuch und ein Gehirn geben, um zu begreifen, was eine Person eigentlich sagt. Die große Frage, die Forscher gestellt haben, lautet: Können wir einen Computer dazu bringen, sich die Argumente beider Seiten eines Finanzstreits anzusehen und vorherzusagen, ob sie erfolgreich einen Deal abschließen (sich einigen) oder wütend auseinandergehen werden? Es ist ein bisschen so, als würde man versuchen, das Ende eines Films zu erraten, indem man nur die ersten zwei Seiten des Skripts liert. Wenn wir das schaffen, könnten wir helfen, Streitigkeiten schneller zu lösen, Zeit zu sparen und vielleicht sogar Streitigkeiten von vornherein zu verhindern, indem wir Warnsignale frühzeitig erkennen.

Dieses Papier, geschrieben von Koutarou Tamura vom Nomura Research Institute in Japan, taucht genau in diese Herausforderung ein. Der Autor sammelte eine massive Sammlung echter Finanzstreitfälle von fünf verschiedenen Organisationen in Japan und schuf so eine einheitliche „Bibliothek“ aus 10.307 Geschichten. Jede Geschichte in dieser Bibliothek besteht aus zwei Hauptteilen: dem, was der Beschwerdeführer (Complainant) sagte, und dem, was das beschuldigte Unternehmen (Respondent) sagte. Das Ziel war es, ein intelligentes Computermodell zu bauen, das diese gepaarten Argumente lesen und das Ergebnis erraten kann: Werden sie sich einigen oder werden sie es nicht tun?

Aber hier kommt der clevere Kniff, den der Autor eingeführt hat. Anstatt den Computer nur das Ergebnis erraten zu lassen, schlägt das Papier vor, dass wir ihn auch lehren sollten, die Struktur des Arguments zu verstehen. Es ist, als würde man einen Detektiv nicht nur lehren, den Täter zu erraten, sondern ihn zuerst lehren, welche Art von Verbrechen es überhaupt ist. Der Autor entwickelte ein spezielles „Tagging-System“, das Streitigkeiten in Kategorien wie „Informationsprobleme“ (vielleicht wurde das Risiko nicht gut erklärt), „Eignungsfragen“ (vielleicht passte das Produkt nicht zum Kunden), „Fehlverhalten“ (wie unbefugte Handlungen) oder „Externe Faktoren“ (wie ein Börsencrash) einteilt.

Das Papier schlägt ein „Multi-Task“-Lernmodell vor. Stellen Sie sich das wie einen Schüler vor, der zwei Prüfungen gleichzeitig ablegt: Eine Prüfung besteht darin, das Ergebnis der Einigung zu erraten, und die andere darin, die Art des Streits zu benennen. Die Idee ist, dass der Computer durch das Lernen der Art des Kampfes besser darin wird, das Ergebnis des Kampfes vorherzusagen. Die Forscher testeten dies gegen andere Methoden, einschließlich riesiger „Large Language Models“ (LLMs), also superintelligenter KI-Chatbots, die fast alles im Internet gelesen haben.

Die Ergebnisse waren sehr interessant. Das Papier legt nahe, dass das Multi-Task-Modell, das sowohl das Ergebnis als auch die Struktur des Streits gleichzeitig lernte, bei der Vorhersage von Einigungen besser abschnitt als ein Modell, das nur nach dem Ausgang suchte. Konkret stieg die Erfolgsrate (gemessen an etwas, das man F1-Score nennt) von 0,70 auf 0,73, als das Modell über die Strukturen der Streitigkeiten unterricht wurde. Dies deutet darauf hin, dass das Verständnis der „Form“ des Arguments dem Computer hilft, intelligentere Vermutungen anzustellen.

Das Papier stellte jedoch auch fest, dass dies kein Zaubermittel ist, das überall perfekt funktioniert. Als die Forscher das Modell in verschiedenen Finanzsektoren testeten, variierten die Ergebnisse. Zum Beispiel arbeitete das Modell sehr gut für Wertpapiere (FINMAC), war aber etwas weniger effektiv, wenn es nur mit Daten einer spezifischen Bank oder Versicherungsgesellschaft trainiert wurde, verglichen mit dem großen gemischten Datensatz. Dies deutet darauf hin, dass zwar einige Streitstrukturen in der gesamten Finanzwelt geteilt werden, jeder Sektor aber auch seine eigene einzigartige „Geschmacksrichtung“ oder seinen eigenen „Stil“ des Streitens hat.

Die Studie untersuchte auch diese riesigen KI-Chatbots (LLMs). Es stellt sich heraus, dass diese Chatbots, wenn man ihnen einige Beispiele ähnlicher vergangener Fälle gibt (eine Technik namens „Few-Shot-Learning“), in bestimmten Bereichen wie Versicherung und Bankwesen genauso gut oder sogar besser abschnitten als die maßgeschneiderten Modelle. Im Wertpapiersektor behielt das maßgeschneiderte Modell jedoch den Thron. Die Autoren merken an, dass dies daran liegen könnte, dass die Welt der Wertpapiere so vielfältig und komplex ist, dass der Chatbot nicht genügend perfekte Beispiele finden konnte, um daraus zu lernen.

Eine wichtige Sache, die das Papier ausschließt, ist die Vorstellung, dass wir einfach den gesamten Text in ein Modell werfen und ein perfektes Ergebnis erwarten können, ohne den Kontext zu verstehen. Die Autoren stellen explizit klar, dass sie sehr vorsichtig sein mussten, alle Teile des Textes zu entfernen, die versehentlich das Endergebnis verraten könnten (wie eine Zusammenfassung, die besagt: „Sie haben sich geeinigt“), denn wenn der Computer nur die Antwortlösung liest, lernt er nicht wirklich zu sagen voraus. Sie fanden auch heraus, dass der Computer zwar gut darin war, breite Kategorien von Streitigkeiten (wie „Informationsprobleme“) zu erkennen, er aber bei den winzigen, spezifischen Details (Sub-Tags) etwas mehr Schwierigkeiten hatte, da diese Details sehr ähnlich zueinander sind und schwer voneinander zu unterscheiden sind, ohne zusätzliche Informationen wie Vertragsbedingungen oder das Alter der Kunden.

Am Ende legt dieses Papier nahe, dass wir, indem wir Computer lehren, nicht nur zu verstehen, was die Menschen sagen, sondern auch, wie ihre Argumente strukturiert sind, bessere Werkzeuge zur Vorhersage der Zukunft von Finanzstreitigkeiten bauen können. Es ist ein Schritt in Richtung einer Welt, in der KI hilft, Streitigkeiten effizienter zu schlichten, obwohl die Autoren zugeben, dass noch viel Arbeit geleistet werden muss, um diese Werkzeuge für jeden einzelnen Typ von Finanzprodukt perfekt zu machen und um mit den chaotischen, sich überschneidenden Details realer Argumente umzugehen.