Learning Dispute Structure for Settlement Prediction in Financial ADR: A Multi-Task and Cross-Institutional Approach

Stel je de juridische wereld voor als een enorme, lawaaierige marktplaats waar mensen ruzie maken over geld, contracten en beloften. Meestal, wanneer twee mensen het niet eens kunnen worden, gaan ze naar een rechter in een rechtszaal, wat lijkt op een wedstrijd met een hoge inzet waarbij een scheidsrechter de regels handhaaft, maar die eeuwig duurt en een fortuin kost. Maar er is een stillere, snellere manier om deze ruzies op te lossen, genaamd "Alternative Dispute Resolution" (ADR). Zie ADR als een gespecialiseerde bemiddelingscabine waar een neutrale helper probeert de twee ruziënde partijen elkaands hand te laten schudden en de rekening te vereffenen zonder ooit een voet in een rechtszaal te zetten. In de wereld van de financiën zijn deze cabines cruciaal omdat geldzaken elke dag ingewikkelder worden, en soms hebben mensen gewoon een snelle, eerlijke manier nodig om een gebroken deal te herstellen.

Stel je nu voor dat je een computer probeert te leren om die bemiddelaar te zijn. Dit is waar "Natural Language Processing" (NLP) om de hoek komt kijken. NLP is de tak van de wetenschap die computers leert om menselijke woorden te lezen en te begrijpen, een beetje alsof je een robot een woordenboek en een brein geeft om te begrijpen wat een persoon eigenlijk zegt. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we een computer leren om naar de argumenten van beide kanten van een financieel gevecht te kijken en te voorspellen of ze er succesvol een deal mee zullen sluiten (schikken) of dat ze boos weglopen? Het is een beetje alsof je probeert de afloop van een film te raden door alleen de eerste twee pagina's van het script te lezen. Als we dit kunnen doen, kunnen we helpen bij het sneller oplossen van geschillen, iedereen tijd besparen en misschien zelfs ruzies voorkomen door vroegtijdig waarschuwingssignalen op te sporen.

Dit artikel, geschreven door Koutarou Tamura van de Nomura Research Institute in Japan, duikt direct in die uitdaging. De auteur verzamelde een enorme collectie echte financiële geschilgevallen van vijf verschillende organisaties in Japan, waardoor een verenigde "bibliotheek" van 10.307 verhalen ontstond. Elk verhaal in deze bibliotheek heeft twee hoofdonderdelen: wat de persoon die klaagt (de klager) zei, en wat het bedrijf dat wordt beschuldigd (de respondent) zei. Het doel was om een slim computermodel te bouwen dat deze gepaarde argumenten kan lezen en de uitkomst kan raden: zullen ze schikken, of zullen ze dat niet doen?

Maar hier is de slimme wending die de auteur introduceerde. In plaats van de computer alleen maar te vragen de uitkomst te raden, stelt het artikel voor dat we de computer ook moeten leren om de structuur van het argument te begrijpen. Het is alsof je een detective leert niet alleen te raden wie de dader is, maar eerst te identificeren wat voor soort misdaad het is. De auteur creëerde een speciaal "taggingsysteem" dat geschillen indeelt in categorieën zoals "Informatieproblemen" (misschien werd de risico's niet goed uitgelegd), "Geschiktheidskwesties" (misschien paste het product niet bij de klant), "Slecht Gedrag" (zoals ongeautoriseerde acties) of "Externe Factoren" (zoals het crashen van de markt).

Het artikel stelt een "multi-task" leermodel voor. Denk hierbij aan een student die tegelijkertijd twee examens aflegt: één examen is om de schikkingsuitkomst te raden, en het andere is om het type geschil te labelen. Het idee is dat door te leren het type ruzie te herkennen, de computer beter wordt in het voorspellen van de uitkomst van de ruzie. De onderzoekers hebben dit getest tegenover andere methoden, inclusief het gebruik van enorme "Large Language Models" (LLM's), wat superintelligente AI-chatbots zijn die bijna alles op het internet hebben gelezen.

De resultaten waren zeer interessant. Het artikel suggereert dat het multi-task model, dat zowel de uitkomst als de structuur van het geschil tegelijkertijd leerde, een betere baan had in het voorspellen van schikkingen dan een model dat alleen naar de uitkomst zocht. Specifiek steeg het succespercentage (gemeten met iets dat de F1-score wordt genoemd) van 0,70 naar 0,73 toen het model werd onderwezen over de structuren van de geschillen. Dit suggereert dat het begrijpen van de "vorm" van het argument de computer helpt om slimmere gokken te doen.

Echter, het artikel vond ook dat dit geen wondermiddel is dat overal perfect werkt. Wanneer de onderzoekers het model testten op verschillende soorten financiële sectoren, varieerden de resultaten. Bijvoorbeeld, het model werkte erg goed voor effecten (FINMAC), maar was iets minder effectief wanneer het werd getraind op gegevens van slechts één specifieke bank of verzekeringsmaatschappij vergeleken met de grote gemengde dataset. Dit suggereert dat hoewel sommige geschilsstructuren gedeeld worden over de hele financiële wereld, elke sector ook zijn eigen unieke "smaak" of stijl van discussiëren heeft.

De studie keek ook naar die enorme AI-chatbots (LLM's). Het blijkt dat deze chatbots, wanneer ze een paar voorbeelden van vergelijkbare eerdere gevallen kregen om naar te kijken (een techniek genaamd "few-shot" learning), net zo goed presteerden als, of soms zelfs beter dan, de op maat gemaakte modellen in bepaalde gebieden zoals verzekeringen en bankwezen. Maar in de effectensector hield het op maat gemaakte model nog steeds de kroon. De auteurs merken op dat dit kan komen doordat de effectenwereld zo divers en complex is dat de chatbot niet genoeg perfecte voorbeelden kon vinden om van te leren.

Eén belangrijk punt dat het artikel uitsluit, is het idee dat we gewoon alle tekst in een model kunnen gooien en perfecte resultaten kunnen verwachten zonder de context te begrijpen. De auteurs stellen expliciet dat ze zeer voorzichtig moesten zijn om alle delen van de tekst te verwijderen die per ongeluk de uiteindelijke uitkomst onthulden (zoals een samenvatting die zegt "ze zijn tot een schikking gekomen"), omdat als de computer alleen het antwoordmodel leest, hij niet echt leert te voorspellen. Ze vonden ook dat terwijl de computer goed was in het herkennen van brede categorieën van geschillen (zoals "Informatieproblemen"), het meer moeite had met de zeer specifieke details (sub-tags), waarschijnlijk omdat deze details erg veel op elkaar lijken en moeilijk uit elkaar te houden zijn zonder meer informatie zoals contractvoorwaarden of de leeftijd van de klant.

Uiteindelijk suggereert dit artikel dat door computers niet alleen te leren te begrijpen wat mensen zeggen, maar ook hoe hun argumenten gestructureerd zijn, we betere instrumenten kunnen bouwen om de toekomst van financiële gevechten te voorspellen. Het is een stap naar een wereld waarin AI helpt bij het efficiënter bemiddelen van geschillen, hoewel de auteurs toegeven dat er nog werk te verrichten is om deze instrumenten perfect te maken voor elk enkel type financieel product en om de rommelige, overlappende details van echte discussies te kunnen hanteren.