Multi-Legal-Bench: Evaluating LLMs on Legal Reasoning Across Jurisdictions, Languages, and Legal Traditions

Stel je voor dat je probeert te testen hoe goed een groep nieuwe, super-slimme studenten (Large Language Models of LLM's) het recht begrijpen.

In het verleden testten onderzoekers deze studenten alleen in één land (meestal de VS of het VK) en één taal (Engels). Het was alsof je een wiskundetoets gaf aan studenten in New York en ervan uitging dat de resultaten precies zouden vertellen hoe ze zouden presteren op een wiskundetoets in Tokio. Maar wetten zijn overal anders, en talen zijn anders, dus die aanname was gebrekkig.

Dit artikel introduceert Multi-Legal-Bench, een nieuw "wereldwijd rapport" ontworpen om dit te verhelpen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het idee "Hetzelfde toets, verschillende klaslokalen"

De onderzoekers creëerden een benchmark waarbij de vragen exact hetzelfde zijn, maar de klaslokalen verschillend.

• De studenten: Ze testten 11 verschillende AI-modellen (sommige enorm, sommige klein).
• De klaslokalen: Ze kozen 6 landen: Oekraïne, Frankrijk, Nederland, Polen, Tsjechië en Litouwen.
• De vakken: Ze vroegen de AI niet om opstellen te schrijven. Ze gaven hen 5 specifieke, logische taken gebaseerd op echte gerechtelijke documenten:
  1. Classificatie van het type rechtbank: "Is dit een strafzaak of een civiele zaak?" (Net als het sorteren van post in "Reclame" versus "Rekeningen").
  2. Classificatie van het uitspraakformulier: "Is dit een definitieve vonnis of slechts een voorlopige beschikking?" (Net als het onderscheiden van een "Eindexamen" van een "Korte toets").
  3. Voorspelling van de zaakuitkomst: "Op basis van de feiten, wie wint?" (Het moeilijkste deel, net als het raden van de winnaar van een schaakpartij voordat deze eindigt).
  4. Extraheren van juridische normen: "Vind de specifieke wetten die in deze tekst worden aangehaald." (Net als het vinden van alle rode woorden in een alinea).
  5. Voorspelling van de oorzaakcategorie: "Waar gaat deze zaak over? Belasting? Gezin? Contracten?" (Net als het sorteren van boeken op genre).

2. De realiteit van de "spare kaart"

De onderzoekers dwongen niet dat elk land data voor elke taak had. Ze waren eerlijk over de rommeligheid van de echte wereld.

• De analogie: Stel je een kaart van een stad voor waar sommige straten verkeerslichten hebben en andere niet. Ze verzonnen geen nep-verkeerslichten voor de straten die er geen hadden. Ze brachten gewoon precies in kaart waar de data bestond. Dit resulteerde in een "spaarzaam" rooster (sommige vakken gevuld, sommige leeg), wat eigenlijk een eerlijker verhaal vertelt over hoe juridische data in verschillende landen wordt opgeslagen.

3. De grote verrassingen (Wat ze vonden)

A. "One size does not fit all" (Eén maat past niet voor iedereen)
Er is geen "beste AI" voor het recht.

• De analogie: Denk aan de AI-modellen als verschillende soorten auto's. Een auto kan de snelste zijn op een racecircuit (Frans recht), maar verschrikkelijk zijn op een modderig veld (Pools recht). Een andere auto kan geweldig zijn in de modder, maar traag op het circuit.
• Het resultaat: Een model dat nummer 1 is in Frankrijk, kan laatste zijn in Polen. Je kunt niet zomaar het "slimste" model kiezen; je moet het juiste model kiezen voor het specifieke land en de specifieke taak.

B. De mythe van de "taalfamilie"
De onderzoekers dachten dat talen die "neven" zijn (zoals Oekraïens en Pools, beide Slavisch), makkelijker zouden zijn voor een AI om kennis tussen over te dragen.

• De analogie: Ze verwachtten dat als je een student in het Oekraïens onderwees, deze een vergelijkbare toets in het Pools gemakkelijk zou begrijpen.
• Het resultaat: Ze hadden het mis. De AI deed het eigenlijk beter bij het overdragen van Oekraïens naar Frans (een verre neef) dan naar Pools.
• Waarom? Het ging niet om de taal; het ging om de labels. Als het "antwoordenboekje" (de categorieën waar de AI uit moet kiezen) er vergelijkbaar uitzag, deed de AI het goed, zelfs als de talen totaal verschillend waren. Als de antwoordboeken rommelig en verschillend waren, had de AI moeite, zelfs als de talen vergelijkbaar waren.

C. Het "hint"-effect (Few-Shot Learning)
Ze testten of het geven van een paar voorbeelden (hints) aan de AI voor de toets hielp.

• Het resultaat: Het hangt af van de taak.
  • Voor het sorteren van documenten (Judgment Form) was het geven van voorbeelden alsof je een student een spiekbrief gaf; het hielp overal.
  • Voor het voorspellen van wie een zaak wint, was het geven van voorbeelden als een muntworp. Soms hielp het, soms verwarde het de AI.
  • Voor eenvoudig sorteren (Court Type) was de AI al zo goed dat het geen hints nodig had.

D. De "woordtelling"-valstrik
Ze keken naar "Tokenizer Fertility", wat in feite betekent hoeveel kleine stukjes (tokens) een model nodig heeft om een woord op te splitsen.

• De analogie: Stel je voor dat één student een woord in 2 letters schrijft en een ander in 10 letters. Je zou denken dat de student die in 10 letters schrijft inefficiënt is.
• Het resultaat: Ze ontdekten dat hoe "efficiënt" een model is bij het opsplitpen van woorden, niet voorspelt hoe slim het is bij de werkelijke juridische taken. Een model dat meer "letters" gebruikt om een woord te schrijven, kan nog steeds net zo accuraat zijn als een model dat er minder gebruikt. De "efficiëntie"-metriek is goed om te raden hoeveel geld de toets zal kosten, maar het is een slechte voorspelling voor hoe goed het model het eigenlijk zal doen.

4. De conclusie

Dit artikel is een waarschuwing voor iedereen die probeert AI voor het recht te gebruiken: Ga niet ervan uit dat wat in het ene land werkt, ook in het andere werkt.

• Als je een juridische AI bouwt voor Frankrijk, ga er dan niet van uit dat het ook in Polen werkt, alleen omdat ze allebei in Europa zitten.
• Als je ziet dat een model "efficiënt" is met woorden, ga er dan niet van uit dat het het beste is in het oplossen van juridische problemen.
• De enige manier om te weten of een AI goed is voor jouw specifieke rechtssysteem, is door het te testen op jouw specifieke data, met jouw specifieke regels.

De onderzoekers hebben al hun data, vragen en resultaten publiek gemaakt, zodat iedereen zijn eigen "rapport" kan uitvoeren om te zien welke AI het beste werkt voor zijn specifieke juridische buurt.