GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval
Dit artikel introduceert GreekBarRetrieval, een nieuwe benchmark voor Griekse wettelijke retrieval afgeleid van examvragen voor de advocatuur, en demonstreert dat een tienronde LLM-gebaseerde query-herformuleringloop de prestaties van BM25 aanzienlijk verbetert, waardoor het in staat is om zowel vanilla dense retrievers als andere geavanceerde retrievalstrategieën te overtreffen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van het recht is het vinden van de juiste regel om toe te passen op een specifieke situatie het fundament van rechtvaardigheid. Wanneer een advocaat of een rechter een complexe vraag moet beantwoorden over een misdaad of een contract, kunnen zij niet alleen op hun geheugen vertrouwen; ze moeten de exacte tekst van de wet lokaliseren die de situatie beheerst. Dit proces, bekend als statutaire retrieval, houdt in dat er door duizenden juridische artikelen wordt gezocht om de weinige te vinden die werkelijk relevant zijn. De uitdaging is dat mensen reële gebeurtenissen beschrijven in alledaagse, gewone taal, terwijl de wetten die hen beheersen zijn geschreven in een gespecialiseerde, abstracte code. Een persoon kan zeggen: "Hij weigerde de medicijnen te geven," maar de wet kan hetzelfde concept formuleren als "verzuim van een inspanningsplicht." Het overbruggen van deze kloof tussen hoe mensen spreken en hoe wetten zijn geschreven is moeilijk, vooral voor talen zoals het Grieks, die complexe woordstructuren hebben die eenvoudige woordmatching onbetrouwbaar maken. Zonder het vermogen om deze juridische teksten nauwkeurig op te halen, kunnen kunstmatige intelligentiesystemen geen betrouwbare antwoorden geven of hun redenering uitleggen, wat een cruciale vereiste is in juridische contexten.
Onderzoekers in Griekenland hebben dit probleem aangepakt door een nieuwe testomgeving genaamd GreekBarRetrieval te creëren. Ze bouwden deze benchmark met behulp van vragen uit de werkelijke Griekse bar-examens, de rigoureuze toetsen die advocaten moeten afleggen om te mogen praktiseren. In deze examens krijgen kandidaten een gedetailleerd verhaal van een juridische casus gepresenteerd en wordt hen gevraagd te identificeren welke specifieke artikelen van het strafwetboek of andere wetten van toepassing zijn. De onderzoekers namen 283 van deze examenvragen, samen met de volledige verhalen die erachter liggen, en koppelden deze aan een enorme bibliotheek van 6.308 kandidaat-juridische artikelen. Het doel was om te zien of computersystemen naar een vraag en het bijbehorende verhaal konden kijken, om vervolgens de juiste juridische artikelen te vinden die verborgen liggen binnen die grote bibliotheek. Deze opzet is uniek omdat het het vermogen van het systeem test om het bronmateriaal te vinden voordat het zelfs een antwoord probeert te formuleren, waardoor het vaardigheid van zoeken scheidt van de vaardigheid van redeneren.
Toen de onderzoekers voor het eerst standaard computerzoekmethoden testten, toonden de resultaten een duidelijke kloof tussen twee verschillende benaderingen. Eén benadering, bekend als sparse retrieval, werkt door te zoeken naar exacte woordovereenkomsten tussen de vraag en de juridische tekst. De andere, genoemd dense retrieval, gebruikt geavanceerde AI om de betekenis achter de woorden te begrijpen, zelfs als de specifieke woordenschat verschilt. In hun initiële tests presteerden de op betekenis gebaseerde systemen veel beter; zij vonden de relevante artikelen in de top honderd resultaten in ongeveer 77 procent van de gevallen. De woordmatchingsystemen slaagden er daarentegen slechts in ongeveer 36 procent van de gevallen in. Dit bevestigde dat het simpelweg matchen van woorden vaak niet genoeg is wanneer de taal van de vraag en de taal van de wet zo verschillend zijn.
De onderzoekers ontdekten echter dat de prestaties van de woordmatchingsystemen drastisch verbeterd konden worden door een groot taalmodel te gebruiken om de zoekvragen te herschrijven voordat de computer naar antwoorden zocht. In plaats van te zoeken met het originele, rommelige verhaal vol irrelevante details, werd de AI gevraagd de vraag te vertalen naar de precieze, formele taal van het recht, waarbij de narratieve opvulling werd gestript. Deze eenvoudige stap van het herformuleren van de query verhoogde het succespercentage van het woordmatchingsysteem van 36 procent naar 60 procent, waardoor het grotendeels de kloof met de complexere, op betekenis gebaseerde systemen overbrugde. De studie vond dat deze methode van het herschrijven van de vraag veel effectiever was dan andere veelvoorkomende trucs, zoals het eerst vertalen van de Griekse tekst naar het Engels of het aanpassen van de interne instellingen van de zoekmachine.
Om de prestaties nog verder te pushen, introduceerde het team een methode waarbij de computer zoekt, de gevonden resultaten beoordeelt en vervolgens opnieuw zoekt op basis van die resultaten. Dit iteratieve proces, dat nabootst hoe een menselijke advocaat zijn zoekstrategie zou verfijnen nadat hij enkele eerste documenten heeft gelezen, stelde het woordmatchingsysteem in staat om een succespercentage van 67 procent te bereiken. Hoewel dit het beste op betekenis gebaseerde systeem, dat 73 procent bereikte, niet helemaal evenaarde, produceerde het een veel meer georganiseerde lijst met resultaten, waarbij de belangrijkste artikelen helemaal bovenaan de lijst stonden. Dit is bijzonder waardevol omdat juridische systemen vaak met een beperkt aantal documenten moeten werken. De onderzoekers merkten echter op dat deze iteratieve benadering een zware prijs heeft: het vereist dat de computer veel meer berekeningen uitvoert en aanzienlijk langer nodig heeft om de zoekopdracht te voltooien vergeleken met een enkele, directe zoekopdracht.
De studie concludeert dat hoewel geavanceerde AI-systemen die betekenis begrijpen krachtig zijn, zij niet de enige weg vooruit zijn. Door een groot taalmodel te gebruiken om alledaagse vragen te vertalen naar de formele taal van het recht, kunnen zelfs eenvoudigere en snellere zoektools zeer effectief worden. Dit suggereert dat de sleutel tot betere juridische AI niet alleen het bouwen van grotere modellen is, maar het waarborgen dat de gestelde vragen duidelijk zijn en de juiste terminologie gebruiken. De onderzoekers maakten hun data en code openbaar, waarmee ze een nieuwe standaard boden voor het testen van hoe goed computers door het complexe landschap van het Griekse recht kunnen navigeren, en een blauwdruk boden voor het verbeteren van juridische zoektools in andere talen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.