Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries
Dit artikel stelt Augmented Question-guided Retrieval (AQgR) voor, een framework dat de retrieval van Indiase rechtspraak verbetert door juridische kwesties voor queries te genereren, gestructureerde RAG-samenvattingen te gebruiken voor context, en LLM's in te zetten voor herrangschikking en relevantieverklaring, waarmee een significant hogere Mean Average Precision wordt behaald dan bestaande benchmarks.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de wet is het vinden van het juiste eerdere besluit om een huidige zaak te ondersteunen vaak het meest tijdrovende deel van het werk van een advocaat. Dit is vooral waar in India, waar gerechtelijke uitspraken enorme, ongestructureerde documenten zijn die feiten, argumenten en uitspraken mengen in lange, aaneengesloten blokken tekst. Traditioneel hebben computers geprobeerd te helpen door te zoeken naar zaken die op de huidige situatie lijken op basis van de specifieke woorden die worden gebruikt. Als een advocaat een geschil beschrijft over het ontslag van een fabrieksarbeider, zoekt de computer naar andere zaken waarin fabrieken en arbeiders worden genoemd. Deze aanpak faalt echter vaak omdat de wet meer geeft om het onderliggende juridische principe dan om de specifieke details van het verhaal. Twee zaken kunnen betrokken zijn bij volkomen verschillende mensen en omgevingen, maar toch steunen op exact dezelfde juridische vraag, zoals of een overheidsmaatregel eerlijk was. Om dit op te lossen, hebben onderzoekers zich tot een nieuwe generatie kunstmatige intelligentie gekeerd, bekend als large language models. Deze systemen kunnen menselijke taal lezen en begrijpen, maar ze staan voor een aanzienlijke hindernis: ze kunnen niet duizenden pagina's tekst tegelijk lezen. Om effectief te werken, moeten ze informatie hebben die gecomprimeerd is tot een beheersbare grootte, en ze moeten worden gestuurd door de juiste vragen in plaats van alleen door ruwe feiten.
Een team van onderzoekers van de Cochin University of Science and Technology en het Naval Physical & Oceanographic Laboratory zette zich in om een systeem te bouwen dat deze uitdagingen kon navigeren om de Indiase rechtspraak op te halen. Ze ontwikkelden een raamwerk genaamd Augmented Question-guided Retrieval, dat in twee hoofdfasen werkt. Eerst neemt het systeem een lang, rommelig gerechtelijk vonnis en gebruikt een model voor kunstmatige intelligentie om de belangrijkste onderdelen te extraheren, zoals de feiten, de juridische kwesties die worden aangekaart en de uiteindelijke uitspraak, en organiseert deze in een schoon, gestructureerd overzicht. Deze stap is cruciaal omdat het een document dat misschien twintigduizend woorden lang is, inkrimpt tot een paar kernvelden die binnen het geheugen van de computer passen. Ten tweede, in plaats van zaken te zoeken met het ruwe verhaal van het huidige geschil, vraagt het systeem de kunstmatige intelligentie om de specifieke juridische vragen te genereren die het verhaal oproept. Het gebruikt vervolgens deze abstracte juridische vragen om te zoeken naar eerdere precedenten, en tot slot gebruikt een tweede model voor kunstmatige intelligentie de resultaten opnieuw om te rangschikken en uit te leggen waarom elke eerdere zaak relevant is.
De onderzoekers testten dit systeem op een grote collectie uitspraken van het Indiase Hooggerechtshof. Ze ontdekten dat de manier waarop ze de informatie structureerden belangrijker was dan de specifieke zoektermen die werden gebruikt. Wanneer het systeem naar zaken zocht met behulp van de gegenereerde juridische vragen in plaats van de ruwe feiten, vond het meer relevante precedenten, maar alleen wanneer de eerdere uitspraken waren omgezet in die korte, gestructureerde samenvattingen. Als het systeem probeerde te zoeken door de volledige, onbewerkte tekst van de uitspraken, waren de korte juridische vragen te schaars om een match te vinden. De studie onthulde ook een verrassend detail over hoe het systeem met citaties omgaat. Het opnemen van de namen van eerdere zaken in de samenvatting schaadde de prestaties juist, omdat het te veel ruis toevoegde. Echter, wanneer het systeem het juridische principe achter elke citatie samenvatte in plaats van alleen de naam te vermelden, verbeterden de resultaten aanzienlijk. Dit suggereert dat de computer beter leert wanneer het de regel achter een referentie begrijpt in plaats van alleen de referentie zelf te zien.
Om te garanderen dat het systeem robuust was, voerden de onderzoekers tientallen experimenten uit, waarbij ze de manieren veranderden waarop de queries werden gevormd en hoe de gegevens werden georganiseerd. Ze ontdekten dat het combineren van verschillende soorten zoekopdrachten — het gebruik van zowel de feiten van de zaak als de gegenereerde juridische vragen — het systeem hielp om in totaal meer relevante zaken te vinden, ook al maakte dit de uiteindelijke rangschikking soms iets minder precies. Ze ontdekten ook dat hoewel het systeem de meeste documenten goed kon afhandelen, de zeer langste vonnissen soms niet correct samengevat konden worden, wat het vermogen van het systeem beperkte om de perfecte match voor bepaalde queries te vinden. Ondanks deze beperkingen bereikte het systeem een nauwkeurigheidsniveau dat aanzienlijk beter was dan eerdere methoden, met een score van ongeveer 0,312 op een standaardtest, vergeleken met ongeveer 0,157 voor de beste bestaande systemen. Deze verbetering werd bereikt zonder de kunstmatige intelligentie opnieuw te hoeven trainen op juridische data, wat bewijst dat een slimme manier van informatie organiseren net zo krachtig kan zijn als het de computer nieuwe feiten leren.
De studie concludeert dat de sleutel tot het bruikbaar maken van kunstmatige intelligentie voor juridisch onderzoek niet ligt in het slimmer maken van de computer, maar in het presenteren van de informatie op een manier die de computer daadwerkelijk kan gebruiken. Door lange vonnissen te comprimeren tot gestructureerde samenvattingen en de zoekopdracht te sturen met gegenereerde juridische vragen, creëerden de onderzoekers een pijplijn die advocaten helpt de juiste precedenten sneller te vinden. Het systeem biedt niet alleen een lijst met zaken, maar ook een verklaring van één zin over waarom elke zaak is gekozen, waardoor een advocaat snel kan beslissen of het volledige document het lezen waard is. Hoewel het systeem niet perfect is en nog steeds worstelt met de zeer langste documenten, toont het een praktische weg vooruit voor juridische technologie. Het laat zien dat kunstmatige intelligentie, met de juiste structuur, kan helpen bij het navigeren door het uitgestrekte en complexe landschap van het Indiase recht, waardoor uren van zoeken worden omgezet in minuten van lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.