Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
Dit artikel introduceert FiscalQA Pro, een benchmark die aantoont dat standaard juridische RAG-systemen niet in staat zijn om temporele misgronding in het Franse belastingrecht te verwerken door alleen de huidige versies van artikelen op te halen, en laat zien dat een versiebewust retrievesysteem een nauwkeurigheid van 98,3% kan bereiken vergeleken met de bijna nulprestaties van statische benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een mysterie probeert op te lossen, maar de bibliotheek waarin je zoekt heeft een zeer vreemde regel: elke keer dat er een nieuwe pagina aan een boek wordt toegevoegd of een zin wordt gewijzigd, legt de bibliothecaris niet een nieuw boek in de kast. In plaats daarvan wist hij de oude pagina's en schrijft hij het bestaande boek opnieuw, waarbij alleen de nieuwste versie zichtbaar blijft. Als je vraagt: "Wat zei het boek in 1995?" en de bibliothecaris geeft je alleen de editie van 2025, dan krijg je het verkeerde antwoord, ook al ziet het boek er op de kaft precies hetzelfde uit. Dit is de wereld van Legal AI, een vakgebied waar computers proberen wetten te lezen en vragen te beantwoorden als een advocaat. Om dit te doen, gebruiken ze een techniek genaamd RAG (Retrieval-Augmented Generation), wat lijkt op een superintelligente student die de mogelijkheid heeft om feiten in een tekstboek op te zoeken voordat hij een vraag op een toets beantwoordt. Het probleem is dat de meeste van deze tekstboeken worden behandeld alsof ze nooit veranderen. Maar wetten veranderen wel, vaak elk jaar. Als een computer niet beseft dat een wet uit 2018 anders is dan de wet van vandaag, zal hij je vol vertrouwen het verkeerde advies geven, wat rampzalig kan zijn voor zaken als het betalen van belastingen of het begrijpen van je rechten.
Dit artikel, getiteld "Temporal Misgrounding in Legal RAG," onderzoekt precies dit probleem in het Franse belastingrecht. De auteurs ontdekten een specifieke foutmodus die zij temporal misgrounding noemen. Dit gebeurt wanneer een computer, gevraagd naar een wet uit het verleden, de datum in de vraag negeert en simpelweg de huidige versie van de wet pakt omdat dat de enige is die hij gemakkelijk kan vinden. Ze bouwden een enorme, tijdreizende bibliotheek van de Franse belastingwetgeving, met 32.436 verschillende versies van artikelen verspreid over 93 jaar (van 1938 tot 2031). Vervolgens creëerden ze een moeilijke test genaamd FiscalQA Pro met 209 door experts beoordeelde vragen die specifiek vereisen dat men de wet van een datum uit het verleden kent, en niet de wet van vandaag.
De resultaten waren schokkend. Wanneer ze 11 verschillende AI-modellen testten (inclusief de meest geavanceerde die beschikbaar zijn), faalden de computers jammerlijk wanneer ze niet in staat waren de juiste versie op te zoeken. Zonder hulp had de AI slechts in 3,0% van de gevallen het juiste antwoord. Wanneer ze de AI een standaard "tekstboek" gaven dat alleen de huidige wet bevatte, deed de AI het nog slechter, met een score van slechts 2,7% goed. Sterker nog, het standaard systeem vond de correcte historische versie 0% van de tijd; het citeerde vol vertrouwen de huidige wet alsof het de wet uit het verleden was. Echter, toen de auteurs een systeem bouwden dat daadwerkelijk door hun tijdreizende bibliotheek kon zoeken om de specifieke versie van de wet te vinden die actief was op de datum in de vraag, schoot de nauwkeurigheid van de AI omhoog naar 98,3%.
Het artikel bewijst dat het probleem niet is dat de AI niet slim genoeg is om de wet te begrijpen; het is dat de bibliotheek waar hij in zoekt, kapot is. De auteurs betogen dat we moeten stoppen met het behandelen van juridische documenten als statische objecten en ze moeten gaan behandelen als tijdgevoelige objecten. Ze lieten zien dat zodra je het zoeksysteem aanpast om naar de juiste datum te zoeken, de AI deze problemen bijna perfect kan oplossen. Ze hebben ook hun enorme dataset en de code voor hun tijdbewuste zoeksysteem vrijgegeven, in de hoop andere onderzoekers te helpen bij het bouwen van AI die je niet vol vertrouwen verouderd juridisch advies geeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.