Retrieval-Augmented Generation for Taxpayer Advisory in an LMIC Setting: A Proof-of-Concept Evaluation of Statutory Legal Retrieval
Deze studie presenteert een proof-of-concept evaluatie van een retrieval-augmented generation framework voor belastingadvies in lage- en middeninkomenslanden, waarbij wordt aangetoond dat semantische retrieval van nationale inkomstenbelastingwetgeving een hoge nauwkeurigheid kan bereiken bij het identificeren van wettelijke bepalingen om grounded taalmodel prompting te ondersteunen, terwijl tegelijkertijd de noodzaak voor verdere validatie van de kwaliteit van de generatie en juridische naleving vóór implementatie wordt benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In veel delen van de wereld is het begrijpen van de regels die bepalen hoe mensen en bedrijven belasting betalen een ontmoedigende taak. De wetten zijn vaak geschreven in een dichte, technische taal, en het vinden van de specifieke regel die van toepassing is op een unieke situatie kan voelen als het zoeken naar een speld in een hooiberg. Om mensen te helpen door deze complexiteit te navigeren, richten belastingautoriteiten zich steeds vaker op digitale hulpmiddelen, waaronder kunstmatige intelligentie-systemen die ontworpen zijn om vragen te beantwoorden. Echter, een grote uitdaging blijft: deze computerprogramma's worden getraind op enorme hoeveelheden algemene data, wat betekent dat ze soms zelfverzekerd kunnen klinken terwijl ze onjuiste of verzonnen informatie verstrekken, een probleem dat bekend staat als "hallucinatie". Om dit op te lossen, hebben onderzoekers een methode ontwikkeld genaamd retrieval-augmented generation. Deze aanpak werkt door de computer eerst een vertrouwde, officiële bibliotheek van documenten te laten doorzoeken om de exacte tekst van de wet te vinden, en pas daarna de computer te vragen een antwoord te schrijven dat strikt gebaseerd is op wat hij heeft gevonden. Dit zorgt ervoor dat de reactie geworteld is in de realiteit in plaats van in gokwerk. De vraag voor experts is of deze methode goed genoeg werkt om nuttig te zijn in landen met minder middelen, waar belastingsystemen worden gemoderniseerd maar waar de toegang tot gespecialiseerde juridische experts vaak beperkt is.
Een team van onderzoekers van universiteiten in Oeganda begon dit idee te testen met een specifieke focus op de Oegandese Inkomstenbelastingwet. Hun doel was niet om een volledig afgewerkt product te bouwen dat juridisch advies zou kunnen geven, maar om een werkend prototype te creëren om te zien of de kerntechnologie nauwkeurig de juiste secties van de belastingwet kon vinden wanneer er een vraag werd gesteld. Ze begonnen door de volledige tekst van de nationale belastingwet te nemen en deze op te splitsen in 198 verschillende, hanteerbare stukken informatie. Elk stuk werd voorzien van een label met de locatie in de wet, zoals het specifieke deel en sectienummer, en vervolgens omgezet in een digitaal formaat waardoor een computer de betekenis van de woorden kan begrijpen in plaats van alleen trefwoorden te matchen. Dit proces creëerde een doorzoekbare digitale bibliotheek waar de computer kan zoeken naar het concept achter een vraag, en niet alleen naar de exacte woorden.
Om te testen hoe goed dit systeem werkte, genereerden de onderzoekers 900 verschillende vragen die een belastingbetaler zou kunnen stellen, zoals vragen over aftrekposten of specifieke tarieven. Voor elke vraag wisten zij precies welke sectie van de wet het juiste antwoord bevatte. Ze vroegen vervolgens aan hun computersysteem om de drie meest relevante secties van de wet voor elke vraag te vinden. De resultaten toonden aan dat het systeem zeer effectief was in zijn primaire taak. Wanneer gevraagd werd om de enkel beste match te vinden, slaagde het systeem er 72 procent van de tijd in. Belangrijker nog, wanneer gekeken werd naar de top drie resultaten die het leverde, was het juiste antwoord in 86,78 procent van de gevallen aanwezig. Dit suggereert dat hoewel de computer niet altijd de absoluut beste keuze als haar allereerste optie koos, ze bijna altijd de juiste informatie binnen de eerste paar opties presenteerde.
De onderzoekers merkten op dat wanneer het systeem de eerste plek miste, dit vaak kwam doordat het foute antwoord erg vergelijkbaar was in betekenis met het juiste antwoord, in plaats van dat het er volledig niets mee te maken had. Dit geeft aan dat het systeem de concepten goed begrijpt, maar soms moeite heeft met het beslissen welke van twee zeer vergelijkbare juridische bepalingen de meest precieze match is. De studie heeft succesvol aangetoond dat het mogelijk is om een complex juridisch document te nemen, het om te zetten in een machineleesbaar formaat, en het te gebruiken om specifieke informatie met een hoge mate van nauwkeurigheid op te halen. De onderzoekers waren echter voorzichtig om te verduidelijken dat dit slechts een test was van het zoekmechanisme. Ze testten niet of de uiteindelijke geschreven antwoorden die door de computer werden gegenereerd juridisch perfect, veilig te gebruiken of gemakkelijk te begrijpen waren voor echte mensen.
Dit werk is significant omdat het een potentieel pad biedt voor belastingautoriteiten in ontwikkelingslanden om betere, meer toegankelijke informatie aan hun burgers te verstrekken zonder dat zij voor elke vraag een enorm leger aan juridische experts hoeven in te huren. De studie suggereert dat een relatief kleine, goed georganiseerde collectie wetten kan worden getransformeerd tot een krachtig hulpmiddel voor het vinden van informatie. Toch benadrukken de auteurs dat dit pas het begin is. Voordat een dergelijk systeem in de echte wereld gebruikt kan worden om belastingbetalers te begeleiden, moet het getest worden met daadwerkelijke vragen van echte mensen, gecontroleerd worden door juridische professionals om te waarborgen dat het advies correct is, en aangepast worden om meerdere talen en verschillende soorten belastingwetten te kunnen afhandelen. De huidige resultaten tonen aan dat de technologie haalbaar is, maar het omzetten van die haalbaarheid in een betrouwbare publieke dienst vereist verdere arbeid om veiligheid, nauwkeurigheid en vertrouwen te garanderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.