Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering
Dit artikel introduceert RefWalk, een unified raamwerk dat is ontworpen om het beantwoorden van vragen over regelgeving te verbeteren door toewijzing per regel en gestructureerde procedurele opzoekingen af te dwingen, gevalideerd via het nieuwe RegOps-Bench-benchmark en een dataset voor Amerikaanse gezondheidsconformiteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te navigeren in een enorme, meervoudige bibliotheek waar de boeken niet gewoon op planken staan; ze zijn met onzichtbare draden aan elkaar geketend. Als je een boek pakt over "Hoe je een brug bouwt", kan er een notitie in staan met de tekst: "Zie Hoofdstuk 4 van het boek 'Veiligheidsregels'", dat op zijn beurt verwijst naar een specifiek alinea in het boek "Stadsvergunning", dat uiteindelijk verwijst naar een kleine voetnoot in een "Bouwhandleiding".
Dit is wat Regelgevingscompliance voelt voor bedrijven. Ze moeten strikte, gelaagde regels (wetten, decreten, handleidingen) volgen die voortdurend naar elkaar verwijzen. Als ze het fout doen, staan ze voor enorme boetes.
Het artikel stelt dat huidige AI-tools (Grote Taalmodellen) slecht zijn in deze specifieke taak. Ze zijn als een student die het eerste boek leest, het antwoord raadt en vervolgens een nep-pagina-nummer verzonnen als bewijs. Ze zijn snel, maar ze zijn gevaarlijk omdat ze "hallucineren" (liegen) over waar de regels vandaan komen.
Hier is de oplossing van het artikel, opgesplitst in eenvoudige concepten:
1. Het Probleem: De "Vlakke" Kaart vs. Het "3D" Labyrint
De meeste AI-systemen behandelen de bibliotheek als een platte lijst. Ze zien de woorden "brug" en "veiligheid" en denken: "Oké, deze twee dingen hebben iets met elkaar te maken." Ze missen de structuur.
- De Realiteit: In de wet verwijst een regel niet alleen naar een andere; het delegeert ernaar toe. Een regel zegt: "Doe X, tenzij het Veiligheidsdecreet Y zegt."
- Het Mislukken: Huidige AI probeert het antwoord te vinden door te zoeken naar vergelijkbare woorden. Het mist de specifieke "draden" die de regels verbinden. Het behandelt het uiteindelijke antwoord en de citatie ook als twee aparte dingen, en plakt vaak achteraf een nep-citatie aan het einde van een zin.
2. Het Nieuwe Gereedschap: "RefWalk" (De Geleide Tour)
De auteurs hebben een nieuw systeem gebouwd dat RefWalk heet. Denk hierbij aan een super-georganiseerde rondleider die niet alleen de boeken leest, maar fysiek de draden volgt die ze met elkaar verbinden.
- De "Onderwerp-Anker": Wanneer je een vraag stelt (bijvoorbeeld: "Mag ik extra geld uitgeven aan onderzoek in het buitenland?"), zoekt RefWalk niet alleen naar de woorden. Het breekt de vraag op in een "kaart sleutel": Wie vraagt het? Hoeveel geld? Wanneer? Onder welke omstandigheid?
- De "Drie-Kijk" Zoeking: In plaats van op zoek te gaan naar het antwoord op slechts één manier, bekijkt de gids de bibliotheek vanuit drie hoeken:
- De Smalle Kijk: Zoeken naar de exacte woorden die je hebt gebruikt.
- De Brede Kijk: Zoeken naar het algemene concept, de specifieke woorden negerend (voor het geval je het vreemd hebt geformuleerd).
- De Middelste Kijk: Een mix van beide.
- Waarom? Soms leiden de exacte woorden je naar het verkeerde boek, maar het algemene idee leidt je naar het juiste. RefWalk gebruikt een speciaal "stemsysteem" (genaamd RRM) dat het beste resultaat kiest uit een van de drie kijkhoeken, in plaats van ze te middelen (wat het juiste antwoord zou verdunnen).
3. De "Kennisgrafiek" (De Draadkaart)
Het artikel heeft een speciale kaart van de bibliotheek gemaakt die de Operationele Kennisgrafiek (OKG) heet.
- In plaats van boeken alleen te koppelen op onderwerp, koppelt deze kaart ze op juridische logica. Het weet dat "Regel A" delegeert naar "Regel B", en dat "Regel B" "Regel C" **definieert".
- RefWalk volgt deze draden. Als je het hebt over een budget, begint het bij de budgetregel, volgt de draad naar de veiligheidsregel, en vervolgens naar de handleiding, zodat het geen enkele schakel in de keten mist.
4. De "Strenge JSON" (De Niet-Leugen Regel)
Dit is het belangrijkste deel. Bij normale AI schrijft het model een paragraaf en probeert daarna een citatie toe te voegen aan het einde. Het is alsof je een essay schrijft en vervolgens een voetnoot verzonnen om slim te lijken.
- De Aanpak van RefWalk: De AI wordt gedwongen een "strakke jas" te dragen (een strenge JSON-indeling). Het kan geen zin schrijven totdat het eerst de specifieke regel heeft geselecteerd (de "Sleutel") en vervolgens de bewering heeft geschreven als een "Waarde" die aan die regel is gekoppeld.
- De Metafoor: Stel je een rechtszaal voor waar een advocaat geen woord mag spreken tenzij hij de specifieke pagina van de wet vasthoudt die hij citeert. Ze kunnen niet zeggen: "De wet zegt X," en later zeggen: "Oh, trouwens, dat staat op pagina 42." Ze moeten zeggen: "Pagina 42 zegt X." Dit dwingt de AI om eerlijk te zijn. Als het de pagina niet kan vinden, kan het de bewering niet doen.
5. De Test: "RegOps-Bench"
Om te bewijzen dat dit werkt, hebben de auteurs een nieuwe test gebouwd die RegOps-Bench heet.
- Ze namen echte, complexe Zuid-Koreaanse overheidsregels (die berucht zijn om hun complexiteit en gelaagdheid).
- Ze creëerden 250 moeilijke vragen die vereisten dat men meerdere "draden" volgde over verschillende boeken heen.
- Het Resultaat: Oude AI-systemen bleven steken of gaven nep-citaties. RefWalk volgde succesvol de draden, vond de exacte pagina's en koppelde de antwoorden aan de juiste regels. Het was veel beter in het vinden van alle benodigde regels (recall) en het waarborgen dat de citaties echt waren (precisie).
Samenvatting
Het artikel zegt: "AI is geweldig in chatten, maar slecht in het volgen van strikte juridische ketens."
Ze hebben RefWalk gebouwd, een systeem dat:
- De draden tussen regels in kaart brengt (niet alleen de woorden).
- Zoekt vanuit drie hoeken om zeker te zijn dat het niets mist.
- De AI dwingt te citeren voordat het spreekt, zodat elke bewering is vastgeplakt aan zijn bron.
Dit maakt AI veilig genoeg om te gebruiken voor hoog-risico banen zoals het controleren of een bedrijf de wet volgt, waar een nep-citatie kan leiden tot een rechtszaak.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.