Technische Samenvatting: RAG-systeem voor ondersteuning van Japanse procesvoering

Probleemstelling

Het artikel behandelt de uitdaging van het inzetten van Retrieval-Augmented Generation (RAG)-systemen binnen de specifieke context van Japanse medische rechtszaken. Hoewel Large Language Models (LLM's) potentieel aan efficiëntiewinst in juridische workflows kunnen bijdragen, stuit hun directe toepassing op kritieke barrières met betrekking tot juridische normen en procedurele rechtvaardigheid.

In de Japanse civiele procedure, met name in medische zaken, vertrouwen rechters op "deskundige commissarissen" (bijv. artsen) om technische geschillen te verhelderen. Een RAG-systeem dat bedoeld is om deze rollen te vervangen of te ondersteunen, moet voldoen aan strikte adversaire principes:

1. Verbod op private kennis: Rechters mogen niet vertrouwen op kennis die niet door de partijen is ingediend of die niet in het bewijsmateriaal is opgenomen.
2. Temporele geldigheid: De zorgstandaard of juridische precedenten die van toepassing zijn op een zaak, hangen af van de specifieke tijd van het incident versus de tijd van het proces.
3. Getrouwheid (Faithfulness): Gegenereerde reacties moeten strikt voortkomen uit de verstrekte context om hallucinaties te voorkomen die de rechterlijke beraadslaging zouden kunnen misleiden.

Bestaand RAG-onderzoek richt zich primair op nauwkeurigheid en het verminderen van hallucinaties, maar mist kaders voor naleving van juridische procedurele normen, specifiek met betrekking tot de herkomst, de geldigheidsperiode en de procedurele toelaatbaarheid van de opgehaalde kennis.

Methodologie en Voorgesteld Kader

Het artikel stelt een ontwerp voor van een "norm-conform RAG"-systeem dat is afgestemd op de Japanse medische procesvoering. In plaats van experimentele resultaten te presenteren, definiëren de auteurs een theoretisch kader en een set van drie kernvereisten waaraan een dergelijk systeem moet voldoen. De systeemarchitectuur (geïllustreerd in Figuur 2) integreert een retrieval-module met een mechanisme voor het onderhouden van tijdstempels en een LLM-generator.

De methodologie is gestructureerd rond drie specifieke technische vereisten:

1. Controle van Kennisbronnen (Procedurele Naleving)

Om aan het adversaire principe te voldoen, moet het systeem externe kennis beperken tot bronnen die procedureel toelaatbaar zijn.

• Mechanisme: De reikwijdte van de retrieval wordt strikt beperkt tot documenten die een kritische verificatie door deskundige gemeenschappen hebben ondergaan en die voor beide partijen even toegankelijk zijn.
• Implementatiestrategie: Het systeem filtert de resultaten van de retrieval en labelt outputs die afgeleid zijn van bronnen buiten de vooraf gedefinieerde, toelaatbare reikwijdte als ongepast. Dit zorgt ervoor dat het systeem geen "private kennis" introduceert die inbreuk zou maken op de procedurele rechten.

2. Attributie en Getrouwheid (Faithfulness)

Om te waarborgen dat reacties geen hallucinaties zijn en uitsluitend steunen op de verstrekte context:

• Mechanisme: Het systeem moet onderscheid maken tussen kennis afgeleid van de RAG-retrieval en kennis uit de pre-training data van de LLM.
• Implementatiestrategie:
  • Data-attributie (DA): Het systeem analyseert of beweringen in de gegenereerde reactie afkomstig zijn van de opgehaalde context of van het getrainde model. Reacties die steunen op pre-training data worden gemarkeerd als ongepast.
  • Faithfulness Scoring: Het artikel verwijst naar het gebruik van metrieken zoals de Faithfulness Score (bijv. via Ragas), die de ratio berekent van beweringen in een reactie die ondersteund worden door de opgehaalde context ten opzichte van het totaal aantal beweringen.
  • Verificatie: Het ontwerp suggereert het gebruik van expliciete beperkingen in prompting en "chain-of-verification" stappen om te waarborgen dat kandidaat-zinnen aanwezig zijn in de opgehaalde context.

3. Zaakspecifieke Referentietijd (Temporele Geldigheid)

Het systeem moet de "geldige tijdsperiode" van informatiebronnen beheren, aangezien de toepasbare zorgstandaard in de loop van de tijd verandert.

• Mechanisme: Het systeem moet erkennen dat de relevante kennis voor een zaak afhangt van het specifieke geschilpunt (bijv. nalatigheid op het moment van de handeling versus de causale relatie op het moment van het proces).
• Implementatiestrategie: De retrieval-module moet tijdstempels en citatienetwerken onderhouden en gebruiken. Het moet kennis ophalen die geldig is op het specifieke punt in de tijd dat relevant is voor het geschil, in plaats van simpelweg de meest actuele informatie op te halen. Dit voorkomt dat het systeem conclusies trekt op basis van kennis die op het moment van het vermeende incident nog niet bestond.

Belangrijkste Bijdragen

De primaire bijdrage van het artikel is de definitie van een norm-conform RAG-kader specifiek voor de Japanse juridische context. In tegen tegenstelling tot algemene RAG-evaluaties die zich richten op feitelijke juistheid, introduceert dit werk:

1. Procedurele Beperkingen: Een formele vereiste om kennisbronnen te filteren op basis van civielrechtelijke procesnormen (toelaatbaarheid en gelijke toegang).
2. Temporeel Bewustzijn: Een specifieke architecturale vereiste om de "geldige tijdsperiode" van deskundige kennis te beheren, waarbij erkend wordt dat juridische en medische standaarden evolueren en dat het "juiste" antwoord afhangt van de temporele context van het juridische geschil.
3. Getrouwheid in Juridische Context: Een verschuiving in de focus van evaluatie van algemene feitelijkheid naar bron-attributie, om er zeker van te zijn dat het systeem niet vertrouwt op zijn interne pre-trained kennis bij het genereren van juridische argumenten.

Resultaten en Claims

Het artikel is een preprint die een ontwerpvoorstel en een theoretisch kader presenteert; het rapporteert geen experimentele resultaten, kwantitatieve evaluaties of een geïmplementeerd systeem.

• Huidige Status: De auteurs stellen dat zij momenteel het systeem ontwikkelen en dat hun toekomstige werk bestaat uit het voorstellen van specifieke methoden om aan de geïdentificeerde vereisten te voldoen, het verfijnen van evaluatiemetrieken, het implementeren van het systeem en het uitvoeren van experimenten.
• Betekenis: De auteurs beweren dat hun werk een centraal, onvervuld probleem in AI voor het recht aanpakt: het gebrek aan onderzoek gericht op de naleving van juridische normen en de geschiktheid van kennisbronnen. Door deze drie pijlers (broncontrole, getrouwheid en temporele geldigheid) te definiëren, beoogt het artikel het noodzakelijke fundament te leggen voor het bouwen van RAG-systemen die vertrouwd kunnen worden in juridische omgevingen met een hoge inzet, waar procedurele rechtvaardigheid van cruciaal belang is.

Samenvattend betogen de auteurs dat voor RAG levensvatbaar te zijn in de Japanse procesvoering, het moet evolueren van een hulpmiddel dat simpelweg "relevante" informatie ophaalt naar een hulpmiddel dat "procedureel toelaatbare, temporeel accurate en strikt getrouwe" informatie ophaalt.