🤖 AI

NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

Dit position paper stelt het TRISM-framework voor, dat principes van NeuroSymbolic AI en een nieuwe RASOR RAG-aanpak met Large Language Models integreert om de betrouwbaarheid, betrouwbaarheid, interpreteerbaarheid en veiligheid van juridische AI te verbeteren door gegenereerde inhoud te funderen in geverifieerde gestructureerde juridische kennis en expliciete redenering.

Oorspronkelijke auteurs: Deepa Tilwani, Yash Saxena, Ankur Padia, Srinivasan Parthasarathy, Manas Gaur

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Deepa Tilwani, Yash Saxena, Ankur Padia, Srinivasan Parthasarathy, Manas Gaur

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat roekeloze juridisch medewerker aanneemt. Deze medewerker heeft elk boek in de bibliotheek gelezen (dankzij het zijn van een Large Language Model, of LLM), dus ze kunnen over bijna elk juridisch onderwerp vloeiend praten. Echter, ze hebben twee grote gebreken:

Ze verzinnen dingen: Soms, wanneer ze het exacte antwoord niet kunnen vinden, verzinnen ze neprechtspraak of wetten om overtuigend te klinken. In de echte wereld is dit gevaarlijk; een advocaat kwam ooit in ernstige problemen door een pleitnota in te dienen met valse citaten.
Ze missen de kleine lettertjes: Ze begrijpen misschien de algemene gedachte van een wet, maar missen een minuscule, cruciale uitzondering die alles verandert, zoals een specifieke deadline of een lokale regel die een algemene regel overrulet.

Dit artikel stelt een nieuwe manier voor om deze problemen op te lossen door een "Super-Clerk" te creëren genaamd TRISM. Zie TRISM als een partnerschap tussen twee verschillende soorten werknemers:

De Twee Werknemers: De Kunstenaar en De Boekhouder

De Kunstenaar (Neuraal Netwerk/LLM): Deze werknemer is geweldig in het lezen van rommelige, natuurlijke taal, het begrijpen van context en het vloeiend schrijven. Ze zijn als een creatieve schrijver die een verhaal prachtig kan samenvatten.
De Boekhouder (Symbolische AI): Deze werknemer is rigide, logisch en volgt strikte regels. Ze zijn als een strenge auditor die elke cijfer controleert tegen een grootboek. Ze "gokken" niet; ze rekenen op basis van feiten en regels.

Neurosymbolische AI is simpelweg het dwingen van deze twee om samen te werken. De Kunstenaar doet het zware werk van het begrijpen van de tekst, maar de Boekhouder controleert elke claim voordat deze wordt opgeschreven.

De Oplossing: De "RASOR" Pipeline

Het artikel introduceert een specifiek systeem genaamd RASOR (RAtionalize, Select, and Refine) om deze samenwerking te laten werken. Hier is hoe het functioneert, met behulp van een eenvoudige analogie:

Stel je voor dat je probeert een mysterie op te lossen, en je hebt een team van detectives (de AI).

Rationalize (Het Notitieblok van de Detective): In plaats van alleen het antwoord te raden, wordt de AI gedwongen om eerst haar "denkproces" op te schrijven. Ze moet uitleggen waarom ze denkt dat een bepaalde wet van toepassing is, stap voor stap. Dit is alsof een detective haar aanwijzingen opschrijft voordat ze een arrestatie verricht.
Select (De Bibliothecaris): Het systeem gaat naar een geverifieerde bibliotheek van juridische documenten (een Knowledge Graph) om de exacte pagina's te vinden die de aantekeningen van de detective ondersteunen. Het pakt niet zomaar het eerste boek dat het ziet; het gebruikt een slim filter om alleen de meest relevante, geverifieerde tekstfragmenten te selecteren.
Refine (De Redacteur): Voordat het definitieve rapport wordt verzonden, controleert een strenge redacteur het werk. Deze redacteur vergelijkt de aantekeningen van de detective met de boeken in de bibliotheek. Als de detective zegt: "De wet zegt X," maar het boek zegt "De wet zegt X tenzij Y," dan vangt de redacteur dit op. Deze stap verwijdert de "verzonnen" feiten (hallucinaties).
Structure (Het Definitieve Pleitnota): De uiteindelijke output wordt logisch georganiseerd, waarbij elke claim direct gekoppeld is aan een specifieke bron, net als een echte juridische pleitnota.

De Resultaten: Van "Misschien" naar "Bewezen"

De auteurs testten dit systeem op een dataset van echte juridische contracten (de CUAD-dataset).

Vóór (De Oude Manier): Wanneer standaard AI-modellen werden gebruikt, maakten ze in 75% van de gevallen fouten (hallucinaties). Ze waren zelfverzekerd maar vaak onjuist.
Ná (De TRISM/RASOR-Manier): Door deze nieuwe "Kunstenaar + Boekhouder"-methode te gebruiken, daalde het foutpercentage naar onder de 40%.

De auteurs argumenteren dat dit niet alleen gaat over het iets nauwkeuriger zijn; het gaat over vertrouwen. Omdat het systeem zijn werk laat zien (de "rationale") en zijn bronnen citeert (de "bibliotheekboeken"), kan een menselijke advocaat het antwoord daadwerkelijk verifiëren. Als de AI zegt: "Ja, u moet betalen," kan de advocaat de exacte regel en de uitzondering zien die in overweging is genomen.

Het Grotere Plaatje: Een Levende Bibliotheek

Om dit systeem werkend te houden, heeft de "Boekhouder" een constant bijgewerkte bibliotheek nodig. Het artikel beschrijft een methode om deze bibliotheek (een Knowledge Graph) automatisch bij te werken met behulp van de AI zelf.

Denk aan de bibliotheek als een kaart van alle wetten en rechtszaken.
Wanneer er een nieuwe wet wordt aangenomen of er een nieuwe rechtszaak plaatsvindt, detecteert het systeem een "gat" in de kaart.
Het gebruikt de AI om te hypothetiseren wat de nieuwe verbinding zou moeten zijn, controleert dit tegen bestaande regels en voegt het vervolgens toe aan de kaart.
Dit zorgt ervoor dat de "Boekhouder" altijd over de nieuwste regels beschikt om tegen te controleren.

Samenvatting

Kortom, dit artikel zegt: "Vertrouw niet alleen op een slimme AI die gokt. Bouw een systeem waarbij de creativiteit van de AI wordt gegrond in een strikte, regelvolgende logische motor." Door deze twee te combineren, creëerden ze TRISM, een framework dat juridische antwoorden produceert die Betrouwbaar, Betrouwbaar, Interpreteerbaar en Veilig zijn, wat het risico dat de AI nepwetten verzint aanzienlijk vermindert.

Technische Samenvatting: Neurosymbolische AI voor Legal AI-TRISM

Probleemstelling
Het artikel identificeert een kritieke kloof in de toepassing van Large Language Models (LLM's) binnen het juridische domein. Hoewel LLM's de natuurlijke taalverwerking hebben getransformeerd, lijden ze aan "hallucinaties" (het fabriceren van citaten of feiten), een gebrek aan interpreteerbare redenering en een onvermogen om zich strikt te houden aan jurisdictionele hiërarchieën en procedurele nuances. De auteurs citeren een voorbeeld uit 2024 waarbij Amerikaanse advocaten werden gesanctioneerd voor AI-gegenereerde pleidooien met gefabriceerde citaten als een treffend voorbeeld van deze risico's. Huidige Retrieval-Augmented Generation (RAG)-benaderingen, hoewel zij proberen LLM's te funderen in gezaghebbende bronnen, vertonen nog steeds significante hallucinatiecijfers (variërend van 17% tot 69% in diverse studies) en falen vaak in het correct vastleggen van complexe contextuele uitzonderingen of het prioriteren van conflicterende juridische precedenten. Puur neurale benaderingen worstelen met de logische consistentie, regelgebaseerde validatie en traceerbaarheid die vereist zijn voor besluitvorming met hoge inzet in de juridische sector.

Methodologie: Het TRISM-framework en RASOR
Om deze beperkingen aan te pakken, stellen de auteurs TRISM (Trustworthy, Reliable, Interpretable, Safe Models) voor, een framework dat de principes van Neurosymbolische AI integreert met LLM's. Deze benadering combineert de patroonherkenningscapaciteiten van neurale netwerken met de logische inferentie van symbolische redenering over gestructureerde juridische kennis.

De kerninstantiatie van TRISM die in het artikel wordt gepresenteerd, is RASOR (RAtionalize, Select, and Refine), een neurosymbolische RAG-pipeline ontworpen voor juridische tekstgeneratie. De RASOR-architectuur werkt via een vijfstappenproces:

Rationale Generation: Een gefinetuned model (SaulLM) genereert expliciete, interpreteerbare rationales vanuit juridische datasets die expert-queries en documenten bevatten.
Chunk Selection: Een Neural Rationale-based Chunk Selector (NRCS) koppelt deze gegenereerde rationales aan relevante document-chunks met behulp van een Dense Passage Retriever (DPR), waardoor de noodzaak voor complexe hyperparameter-tuning wordt geëlimineerd.
Refinement: Een Refiner-module maakt gebruik van Direct Preference Optimization (DPO) om rationales te optimaliseren, waarbij de rationales worden geselecteerd die het meest in lijn zijn met relevante document-chunks op basis van gepaarde voorbeelden uit de Contract Understanding Atticus Dataset (CUAD). Dit vermijdt de computationele overhead van Reinforcement Learning from Human Feedback (RLHF).
Verification: Een unsupervised Verifier filtert irrelevante of tegenstrijdige chunks eruit om de risico's op hallucinaties te beperken.
Inference: Het systeem genereert de uiteindelijke output met behulp van geverifieerde rationales, wat zorgt voor afstemming met domeinkennis.

Het artikel beschrijft ook een formele methodologie voor het construeren van Legal Knowledge Graphs (KGs) om als symbolische ruggengraat te dienen. Dit omvat:

Ontologie-integratie: Het definiëren van concepten (bijv. "Statute", "Court Decision"), relaties (bijv. "cites", "interprets") en hiërarchieën.
Entity en Relation Extraction: Het gebruik van Named Entity Recognition (NER) en semantic role labeling om triples $(s, p, o)$ uit juridische teksten te extraheren.
Dynamische Actualisering: Een geautomatiseerd 10-stappenproces dat LLM's gebruikt om "Knowledge Gaps" in de KG-embeddingruimte te detecteren. Dit omvat het genereren van hypothesen via role-playing strategieën (optreden als zowel verdediger als aanklager), het identificeren van nieuwe kandidaat-triples en het verfijnen van de KG om ervoor te zorgen dat deze actueel blijft met nieuwe wetten en precedenten.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

Analyse van Beperkingen: Een kritische examinatie van huidige AI-gestuurde methoden in het recht, waarbij de tekortkomingen in causale redenering, analogische redenering en het omgaan met jurisdictionele nuances worden belicht.
RASOR en Empirische Validatie: De introductie van RASOR, die aantoont dat transparante, gestructureerde redenering de prestaties verbetert. De auteurs beweren dat deze benadering de hallucinatiecijfers verlaagt van ongeveer 75% (in de baseline SaulLM-52B) naar onder de 40%.
Formaliseerde KG-methodologie: Een gestructureerde aanpak voor het creëren van symbolische juridische kennisbases die zowel interpreteerbare redenering als outputverificatie ondersteunen.
Het TRISM-framework: Een uitgebreid framework voor het integreren van symbolische juridische kennis met LLM's om aan de regelgevende criteria (nauwkeurigheid, verklaarbaarheid, eerlijkheid, veiligheid) te voldoen.

Resultaten
De auteurs evalueerden RASOR op de CUAD-dataset, die meer dan 13.000 expert-annotaties bevat over 510 contracten.

Retrieval Prestaties: RASOR behaalde een robuuste recall van ongeveer 93% bij zowel 128-token als 512-token chunk-groottes, waarmee het baseline re-rankers verslaat.
Generatie Nauwkeurigheid: Door LLAMA3-8B te gebruiken voor generatie, presteerde RASOR tot 17% nauwkeuriger dan de state-of-the-art re-ranker Contriever (gemeten door exact string match). Specifiek bij 128-token chunks behaalde RASOR 52% nauwkeurigheid vergeleken met 38% van Contriever; bij 512-token chunks bereikte het 64% vergeleken met 47% van Contriever.
Reductie van Hallucinaties: RASOR verminderde de hallucinatiecijfers tot onder de 40%, een significante verbetering ten opzichte van Contriever (58–65%) en SaulLM-52B (75%).
Dynamische Adaptatie: Het systeem demonstreerde het vermogen om het aantal opgehaalde chunks ( $K$ -waarde) dynamisch aan te passen op basis van de complexiteit van de query, waardoor de retrieval wordt geoptimaliseerd terwijl ruis wordt geminimaliseerd.

Betekenis en Claims
Het artikel positioneert RASOR als een "cruciale eerste stap" naar volledige neurosymbolische juridische AI. De auteurs beweren dat de verschuiving van puur neurale benaderingen naar neurosymbolische systemen de juridische AI verplaatst van "grotendeels onbetrouwbaar" naar "bruikbaar voor echt juridisch werk". De betekenis ligt in het vermogen van het systeem om:

Vertrouwen te Operationaliseren: Door expliciete bronvermelding en gestructureerde rationales af te dwingen, voldoet het systeem aan de pijlers van "Trustworthy" en "Interpretable" binnen TRISM.
De Kloof te Overbruggen: De modulaire architectuur dient als een conceptuele brug, waardoor huidige neurale componenten systematisch kunnen worden vervangen of verbeterd met symbolische tegenhangers (bijv. het vervangen van neurale chunk-selectie door Knowledge Graph-gebaseerde retrieval).
Adoptie Mogelijk te Maken: De auteurs merken op dat juridische professionals deze transparante systemen omarmden zodra zij verbeterde resultaten observeerden, wat suggereert dat verklaarbaarheid een belangrijke barrière voor adoptie is die deze benadering overwint.

Het artikel concludeert dat hoewel de huidige implementatie van RASOR primair een neurale route volgt, het ontwerp ruimte biedt voor een progressieve evolutie naar volledige neurosymbolische redeneersystemen, waarbij logische verificatie en symbolische regeltoepassing neurale benaderingen vervangen, om zo naleving van juridische hiërarchieën en procedurele beperkingen te waarborgen.

De Twee Werknemers: De Kunstenaar en De Boekhouder

De Oplossing: De "RASOR" Pipeline

De Resultaten: Van "Misschien" naar "Bewezen"

Het Grotere Plaatje: Een Levende Bibliotheek

Samenvatting

Meer zoals dit