💻 computer science

On Measuring Semantic Preservation in Legal Ontology Learning

Dit artikel stelt een nieuw evaluatiekader voor en valideert dit, dat semantisch verlies bij het leren van juridische ontologieën kwantificeert door de prestaties van LLM-taken op brondocumenten te vergelijken met gestructureerde representaties, waarbij wordt aangetoond dat de bewaring van semantiek significant varieert afhankelijk van de specifieke combinatie van taalmodellen en methoden voor ontologie-leren.

Oorspronkelijke auteurs: Albert Sadowski, Jarosław A. Chudziak

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Albert Sadowski, Jarosław A. Chudziak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een complex juridisch contract te begrijpen. Je hebt twee keuzes: je kunt de robot de originele, rommelige, door mensen geschreven tekst voeren, of je kunt die tekst vertalen naar een supergeorganiseerde, gestructureerde kaart die een "ontologie" wordt genoemd. Denk aan een ontologie als een enorme, perfect gelabelde archiefkast waarbij elk concept een lade is en elke relatie een duidelijk label. Het idee is dat deze gestructureerde kaart de robot beter kan laten redeneren dan wanneer hij de rommelige tekst heeft. Maar hier komt de addertjes onder het gras: wanneer je een sappig, genuanceerd verhaal in een rigide archiefkast probeert te dwingen, kun je per ongeluk de belangrijkste smaken wegwerpen. Dit is het probleem van "semantisch verlies"—het verliezen van de betekenis terwijl je de structuur behoudt. Wetenschappers zijn erg goed geweest in het controleren of de archiefkast wel correct is gebouwd (zijn de laden wel goed gelabeld?), maar ze hadden geen goede manier om te controleren of de inhoud van de laden nog wel smakelijk genoeg is om het eigenlijke probleem op te lossen. Dit artikel stapt in die kloof en stelt een eenvoudige maar vitale vraag: "Helpt het de robot daadwerkelijk als we onze tekst in een gestructureerde kaart veranderen, of maakt het de robot juist dommer door de details weg te strippen die hij nodig heeft?"

De auteurs van dit artikel, Albert Sadowski en Jarosław A. Chudziak, besloten dit idee te testen in een zeer specifieke en lastige speeltuin: juridische fusieovereenkomsten. Dit zijn enorme, ingewikkelde contracten die bedrijven tekenen wanneer ze elkaar kopen, vol met kleine lettertjes en subtiele juridische voorwaarden. Ze wilden zien of het omzetten van deze contracten in ontologieën Large Language Models (LLM's)—de superintelligente AI-chatbots die we tegenwoordig gebruiken—hielp bij het beantwoorden van vragen over deze documenten.

Om dit te doen, zetten ze een slim experiment op. Eerst lieten ze zes verschillende AI-modellen de originele, rommelige contracten lezen en 34 verschillende soorten juridische vragen beantwoorden. Dit gaf hen een "baseline"-score, die de maximale hoeveelheid informatie vertegenwoordigt die de AI uit de originele tekst kan begrijpen. Daarna namen ze diezelfde contracten en haalden ze ze door drie verschillende methoden voor "ontologie-leren" (LLMs4OL, NeOn-GPT en NeOn-CoT) om ze om te zetten in gestructureerde kaarten. Ten slotte vroegen ze dezelfde AI-modellen om dezelfde vragen te beantwoorden, maar dan met de beperking dat ze alleen naar de gestructureerde kaarten mochten kijken, en niet naar de originele tekst.

De resultaten waren een schok. Het artikel toonde aan dat de AI-modellen in bijna alle gevallen slechter presteerden wanneer ze de gestructureerde kaarten moesten gebruiken in plaats van de originele tekst. Het is alsof je een heerlijke, complexe stoofpot neemt, al de bouillon en kruiden eruit zeeft om een net lijstje van ingrediënten te maken, en vervolgens een chef vraagt om de smaak van de stoofpot te recreëren met alleen dat lijstje. Het "semantische verlies" was echt en meetbaar. Gemiddeld verloren de AI-modellen tussen de 8,4 en 27,4 procentpunten aan nauwkeurigheid, afhankelijk van welke methode werd gebruikt. De methode genaamd LLMs4OL was de grootste boosdoener en zorgde ervoor dat de meeste informatie verdween, terwijl NeOn-GPT de "minst slechte" was en de meeste betekenis behield.

Echter, het verhaal wordt nog interessanter wanneer je kijkt naar welk AI-model de tekst aan het lezen was. Het artikel ontdekte dat het verlies niet voor iedereen hetzelfde was; het hing sterk af van de "persoonlijkheid" van het AI-model en de methode die werd gebruikt om de kaart te bouwen. Zo werkte bijvoorbeeld één model genaamd Gemini verrassend goed met een specifieke methode genaamd NeOn-CoT, waarbij het ongeveer 86-88% van de oorspronkelijke betekenis behield voor moeilijke taken. Maar als je diezelfde methode combineerde met een ander model, stortte de prestatie volledig in. Dit suggereert dat er niet één "beste" manier is om deze juridische kaarten te bouwen; in plaats daarvan moet je de perfecte match vinden tussen de AI-hersenen en het instrument voor het maken van de kaart.

De auteurs merkten ook op dat het type vraag uitmaakte. Als de vraag simpel was, zoals "Is dit een ja of een nee?", werkten de gestructureerde kaarten bijna perfect en ging er bijna geen informatie verloren. Maar als de vraag een begrip vereiste van subtiele juridische nuances—zoals het verschil tussen "waarschijnlijker dan niet" en "redelijkerwijs waarschijnlijk"—dan faalden de gestructureerde kaarten jammerlijk en verloren ze vaak tot wel 65% van de betekenis. De rigide structuur van de ontologie kon de delicate nuances van waarschijnlijkheid, waar juristen op vertrouwen, niet vangen.

Uiteindelijk zegt het artikel niet dat we moeten stoppen met het gebruik van ontologieën. In plaats daarvan waarschuwt het ons om niet aan te nemen dat het structureel maken van zaken automatisch beter maakt. De auteurs suggereren dat we, voordat we een gestructureerde kaart vertrouwen om een AI te helpen juridische beslissingen te nemen, deze eerst moeten testen om te zien of het daadwerkelijk de betekenis behoudt die voor ons van belang is. Ze ontdekten dat voor complexe juridische redeneringen het proces van het omzetten van tekst naar een gestructureerde kaart vaak precies die details wegneemt die het juiste antwoord bepalen. Dus hoewel ontologieën nog steeds nuttig zijn voor het organiseren van gegevens, moeten we voorzichtig zijn dat we niet het kind met het badwater weggooien, vooral wanneer "het kind" een subtiel juridisch argument is dat de uitkomst van een miljardendeal kan veranderen.

Technische Samenvatting: Over het Meten van Semantische Preservatie bij het Leren van Juridische Ontologieën

Probleemstelling
Ontologie-leren beoogt ongestructureerde tekst te transformeren naar gestructureerde, machineleesbare representaties om geautomatiseerd redeneren en systeeminteroperabiliteit te faciliteren. Dit transformatieproces brengt echter een inherent risico met zich mee: het potentieel voor verlies van semantische inhoud die vereist is voor downstream-taken. Huidige evaluatiemethodologieën richten zich voornamelijk op structurele correctheid—het beoordelen of ontologieën voldoen aan formele specificaties en logische consistentie vertonen. Hoewel deze maten technische validiteit waarborgen, slagen ze er niet in te detecteren of de betekenis van de oorspronkelijke tekst behouden blijft tijdens de transformatie. Bijgevolg ontbreekt het praktijkgebruikers aan evidence-based methoden om te bepalen wanneer ontologische transformatie specifieke toepassingen verbetert of belemmert, met name in complexe domeinen zoals het recht, waar precieze semantische onderscheidingen cruciaal zijn.

Methodologie
De auteurs stellen een taakgebaseerd evaluatiekader voor dat de prestaties van Large Language Models (LLM's) gebruikt als een proxy voor semantische toegankelijkheid. De kernpremiss is dat de baseline LLM-prestaties op brondocumenten de bovengrens vertegenwoordigen van de toegankelijke semantische inhoud voor dat specifieke model. De methodologie kwantificeert semantisch verlies door deze baseline te vergelijken met de prestaties van het model bij het uitvoeren van identieke taken met behulp van getransformeerde ontologische representaties.

Het semantisch verlies wordt berekend als:
$\text{SemantischVerlies} = \text{BaselinePrestatie} - \text{GetransformeerdePrestatie}$

De studie maakt gebruik van de Merger Agreement Understanding Dataset (MAUD) uit LegalBench, bestaande uit 34 meerkeuze-taken gerelateerd aan de analyse van fusieovereenkomsten (bijv. fiduciaire verplichtingen, materiële nadelige effecten). De experimentele opzet omvat zes diverse taalmodellen (o4 mini, GPT-4.1 mini, Claude Sonnet 4, Gemini 2.5 Flash, DeepSeek v3, en Llama 4 Maverick).

Drie benaderingen voor het leren van ontologieën worden geëvalueerd tegen een directe LLM-toepassing baseline:

LLMs4OL: Een domein-agnostische benadering die de constructie van ontologieën deelt in drie parallelle taken (termtypering, taxonomische ontdekking en relatie-extractie), gevolgd door een zero-shot integratiestap.
NeOn-GPT: Een gestructureerde, vijffasen pijplijn die domeinbewustzijn incorporeert (het identificeren van M&A-contracten) om de constructie van de ontologie te sturen, hoewel validatielussen voor deze studie zijn weggelaten.
NeOn-CoT: Een vereenvoudigde benadering die NeOn-principes consolideert in een enkele chain-of-thought prompting strategie, waarbij het domeinbewustzijn behouden blijft terwijl de computationele overhead wordt verminderd.

Het kader werkt onder principes van informatieconservatie, waarbij wordt gewaarborgd dat de benaderingen voor het leren van ontologieën de bestaande inhoud reorganiseren zonder externe kennisaugmentatie, waardoor verschillen in prestaties uitsluitend aan de transformatie-effecten kunnen worden toegeschreven.

Belangrijkste Resultaten
De evaluatie onthult systematisch semantisch verlies over alle benaderingen voor het leren van ontologieën, met een prestatiedegradatie variërend van 8,4 tot 27,4 procentpunten (pp) vergeleken met de baseline toegankelijkheidsniveaus.

Prestaties van de methode: De NeOn-GPT methode vertoonde de beste preservatiekenmerken (verliezen tussen 8,8–18,1 pp), wat suggereert dat expliciet domeinbewustzijn en sequentiële verwerking de juridische semantiek beter behouden. LLMs4OL vertoonde het meest ernstige verlies (13,9–27,4 pp), waarschijnlijk door informatiefragmentatie tijdens de parallelle taakdecompositie. NeOn-CoT toonde een intermediaire prestatie met aanzienlijke variabiliteit (8,4–25,3 pp).
Interacties tussen Model en Methode: Significante interacties werden waargenomen tussen specifieke modellen en methoden. Zo hadden, terwijl de meeste combinaties moeite hadden met complexe taken, de koppeling van Gemini 2.5 Flash met NeOn-CoT een uitzonderlijke semantische retentie bereikt (tot 88%) bij taken die genuanceerde modale taal vereisen, terwijl andere combinaties verliezen van meer dan 50% vertoonden.
Taakcomplexiteit: Semantisch verlies varieerde drastisch per type taak. Eenvoudige binaire determinaties (bijv. classificatietaken) vertoonden bijna perfecte preservatie (1–6% verlies). Daartegenover stonden taken die complexe juridische redeneringen met meerdere standaarden en de interpretatie van modale taal vereisten (bijv. "waarschijnlijker dan niet" versus "redelijkerwijs waarschijnlijk"), die zware degradatie ondergingen, met gemiddelde verliezen die opliepen tot 65%.
Falen-analyse: Ontologische transformatie compenseerde niet significant voor baseline-fouten van het model. De meeste benaderingen behaalden slechts 9–36% nauwkeurigheid in gevallen waarin het baseline-model faalde, wat aangeeft dat de methoden primair de bestaande toegankelijke inhoud reorganiseren in plaats van voorheen ontoegankelijke informatie beschikbaar te maken.

Betekenis en Claims
Het artikel claimt twee primaire bijdragen:

Een Evaluatiekader: Een domein-agnostische methodologie voor het meten van semantische preservatie in het leren van ontologieën door de relatieve preservatie van informatie te kwantificeren die extraheerbaar is door een gegeven model, waarmee verder wordt gekeken dan intrinsieke structurele metrieken.
Empirisch Bewijs van Variabiliteit: De demonstratie dat semantisch verlies in juridisch ontologie-leren niet uniform is, maar drastisch varieert op basis van model-methode-koppelingen.

De auteurs stellen dat semantisch verlies inherent lijkt aan het abstractieproces; het transformeren van precieze juridische taal (bijv. specifieke probabilistische standaarden) naar generieke ontologische concepten resulteert in het onomkeerbaar verdwijnen van kritieke juridische onderscheidingen. Zij concluderen dat structurele correctheid geen downstream bruikbaarheid garandeert. In plaats van te streven naar universele "one-size-fits-all" benaderingen, moet het vakgebied zich richten op het identificeren van optimale model-methode configuraties voor specifieke juridische redeneertaken. De bevindingen suggereren dat praktijkgebruikers de semantische preservatie empirisch moeten valideren voordat zij ontologische transformaties in juridische kennissystemen implementeren.

Meer zoals dit