A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

Deze paper presenteert een twee-trapsarchitectuur die LLaMA-3.1-8B-Instruct en een fijngetune Legal-Roberta-Large combineert om non-disclosure agreements automatisch te segmenteren en te classificeren, wat resulteert in een hoge precisie en haalbaarheid voor de analyse van deze juridische documenten.

De kern

Stel je voor dat je een enorme stapel oude, verschillende contracten moet lezen. Sommige zijn geschreven in een strakke, formele taal, andere in een rommelige, informele stijl. Sommige hebben veel kleine paragraafjes, andere hebben alles in één groot blok tekst. Dit is wat juridische teams dagelijks moeten doen met Non-Disclosure Agreements (NDA's): geheimhoudingsverklaringen.

Het probleem? Het is als proberen een raadsel op te lossen terwijl je een blinddoek op hebt. Het kost veel tijd, is saai, en menselijke ogen slaan vaak details over.

De auteurs van dit paper hebben een slimme oplossing bedacht: een tweestaps-robot die deze contracten voor je uitleest en begrijpt. Laten we kijken hoe dit werkt, met een paar creatieve vergelijkingen.

De Tweestaps-Robot: De "Scheerder" en de "Sorteerder"

In plaats van één supercomputer die alles tegelijk moet doen, hebben ze twee gespecialiseerde helpers ingezet.

Stap 1: De "Scheerder" (Segmentatie)

De taak: De robot moet het hele, lange contract nemen en het in logische stukjes hakken. Elke "stukje" is een clausule (een regel of paragraaf met een specifieke betekenis).
Hoe werkt het?
Stel je voor dat je een hele lange, ononderbroken filmrol hebt. De "Scheerder" is een slimme filmbewerker die precies weet waar de ene scène eindigt en de volgende begint, zelfs als de regisseur (de schrijver van het contract) dat niet duidelijk heeft aangegeven.

• De tool: Ze gebruiken een heel groot en slim taalmodel genaamd LLaMA. Dit model is als een ervaren lezer die duizenden boeken heeft gelezen en dus weet hoe zinnen in elkaar zitten.
• Het resultaat: De robot pakt het lange document en snijdt het in losse, duidelijke stukjes. Het is alsof je een rommelige berg Lego-blokken krijgt en de robot ze netjes in losse, herkenbare vormen (auto's, huizen, bomen) sorteert.
• Hoe goed is het? Zeer goed! De robot mist bijna niets en maakt geen fouten in het snijden. Het is alsof je een mes hebt dat altijd precies langs de lijntjes snijdt.

Stap 2: De "Sorteerder" (Classificatie)

De taak: Nu de robot het contract in losse stukjes heeft, moet hij elke stukjes een label geven. Wat zegt dit stukje eigenlijk?

• Is dit een stukje over wie er betrokken is?
• Is het over hoe lang het geheim moet blijven?
• Is het over wat er gebeurt als iemand trapt?
  Hoe werkt het?
  De "Sorteerder" is een specialist die zich alleen richt op het begrijpen van de inhoud van die losse stukjes.
• De tool: Ze gebruiken een model dat is getraind op juridische taal (Legal-Roberta). Dit is als een jurist die zijn hele leven alleen maar contracten heeft gelezen. Hij kent de taal van de wetten als geen ander.
• Het probleem: Soms hoort één stukje bij meerdere categorieën (bijvoorbeeld: het gaat over zowel "duur" als "einde"). Dit maakt het lastig, net als een boek dat zowel een detective als een liefdesroman is.
• Het resultaat: De robot plakt het juiste etiket op elk stukje. Hij is heel goed in het vinden van de grote, belangrijke regels, maar soms raakt hij een beetje in de war bij de heel zeldzame, specifieke regels (net als een mens die ook soms twijfelt bij rare uitzonderingen).

Waarom is dit zo belangrijk?

Vroeger moest een mens urenlang zitten om een contract te scannen. Nu doet deze robot het in een flits.

• Snelheid: Het is als het verschil tussen het handmatig sorteren van post of het laten doen door een machine die alles in seconden in de juiste vakjes gooit.
• Betrouwbaarheid: Mensen worden moe en maken fouten. De robot wordt niet moe en kijkt elke regel met dezelfde scherpe blik.
• Flexibiliteit: Omdat de "Scheerder" slim is, maakt het niet uit of het contract eruitziet als een strak document of als een rommelig kladblok. De robot ziet de structuur eronder.

Wat is er nog niet perfect?

De auteurs zijn eerlijk: het is lastig om genoeg voorbeelden te vinden om de robot te trainen. Bedrijven houden hun contracten namelijk geheim (dat is tenslotte de hele bedoeling van een NDA!). Hierdoor heeft de robot minder "oefenmateriaal" gehad voor de zeldzame soorten regels.

• Vergelijking: Het is alsof je een kok traint om 14 verschillende soepen te maken, maar je hebt alleen maar recepten voor 10 soepen. De kok wordt een meester in die 10, maar hij moet nog oefenen met de andere 4.

Conclusie

Kort samengevat: deze wetenschappers hebben een slimme, tweestaps-machine gebouwd die juridische geheimhoudingscontracten in één keer "leest", in stukjes hakt en begrijpt wat erin staat. Het is een enorme stap voorwaarts om juridisch werk sneller, veiliger en minder saai te maken. In de toekomst hopen ze de machine nog slimmer te maken, zodat hij zelfs kan helpen om fouten in de contracten te vinden en voor te stellen hoe ze beter kunnen.

Het is de overgang van "een mens met een vergrootglas" naar "een slimme robot met een superkrachtige bril".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification", vertaald en samengevat in het Nederlands.

Probleemstelling

In zakelijke relaties (B2B) zijn Non-Disclosure Agreements (NDAs) essentieel, maar hun analyse vormt een aanzienlijke uitdaging voor juridische teams. Deze documenten vertonen grote variatie in formaat, structuur en schrijfstijl, wat handmatige analyse traag en foutgevoelig maakt. Bestaande regelgebaseerde systemen falen vaak door het gebrek aan standaardisatie, terwijl de toenemende volume en urgentie van contractcontroles het risico op menselijke fouten en het overzien van juridische inconsistenties vergroten. De complexe, domeinspecifieke taal en ambiguïteiten in juridische teksten maken het moeilijk voor traditionele Natural Language Processing (NLP)-systemen om deze taken betrouwbaar uit te voeren.

Methodologie

De auteurs stellen een tweestaps-architectuur voor om de analyse van NDAs te automatiseren, geïmplementeerd met behulp van LangGraph. Het systeem bestaat uit twee hoofdcomponenten:

1. Segmentatie-component (Clause Extraction):

   • Doel: Het splitsen van een compleet NDA-document in individuele zinsdelen (clausules), ongeacht de originele lay-out of structuur.
   • Model: Gebruik van LLaMA-3.1-8B-Instruct, een Large Language Model (LLM), aangedreven door het vLLM-framework voor efficiënte inferentie en geheugenbeheer (via PagedAttention).
   • Aanpak: Het model ontvangt het volledige document en wordt via prompt-engineering geïnstrueerd om de tekst te segmenteren.
   • Uitdaging: Het ontbreken van gestandaardiseerde grenzen tussen clausules en de variatie in indeling (bijv. kolommen, tabellen).

2. Classificatie-component (Clause Labeling):

   • Doel: Het toewijzen van een of meer juridische categorieën aan elke gesegmenteerde clausule.
   • Model: Een fijngefineerde (fine-tuned) versie van Legal-RoBERTa-Base, een BERT-variant specifiek getraind op juridische teksten.
   • Aanpak: Dit is een multi-label classificatieprobleem, waarbij één clausule tot meerdere categorieën kan behoren (bijv. "Partijidentificatie", "Vertrouwelijkheid", "Aansprakelijkheid"). De dataset bevat 14 verschillende klassen.
   • Techniek: Om het probleem van onbalans in de dataset (waarbij sommige klassen veel vaker voorkomen dan andere) aan te pakken, werd Focal Loss gebruikt tijdens het trainingproces.

Dataset:
De experimenten gebruikten het openbare Kleister-NDA-dataset, aangevuld met handmatige annotaties van 322 NDAs (totaal 3.714 clausules) door drie juridische specialisten. De data is opgeslagen in TXT-formaat met specifieke tags voor begin en einde van clausules.

Evaluatiemethoden:

• Voor segmentatie: Gebruik van de Needleman-Wunsch-algoritme om voorspelde clausules optimaal af te stemmen op referentieclausules (om de kwadratische complexiteit van vergelijkingen te verminderen). Metrieken: ROUGE, Feitelijke Juistheid (Factual Correctness) en Semantische Similariteit.
• Voor classificatie: Metrieken zoals Macro F1, Weighted F1, Hamming Loss en Matthews Correlation Coefficient (MCC).

Belangrijkste Resultaten

1. Segmentatieprestaties:

   • Het model toonde uitzonderlijke prestaties bij het behouden van de inhoud en structuur van de oorspronkelijke documenten.
   • ROUGE F1-score: 0,95 ± 0,0036.
   • Feitelijke Juistheid: 0,95 ± 0,0044.
   • Semantische Similariteit: 0,98 ± 0,0027.
   • Dit bevestigt dat de LLM-clausules nauwkeurig afsnijdt zonder essentiële informatie te verliezen of te vervormen.

2. Classificatieprestaties:

   • Het model presteerde sterk op de meerderheidsklassen, maar had moeite met zeldzame klassen (onder 100 voorbeelden).
   • Weighted F1-score: 0,85 (testset), wat aangeeft dat het model goed presteert op de meest voorkomende clausuletypes.
   • Macro F1-score: 0,69 (testset), wat lager is door de slechte prestaties op de minderheidsklassen.
   • MCC: 0,84, wat wijst op een sterke correlatie tussen voorspellingen en werkelijke labels.
   • Hamming Loss: 0,03, wat aangeeft dat het aantal fouten per label laag is.

Bijdragen en Significantie

• Architecturale Innovatie: Het paper introduceert een robuuste, schaalbare tweestaps-architectuur die de sterke punten van LLMs (contextbegrip voor lange documenten) combineert met gespecialiseerde Transformer-modellen (precisie in classificatie).
• Efficiënte Evaluatie: De implementatie van de Needleman-Wunsch-algoritme voor het aligneren van gesegmenteerde clausules biedt een nieuwe, computatie-efficiënte methode om de kwaliteit van documentsegmentatie te evalueren, wat cruciaal is bij het ontbreken van strikte lineaire overeenkomsten.
• Praktische Toepasbaarheid: Het systeem vermindert de handmatige werkdruk voor juridische teams, zorgt voor consistentie in contractvalidatie en verhoogt de juridische betrouwbaarheid door fouten te minimaliseren.
• Uitbreidbaarheid: De architectuur is ontworpen om uitbreidbaar te zijn naar toekomstige taken zoals het corrigeren en herzien van clausules.

Conclusie en Toekomstperspectief

De studie toont aan dat het combineren van LLaMA voor segmentatie en Legal-RoBERTa voor classificatie een haalbare en nauwkeurige oplossing biedt voor de analyse van NDAs. De belangrijkste beperking was de schaarste aan geannoteerde data door de vertrouwelijke aard van NDAs, wat de generalisatie op zeldzame klassen beperkte. Voor toekomstig werk plannen de auteurs het gebruik van data-augmentatie en generatieve modellen om de onbalans in de dataset te verhelpen, en het integreren van het systeem in een volledig autonoom review-systeem met gespecialiseerde agenten voor het detecteren van inconsistenties.