Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej

Dit paper introduceert VidhikDastaavej, het eerste grote, geanonimiseerde dataset van Indiase juridische documenten, en een model-onafhankelijke wrapper-methode die de nauwkeurigheid en coherentie van gestructureerde juridische tekstgeneratie aanzienlijk verbetert.

De kern

🏛️ De Grote Uitdaging: Het Bouwen van een Juridisch Huis

Stel je voor dat je een heel groot, complex huis moet bouwen (een juridisch document, zoals een huurcontract of een machtiging). Normaal gesproken doen dit ervaren bouwmeesters (advocaten). Ze weten precies welke fundering nodig is, welke muren waar moeten komen en welke wetten er gelden.

De onderzoekers in dit paper wilden een robot bouwen die dit huis ook kan bouwen. Maar ze stonden voor twee grote problemen:

1. Geen blauwdrukken: In India zijn er bijna geen openbare voorbeelden van privé-juridische documenten. Het is alsof je een robot wilt leren bouwen, maar je hebt geen foto's of tekeningen van de huizen die mensen daadwerkelijk wonen. Alles is geheim of vertrouwelijk.
2. De robot raakt in de war: Als je een slimme AI (zoals een grote taalmodel) vraagt om direct een heel lang document te schrijven, begint hij vaak te "hallucineren". Hij verzonnen feiten, vergeet belangrijke zinnen of schrijft dingen die juridisch onzin zijn. Het is alsof de robot probeert een huis te bouwen terwijl hij blind is; hij zet de ramen in de vloer en de deur in het plafond.

📚 De Oplossing 1: De "VidhikDastaavej" Bibliotheek

Om het eerste probleem op te lossen, hebben de onderzoekers samengewerkt met een Indisch advocatenkantoor. Ze hebben een enorme, geanonymiseerde bibliotheek gecreëerd genaamd VidhikDastaavej.

• Wat is het? Een verzameling van meer dan 11.000 echte juridische documenten (zoals machtigingen, aandelenopties en leasecontracten).
• Het geheim: Alle namen, adressen en gevoelige gegevens zijn eruit gehaald en vervangen door plaatshouders (zoals [NAAM] of [DATUM]).
• De metafoor: Het is alsof ze een enorme bibliotheek hebben geopend met duizenden perfecte voorbeelden van hoe huizen eruit moeten zien, maar zonder de namen van de bewoners. Zo kan de AI leren hoe de "Indische bouwstijl" eruit ziet, zonder dat er privacy wordt geschonden.

🛠️ De Oplossing 2: De "Model-Agnostic Wrapper" (De Slimme Architect)

Dit is het meest innovatieve deel. De onderzoekers realiseerden zich dat je niet altijd de duurste, nieuwste robot (het AI-model) nodig hebt, maar wel een slimme aansturing. Ze noemen dit de Model-Agnostic Wrapper (MAW).

Stel je voor dat je een AI-model vraagt om een heel boek te schrijven. Als je het direct laat doen, zal het waarschijnlijk halverwege de draad kwijtraken of onzin beginnen te praten.

De MAW werkt in twee stappen, net als een ervaren architect:

1. Stap 1: Het Ontwerp (De Blauwdruk):
   Eerst vraagt de "architect" (de wrapper) aan de AI: "Welke hoofdstukken heeft dit document nodig?"
   De AI maakt een lijst: Inleiding, Partijen, Verplichtingen, Sluiting.
   De gebruiker kan dit lijstje nu nog aanpassen. Dit zorgt ervoor dat het fundament goed ligt voordat er ook maar één muur wordt opgetrokken.

2. Stap 2: Het Bouwen (Stuk voor stuk):
   Nu bouwt de AI het document stuk voor stuk.

   • Hij schrijft eerst de "Inleiding".
   • Hij slaat een samenvatting daarvan op in een geheugenkast (een database).
   • Als hij begint met "Verplichtingen", kijkt hij eerst in die geheugenkast om te zien wat hij net heeft geschreven. Zo blijft het verhaal logisch en consistent.
   • Hij doet dit voor elk hoofdstuk, steeds met de context van de vorige stukken.

Waarom is dit slim?
Het maakt niet uit welke AI je gebruikt (gratis of betaald, oud of nieuw). De "architect" (de wrapper) houdt het proces in de gaten. Het is alsof je een team van bouwvakkers hebt met een strenge chef die zegt: "Niet alles in één keer, maar eerst de fundering, dan de muren, en check steeds of het klopt met wat we eerder hebben gedaan."

🧪 De Test: Werkt het?

De onderzoekers hebben dit getest op verschillende manieren:

• De computer: Ze keken of de tekst leek op de echte voorbeelden.
• De experts: Ze gaven echte advocaten een lijst met gegenereerde documenten en vroegen: "Is dit juridisch correct en compleet?"

Het resultaat:

• Als je de AI alleen liet werken (zonder de wrapper), was het resultaat vaak slecht. Het waren rommelige documenten met verzonnen feiten.
• Met de Wrapper waren de documenten veel beter. Ze waren logisch, compleet en bevatten veel minder fouten.
• Zelfs een gratis, open-source AI-model, als het werd bestuurd door deze "architect", deed het beter dan dure, gespecialiseerde modellen die zonder hulp werden gebruikt.

💡 De Conclusie in Eén Zin

Dit paper laat zien dat je in de juridische wereld niet per se de duurste AI nodig hebt, maar wel een slimme manier van werken: eerst een plan maken, dan stuk voor stuk bouwen, en steeds controleren of het klopt. Met hun nieuwe bibliotheek (VidhikDastaavej) en hun slimme aansturing (MAW) hebben ze een fundament gelegd voor AI die advocaten in India echt kan helpen, zonder dat ze de controle verliezen.

Kortom: Het is niet de robot die het huis bouwt, maar de slimme bouwplanning die ervoor zorgt dat het huis niet instort. 🏠✨

Technische samenvatting

Probleemstelling

Het automatiseren van het opstellen van juridische documenten kan de efficiëntie in juridische workflows aanzienlijk verbeteren. Echter, de gestructureerde generatie van privé juridische documenten (zoals contracten, machtigingen en overeenkomsten) binnen de Indiase context blijft onderbelicht. De belangrijkste uitdagingen zijn:

1. Gebrek aan open data: Privé juridische documenten zijn vertrouwelijk, wat leidt tot een schaarste aan openbare trainingsdatasets. Bestaande datasets focussen voornamelijk op publieke vonnissen.
2. Complexiteit van lange teksten: Het genereren van lange, coherente juridische teksten vereist strikte structuur, feitelijke nauwkeurigheid en het vermijden van hallucinaties, wat voor standaard LLMs (Large Language Models) moeilijk is.
3. Modelafhankelijkheid: Bestaande methoden die vertrouwen op Supervised Fine-Tuning (SFT) worden snel verouderd bij de lancering van nieuwe modellen en vereisen vaak grote rekenkracht en data, wat voor veel gebruikers (zoals advocatenkantoren) onhaalbaar is.

Methodologie

De auteurs introduceren een tweeledige aanpak: een nieuw dataset en een generatief framework.

1. VidhikDastaavej Dataset

• Omschrijving: Een groot, geanonimiseerd dataset van privé juridische documenten, ontwikkeld in samenwerking met een Indiaas advocatenkantoor.
• Omvang: Bestaat uit 11.825 documenten (11.692 voor training, 133 voor test) verdeeld over 133 verschillende juridische categorieën (bijv. licentieovereenkomsten, aandelenoptieovereenkomsten, consultancyovereenkomsten).
• Anonymisatie: Alle documenten zijn verwerkt met een NER-gebaseerde (Named Entity Recognition) redactieprocedure (met spaCy) om persoonsgegevens (namen, organisaties, locaties, data) te vervangen door placeholders (bijv. [PERSON], [DATE]). Een subset is handmatig gecontroleerd door experts om de kwaliteit te waarborgen.
• Annotation: Documenten zijn gecategoriseerd en gestructureerd door juridische experts, met een focus op sectie-headers en juridische soundness.

2. Model-Agnostic Wrapper (MAW)

In plaats van een specifiek model te fine-tunen, stellen de auteurs een Model-Agnostic Wrapper voor. Dit is een framework dat met elk LLM (open-source of gesloten) kan werken en de generatie in twee fasen splitst:

• Fase 1: Generatie van Sectietitels (Planning): Op basis van de gebruikersinstructie genereert het model eerst een gestructureerde lijst van sectietitels. De gebruiker kan deze lijst handmatig aanpassen (HITL - Human-in-the-Loop).
• Fase 2: Inhoudsgeneratie per Sectie (Iteratief):
  • Voor elke sectie genereert het model de inhoud.
  • Retrieval-Augmented Generation (RAG): De samenvattingen van de reeds gegenereerde secties worden opgeslagen in een vectordatabase (ChromaDB). Bij het genereren van de volgende sectie worden relevante samenvattingen opgehaald en als context aan het model gegeven.
  • Dit zorgt voor globale coherentie en voorkomt dat het model details vergeet of tegenstrijdigheden introduceert.

Belangrijkste Bijdragen

1. VidhikDastaavej Dataset: De eerste grote, geanonimiseerde dataset voor privé juridische documenten in India, specifiek gericht op gestructureerde tekstgeneratie.
2. Model-Agnostic Wrapper (MAW): Een lichtgewicht, schaalbaar framework dat de kwaliteit van de generatie verbetert zonder het onderliggende model te hoeven hertrainen. Het koppelt planning en generatie los van de modelarchitectuur.
3. Expert-gebaseerde Evaluatie: Introductie van een robuust evaluatiemethode waarbij juridische experts de gegenereerde documenten beoordelen op feitelijke nauwkeurigheid en ** volledigheid/compleetheid** (op een Likert-schaal van 1-10), naast standaard NLP-metrics.
4. Human-in-the-Loop Systeem: Een interactief systeem dat gebruikers toelaat om documenttypes te specificeren, secties aan te passen en drafts iteratief te genereren.

Resultaten

De prestaties zijn geëvalueerd op basis van lexische metrics (ROUGE, BLEU), semantische metrics (BERTScore), automatische LLM-evaluatie (G-Eval) en expertbeoordeling.

• SFT vs. Wrapper: Interessant genoeg presteerden modellen die direct werden fine-tuned (SFT) op de dataset vaak slechter dan de basismodellen. Dit werd toegeschreven aan overfitting op dominante patronen en het gebrek aan vermogen om te generaliseren naar zeldzame documenttypes.
• Superioriteit van MAW: De wrapper-aanpak leverde aanzienlijke verbeteringen op:
  • Feitelijke Nauwkeurigheid: Gemma-3-12B-It met de wrapper scoorde 8.82 (expert score), vergeleken met slechts 1.00 voor het SFT-versie.
  • Volledigheid: De wrapper verbeterde de volledigheid aanzienlijk, zelfs bij kleinere modellen.
  • Vergelijking met GPT-4o: De wrapper-versies van open-source modellen (zoals Gemma en LLaMA) presteerden vergelijkbaar met of zelfs beter dan GPT-4o op expert-scores voor feitelijke nauwkeurigheid.
• Inter-Annotator Agreement (IAA): De wrapper-gegenereerde documenten hadden een veel hogere overeenstemming tussen experts (Fleiss' κ > 0.80) dan de SFT-modellen, wat aangeeft dat de output consistent en makkelijker te beoordelen was.
• Ablatie-studie: Het verwijderen van de retrieval-module leidde tot een daling van 2,2 punten in feitelijke nauwkeurigheid, wat aantoont dat contextuele grounding essentieel is.

Betekenis en Toekomstperspectief

Dit onderzoek markeert een belangrijke stap in de AI-ondersteunde juridische drafting in India.

• Praktische Toepasbaarheid: De MAW-benadering maakt het mogelijk om hoogwaardige juridische documenten te genereren met bestaande, open-source modellen zonder dure hertraining, wat toegankelijkheid vergroot.
• Kwaliteitsborging: Door de combinatie van gestructureerde planning, retrieval en menselijke controle (HITL) worden hallucinaties geminimaliseerd en wordt de juridische geldigheid gewaarborgd.
• Toekomst: De auteurs plannen uitbreiding van de dataset, verfijning van de evaluatieprotocollen (checklists per documenttype) en optimalisatie van de inferentie-tijd voor productieve inzet.

Kortom, het paper bewijst dat een model-agnostische, gestructureerde aanpak superieur is aan traditionele fine-tuning voor complexe, feitelijke domeinen zoals juridisch documenteren, en biedt een reproduceerbaar fundament voor toekomstig onderzoek in Legal AI.