Structured Legal Document Generation in India: A Model-Agnostic Wrapper Approach with VidhikDastaavej

Die Arbeit stellt VidhikDastaavej vor, den ersten groß angelegten, anonymisierten Datensatz indischer privater Rechtsdokumente, und kombiniert ihn mit einem modellunabhängigen Wrapper-Ansatz (MAW), der durch eine zweistufige Generierungsfunktion die Genauigkeit und Kohärenz bei der automatisierten Erstellung rechtlicher Dokumente im indischen Kontext signifikant verbessert.

Das Wesentliche

Das große Problem: Der digitale Anwalt, der halluziniert

Stellen Sie sich vor, Sie wollen einen wichtigen Vertrag aufsetzen – vielleicht einen Mietvertrag oder eine Vollmacht. In Indien gibt es dafür Tausende von Mustern, aber die meisten sind streng vertraulich und liegen in den Schubladen von Anwaltskanzleien.

Künstliche Intelligenz (KI) ist zwar super im Schreiben, aber wenn man sie bittet, einen solchen komplexen juristischen Text zu verfassen, neigt sie oft dazu, zu halluzinieren. Das ist wie bei einem Schüler, der eine Hausaufgabe macht, aber statt die Fakten zu lernen, einfach Dinge erfindet, die klingen, als wären sie wahr.

• Beispiel: Die KI schreibt in einen Mietvertrag plötzlich, dass die Miete in Euro zu zahlen ist (obwohl es Indien ist) oder dass das Haus in London steht. Oder sie vergisst wichtige Klauseln, die im echten Leben für den Schutz des Mieters entscheidend sind.

Bisher gab es keine gute KI, die das richtig konnte, weil es keine öffentlichen Trainingsdaten für diese privaten Verträge gab und die Modelle oft einfach zu "dumm" für die langen, komplexen Strukturen waren.

Die Lösung: Ein neuer Datenschatz und ein intelligenter Assistent

Die Forscher haben zwei Dinge getan, um dieses Problem zu lösen:

1. Der Datenschatz: "VidhikDastaavej"

Stellen Sie sich vor, die Forscher haben mit einer indischen Anwaltskanzlei zusammengearbeitet und einen riesigen Tresor geöffnet. Darin liegen über 11.000 anonymisierte Verträge (wie Vollmachten, Aktienoptionen, Kaufverträge).

• Der Trick: Alle Namen, Adressen und Firmennamen wurden durch Platzhalter wie [PERSON] oder [ORT] ersetzt. So ist es sicher, aber die KI kann trotzdem lernen, wie echte Verträge aufgebaut sind.
• Der Name: "VidhikDastaavej" kommt aus dem Hindi und bedeutet einfach "Rechtliche Dokumente". Es ist der erste seiner Art in Indien.

2. Der neue Ansatz: Der "Model-Agnostic Wrapper" (MAW)

Das ist der eigentliche Clou. Normalerweise versucht man, eine KI so lange zu trainieren, bis sie alles kann (wie einen Schüler, der 10 Jahre lang jeden Tag denselben Lehrstoff lernt). Aber das funktioniert bei juristischen Texten oft schlecht, weil die Modelle dann stur werden oder sich Dinge merken, die nicht stimmen.

Stattdessen haben die Forscher einen intelligenten Assistenten (den "Wrapper") entwickelt, der jede KI steuern kann, egal ob sie kostenlos oder sehr teuer ist.

Wie funktioniert dieser Assistent? Ein Vergleich mit dem Bau eines Hauses:

Stellen Sie sich vor, Sie bauen ein Haus.

• Der alte Weg (Normale KI): Sie geben der KI den Auftrag "Bau ein Haus" und hoffen, dass sie sofort Wände, Dach und Fenster in der richtigen Reihenfolge und mit den richtigen Materialien setzt. Oft entsteht dann ein Haufen Ziegelsteine, der nicht stabil ist.
• Der neue Weg (Mit dem Wrapper):
  1. Phase 1: Der Bauplan. Zuerst sagt der Assistent zur KI: "Wir brauchen erst einen Bauplan." Die KI erstellt eine Liste der Räume (Küche, Bad, Schlafzimmer). Der Mensch kann diesen Plan prüfen und ändern ("Nein, wir brauchen ein Büro, kein Bad").
  2. Phase 2: Das Bauen. Erst wenn der Plan steht, baut die KI Raum für Raum.
     • Der Clou: Bevor die KI den "Küchen"-Text schreibt, schaut der Assistent in eine Bibliothek (eine Datenbank), wie echte Küchen in Verträgen aussehen. Er holt sich die besten Beispiele und gibt sie der KI als Vorlage.
     • Dann schreibt die KI den Text für die Küche.
     • Dann geht es zum Bad. Der Assistent schaut wieder in die Bibliothek, holt sich Beispiele für Bäder und stellt sicher, dass das Bad logisch zur Küche passt.

Dieser Prozess nennt sich "Struktur zuerst, dann Inhalt".

Warum ist das so toll?

1. Es funktioniert mit jeder KI: Sie müssen keine teure neue KI kaufen. Sie können diesen "Wrapper" über jede beliebige KI legen (wie einen Helm auf einen Motorradfahrer), und plötzlich wird sie besser im Juristischen.
2. Weniger Fehler: Weil die KI Schritt für Schritt arbeitet und immer wieder nachschaut (die Bibliothek nutzt), erfindet sie viel weniger Unsinn.
3. Bessere Ergebnisse als teure Modelle: Die Forscher haben getestet, wie gut ihre Methode funktioniert. Ein kostenloses, offenes Modell (Gemma), wenn es mit diesem "Wrapper" ausgestattet war, war besser als der sehr teure, kommerzielle Standard (GPT-4o), wenn es um juristische Genauigkeit ging.
4. Menschen bleiben im Loop: Das System ist so gebaut, dass ein echter Anwalt den Plan prüfen und Änderungen vornehmen kann, bevor der Text fertig ist. Es ist ein Werkzeug für Anwälte, kein Ersatz für sie.

Fazit

Die Forscher haben also nicht nur einen neuen Datenschatz (die anonymisierten Verträge) geschaffen, sondern auch eine neue Methode, wie man KI für schwierige Aufgaben einsetzt.

Statt die KI zu zwingen, alles auswendig zu lernen, geben wir ihr einen Bauplan und eine Bibliothek mit Vorlagen. So wird aus einem chaotischen Textgenerator ein präziser, zuverlässiger juristischer Assistent, der auch in Indien komplexe Verträge sicher und korrekt entwerfen kann.

Kurz gesagt: Sie haben der KI nicht nur mehr Wissen gegeben, sondern ihr auch beigebracht, wie man denkt, bevor man schreibt. Und das funktioniert besser als jedes reine Auswendiglernen.

Technische Zusammenfassung

1. Problemstellung

Die Automatisierung der Erstellung privater Rechtsdokumente im indischen Rechtskontext ist bisher stark unterentwickelt. Dies liegt primär an zwei Faktoren:

• Datenscarcity: Aufgrund der Vertraulichkeit privater Rechtsdokumente (Verträge, Vollmachten etc.) gibt es kaum öffentlich zugängliche, annotierte Trainingsdaten. Die meisten bestehenden Datensätze konzentrieren sich auf öffentliche Gerichtsurteile.
• Modell-Limitationen: Herkömmliche Large Language Models (LLMs) scheitern oft bei der Generierung langer, strukturierter Texte. Sie neigen zu Halluzinationen (falsche Fakten), verlieren den logischen Fluss und können komplexe rechtliche Anforderungen nicht konsistent erfüllen. Zudem machen spezifische Fine-Tuning-Ansätze (SFT) die Modelle unflexibel; sie sind an eine bestimmte Architektur gebunden und veralten schnell, wenn neue, leistungsfähigere Modelle erscheinen.

2. Methodik

Das Paper stellt einen zweistufigen Ansatz vor, der aus einem neuen Datensatz und einem generischen Framework besteht.

A. Der Datensatz: VidhikDastaavej

• Inhalt: Ein groß angelegter, anonymisierter Datensatz privater Rechtsdokumente, erstellt in Zusammenarbeit mit einer indischen Anwaltskanzlei.
• Umfang: 11.825 Dokumente, aufgeteilt in 11.692 Trainings- und 133 Testdokumente.
• Vielfalt: Abdeckung von 133 verschiedenen Dokumentenkategorien (z. B. Lizenzvereinbarungen, Aktienoptionspläne, Consulting-Verträge).
• Datenschutz: Alle Dokumente wurden mittels Named Entity Recognition (NER) mit spaCy anonymisiert (Ersetzung von Personen, Organisationen, Orten durch Platzhalter wie [PERSON]). Eine manuelle Expertenprüfung bestätigte die Wirksamkeit.
• Annotation: Experten bewerteten die Dokumente auf faktische Genauigkeit und Vollständigkeit (Likert-Skala 1–10).

B. Das Framework: Model-Agnostic Wrapper (MAW)

Statt eines reinen Fine-Tunings wird ein „Wrapper"-Ansatz gewählt, der unabhängig vom zugrunde liegenden LLM funktioniert (sowohl Open-Source als auch Closed-Source). Der Prozess folgt einem „Structure-then-Generate"-Prinzip:

1. Phase 1: Generierung von Sektionstiteln (Planning):

   • Basierend auf einer Benutzereingabe (Dokumententitel und Beschreibung) generiert das LLM eine strukturierte Liste von Abschnittstiteln.
   • Der Benutzer kann diese Liste interaktiv bearbeiten (Hinzufügen, Löschen, Umbenennen), bevor der Inhalt generiert wird. Dies stellt sicher, dass die Struktur den Erwartungen entspricht.

2. Phase 2: Generierung des Inhalts (Iterative Content Generation):

   • Der Inhalt wird abschnittsweise generiert.
   • Retrieval-Augmentation: Für jeden neuen Abschnitt werden Zusammenfassungen der bereits generierten Abschnitte aus einer Vektordatenbank (ChromaDB) abgerufen und als Kontext in den Prompt des LLMs eingefügt.
   • Dies gewährleistet globale Kohärenz, verhindert Widersprüche zwischen Abschnitten und reduziert Halluzinationen, da das Modell auf den bereits generierten Kontext zurückgreift.

3. Hauptbeiträge

1. VidhikDastaavej-Datensatz: Der erste große, anonymisierte Datensatz für private Rechtsdokumente in Indien, der als Benchmark für strukturierte Textgenerierung dient.
2. Model-Agnostic Wrapper (MAW): Ein leichtgewichtiges, skalierbares Framework, das die Generierung in Planung und Inhalt trennt und Retrieval nutzt, um die Qualität zu steigern, ohne das Basismodell neu trainieren zu müssen.
3. Expertenbasierte Evaluierung: Einführung einer strengen Bewertungsmethode durch Juristen, die über reine lexikalische Metriken (wie BLEU/ROUGE) hinausgeht und faktische Genauigkeit sowie Vollständigkeit misst.
4. Human-in-the-Loop (HITL) System: Ein interaktives System, das es Anwälten ermöglicht, Dokumente zu planen, Abschnitte zu verfeinern und die Generierung zu steuern.

4. Ergebnisse und Analyse

Die Evaluation umfasste lexikalische Metriken, semantische Ähnlichkeit (BERTScore), automatische LLM-Bewertungen (G-Eval) und Expertenbewertungen.

• Versagen des reinen Fine-Tunings (SFT): Überraschenderweise führte das direkte Fine-Tuning von Open-Source-Modellen (Qwen3-14B, LLaMA-3.1-8B, Gemma-3-12B) auf den Datensatz zu einer Verschlechterung der Leistung im Vergleich zu den Basismodellen. Dies wird auf Overfitting an häufige Muster und die Unfähigkeit zurückgeführt, sich auf seltene Dokumententypen zu verallgemeinern.
• Überlegenheit des MAW: Der Wrapper-Ansatz erzielte konsistent die besten Ergebnisse:
  • Faktische Genauigkeit: Ein Gemma-3-12B-Modell mit Wrapper erreichte eine Expertenbewertung von 8,82 (faktisch) und 7,82 (Vollständigkeit), was deutlich über dem Fine-tuned-Modell (1,00) und sogar leicht über dem proprietären GPT-4o (8,80) lag.
  • Konsistenz: Die Inter-Annotator-Übereinstimmung (IAA) war bei Wrapper-Modellen signifikant höher (Fleiss' κ > 0,80), was zeigt, dass die Ausgaben für Experten leichter und konsistenter zu bewerten waren.
  • Halluzinationsreduktion: Durch die schrittweise Generierung und den Retrieval-Mechanismus wurden faktische Inkonsistenzen (z. B. falsches anwendbares Recht oder fehlende Klauseln) drastisch reduziert.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Die Arbeit zeigt, dass für hochspezialisierte, strukturierte Domänen wie das Rechtswesen ein Retrieval-Augmented Generation (RAG) und Planungsansatz effektiver ist als reines Supervised Fine-Tuning (SFT). Dies ermöglicht es, auch kleinere oder Open-Source-Modelle für professionelle Aufgaben nutzbar zu machen.
• Praktische Anwendbarkeit: Da der Ansatz modellagnostisch ist, können Anwaltskanzleien und Entwickler ihn flexibel mit verschiedenen LLMs nutzen, ohne teure Neutraining-Prozesse durchführen zu müssen.
• Zukunft: Die Autoren planen, den Datensatz zu erweitern, domänenspezifischere Evaluierungsrubriken (Checklisten) zu entwickeln und die Rechenkosten durch Optimierungen (Caching, adaptive Retrieval) weiter zu senken.

Zusammenfassend etabliert diese Arbeit einen neuen Standard für die KI-gestützte Erstellung juristischer Dokumente in Indien, indem sie Datenverfügbarkeit mit einer robusten, fehlerreduzierenden Architektur kombiniert.