Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering
Diese Studie stellt das erste Retrieval-Augmented-Generation-Framework für die Beantwortung juristischer Fragen auf Nepali vor, welches das Archiv der Nepal Kanun Patrika nutzt, um hohe Präzisions- und Wahrheitswerte zu erzielen und damit die Herausforderungen der Datenknappheit in ressourcenarmen Rechtsbereichen zu bewältigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Rechtssystem von Nepal als eine riesige, antike Bibliothek vor. Diese Bibliothek enthält tausende von Gerichtsurteilen (Fallrecht), die in Nepali geschrieben sind. Es gibt jedoch zwei große Probleme:
- Die Bücher sind unordentlich: Sie sind in einer veralteten Sprache verfasst, über verschiedene Orte verstreut und nicht alle sind ordnungsgemäß digitalisiert.
- Der Bibliothekar ist neu: Künstliche Intelligenz-Modelle (KI) werden meist mit englischen Büchern trainiert. Wenn man sie nach nepalesischem Recht fragt, werden sie oft verwirrt oder erfinden Dinge, weil sie nicht genug nepalesische Rechtstexte „gelesen“ haben, um die Regeln zu lernen.
Dieses Paper stellt einen neuen Weg vor, dies mit einem System namens RAG (Retrieval-Augmented Generation) zu lösen. Betrachten Sie RAG nicht als einen Studenten, der versucht, ein Lehrbuch auswendig zu lernen, sondern als einen intelligenten Forschungsassistenten, der es erlaubt, Antworten in einer Bibliothek nachzuschlagen, bevor er spricht.
So haben die Forscher diesen Assistenten aufgebaut und getestet:
1. Die Bibliothek (Die Daten)
Das Team wandte sich an das offizielle digitale Archiv des Obersten Gerichtshofs von Nepal (genannt Nepal Kanun Patrika). Sie extrahierten und bereinigten 10.320 Rechtsdokumente.
- Die Herausforderung: Sie konnten diese riesigen Dokumente nicht einfach in die KI einspeisen. Es ist, als würde man versuchen, einen spezifischen Satz in einem 500-seitigen Buch zu finden, indem man das ganze Buch auf einmal liest.
- Die Lösung: Sie zerlegten die Dokumente in kleinere „Chunks“ (wie das Zerschneiden einer langen Geschichte in kurze Absätze), damit die KI sie besser verarbeiten kann.
2. Die Suchmaschine (Die richtige Seite finden)
Bevor die KI eine Frage beantworten kann, muss sie die richtige Seite in der Bibliothek finden. Die Forscher testeten zwei verschiedene Wege der Suche:
Methode A: Der „Schlagwort-Jäger“ (BM25)
- Funktionsweise: Dies ist wie ein traditioneller Bibliothekar, der nach exakten Wörtern sucht. Wenn Sie fragen: „Was ist die Strafe für Diebstahl?“, scannt der Bibliothekar nach den exakten Wörtern „Strafe“, „Diebstahl“ und „Gesetz“.
- Das Ergebnis: Diese Methode war der Sieger. Sie fand das korrekte Dokument in 91 % der Fälle bei der Suche in kleinen Chunks und in 88 % der Fälle bei ganzen Dokumenten. Sie war sehr präzise, da die Rechtssprache oft sehr spezifisch und repetitiv ist.
Methode B: Der „Bedeutungs-Matcher“ (Dense Retrieval)
- Funktionsweise: Dies ist wie ein Bibliothekar, der die Vibe oder die Bedeutung einer Frage versteht, selbst wenn die Wörter unterschiedlich sind. Er nutzt fortgeschrittene Mathematik (Embeddings), um zu vermuten, dass „Stehlen“ und „Diebstahl“ dasselbe sind.
- Das Ergebnis: Diese Methode war gut, aber nicht großartig für diese spezifische Aufgabe. Sie fand das richtige Dokument nur in 75 % der Fälle. Die Forscher fanden heraus, dass für das nepalesische Recht die exakte Wortübereinstimmung besser funktioniert als das Erraten der Bedeutung, da juristische Begriffe sehr starr sind.
Die Geschwindigkeitsfalle:
Der „Schlagwort-Jäger“ (BM25) hatte einen Haken. Als sie die Dokumente in winzige Chunks zerlegten, um sie präziser zu machen, wurde die Suche sehr langsam (als würde man durch 110.000 winzige Karteikarten suchen statt durch 10.000 Bücher). Um das System schnell genug nützlich zu halten, wählten sie die „Ganze Dokument“-Version des Schlagwort-Jägers. Diese war etwas weniger genau, aber viel schneller.
3. Der Antwort-Schreiber (Die Antwort generieren)
Sobald das System das richtige Dokument gefunden hatte, musste es die Antwort schreiben.
- Die Regel: Die KI wurde strikt angewiesen: „Erfinde nichts.“
- Die Strategie: Die Forscher nutzten einen zweistufigen Prozess. Zuerst musste die KI auf den exakten Satz im Dokument hinweisen, der die Antwort beweist. Zweitens schrieb sie die Antwort ausschließlich basierend auf diesem Satz. Wenn sie keinen Beweis finden konnte, wurde ihr gesagt, „Ich weiß es nicht“ zu sagen, anstatt zu raten.
4. Die Ergebnisse (Hat es funktioniert?)
Das Team testete dieses System mit 100 Fragen, die von Rechtsexperten geschrieben wurden. So schnitt die beste Version (Schlagwort-Jäger + Ganze Dokumente) ab:
- Erfolgsquote: Es generierte erfolgreich eine Antwort für 92 % der Fragen.
- Wahrhaftigkeit: Bei der Überprüfung durch eine andere KI und durch menschliche Juristen waren die Antworten zu 85 % wahrheitsgemäß (das heißt, sie haben keine Fakten erfunden oder halluziniert).
- Fundiertheit (Groundedness): 74 % der Antworten wurden direkt durch den im Archiv gefundenen Text gestützt.
Das Fazrazit
Dieses Paper beweist, dass man für eine ressourcenarme Sprache wie Nepali nicht unbedingt eine superintelligente KI braucht, die alles auswendig gelernt hat. Stattdessen braucht man ein zuverlässiges Suchwerkzeug, das den exakten Rechtstext findet, und eine strenge KI, die sich weigert zu sprechen, wenn sie den Text nicht direkt vor sich liegen hat.
Durch die Kombination einer einfachen, schnellen Suchmethode (BM25) mit einem sorgfältigen Schreibprozess schufen sie das erste System, das zuverlässig rechtliche Fragen auf Nepali beantworten kann, ohne Fakten zu erfinden. Es ist ein Fundament, das letztlich gewöhnlichen Menschen helfen könnte, ihre Rechte zu verstehen, ohne einen Jura-Abschluss zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.