Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering

Technische Samenvatting: Retrieval Augmented Generation Framework voor Vraagbeantwoording in het Nepalese Juridische Domein

Probleemstelling
Het Nepalese juridische domein kampt met aanzienlijke barrières voor de toegankelijkheid van informatie vanwege de fragmentatie, gebrekkige digitalisering en archaïsche terminologie van juridische teksten. Hoewel Kunstmatige Intelligentie (AI) de juridische vraagbeantwoording (QA) in hoog-resource talen zoals het Engels heeft getransformeerd, heeft het tekort aan geannoteerde data in laag-resource talen zoals het Nepalees de training van gespecialiseerde Large Language Models (LLM's) belemmerd. De dubbele uitdagingen van beperkte gecentraliseerde juridische documenten en het jargonrijke karakter van deze teksten maken handmatig onderzoek inefficiënt en sluiten de creatie van verfijnde (fine-tuned) juridische LLM's uit. Bijgevolg is er een kritieke behoefte aan een systeem dat zowel het publiek als professionals nauwkeurige, verifieerbare juridische antwoorden kan bieden zonder te vertrouwen op uitgebreide, handmatig geannoteerde trainingsdatasets.

Methodologie
Deze studie stelt een Retrieval-Augmented Generation (RAG) framework voor dat specifiek is afgestemd op Nepalese juridische QA, gebruikmakend van jurisprudentie geëxtraheerd uit het digitale archief van de Nepal Kanun Patrika (NKP). De methodologie is gestructureerd rond drie kerncomponenten:

1. Dataset Curatie:

   • Bron: 10.320 juridische documenten (uitspraken van het Hooggerechtshof) zijn gescraped uit het NKP-archief, reikend van 1992 tot 2022.
   • Preprocessing: De data is opgeschoond om anomalieën te verwijderen, genormaliseerd met Unicode NFC, en gesegmenteerd in chunks van maximaal 500 tokens met een overlap van 10% om context te behouden. De uiteindelijke dataset bestond uit 10.265 unieke documenten verdeeld over 110.626 chunks.
   • Evaluatieset: Een testset van 100 queries is samengesteld door juridische wetenschappers, bestaande uit 79% feitelijke objectieve vragen en 21% subjectieve vragen over juridische procedures en redeneringen.

2. Retrieval Strategieën:
   De studie vergeleek sparse retrieval met dense retrieval met behulp van de volgende configuraties:

   • Sparse Retrieval (BM25): Geïmplementeerd in twee modi:
     • BM25_Docs: Retrieval op volledige documenten.
     • BM25_Chunks: Retrieval op de gesegmenteerde 500-token chunks.
   • Dense Retrieval (Embedding Modellen): Drie modellen werden geëvalueerd op de ge-chunkte corpus met behulp van FAISS voor indexering:
     • multilingual-e5-large (1024 dimensies).
     • multilingual-e5-base (768 dimensies).
     • LaBSE (768 dimensies).
   • Context Selectie: Voor de generatie werd het best presterende document uit de best presterende sparse en dense methoden geselecteerd. Een ensemble "Count Method" werd ook getest, waarbij het meest voorkomende document uit de top-5 resultaten van meerdere retrievers werd gekozen, maar deze presteerde ondermaats.

3. Generatiestrategie:

   • Model: OpenAI's GPT-03 werd gebruikt voor de generatie van antwoorden.
   • Prompting: Een tweestaps prompting-strategie werd toegepast: (1) Bewijsextractie, waarbij het model letterlijke juridische zinnen identificeert die het antwoord ondersteunen; en (2) Antwoordgeneratie gebaseerd strikt op dat bewijs.
   • Weigeringsmechanisme: Het model kreeg de instructie om het antwoord te weigeren als er onvoldoende juridische grondslag werd gevonden in de opgehaalde context om hallucinaties te voorkomen.
   • Parameters: Een gematigde temperatuur (0.5) en top-p (1.0) werden gebruikt om een balans te vinden tussen feitelijkheid en vloeiendheid.

4. Evaluatie:

   • Retrieval Metrieken: Precision@1, Hit@k, en Mean Reciprocal Rank (MRR@k) werden gebruikt, naast latency-metingen.
   • Generatie Metrieken: Kwaliteit werd beoordeeld via Groundedness (afstemming op opgehaalde bronnen), Truthfulness (afstemming op referentieantwoorden) en Menselijke Evaluatie. Zowel "LLM-as-a-Judge" (gebruikmakend van Gemini 2.5 Pro) als menselijke experts evalueerden de outputs.

Belangrijkste Resultaten

• Retrieval Prestaties: Sparse retrieval presteerde significant beter dan dense retrieval. BM25_Chunks behaalde de hoogste Precision@1 van 91%, gevolgd door BM28_Docs met 88%. Het beste dense model, multilingual-e5-large, behaalde een Precision@1 van 75%. Andere dense modellen (e5-base, LaBSE) presteerden aanzienlijk slechter.
• Efficiëntie Trade-offs: Hoewel BM25_Chunks de hoogste nauwkeurigheid had, leed het onder hoge latency (1,2 seconden per query) vanwege het grote aantal chunks (110.626). BM25_Docs bood bijna vergelijkbare prestaties (88%) met aanzienlijk lagere latency (0,1 seconde), wat het een meer levensvatbare strategie maakt.
• Generatie Prestaties: Het gebruik van BM25_Docs als de retrieval-backbone leverde de beste generatie-resultaten op:
  • Succesvolle Antwoordratio: 92% (92 van de 100 queries).
  • Groundedness: 74% (geautomatiseerde rechter).
  • Truthfulness: 85% (geautomatiseerde rechter) en 84% (menselijke evaluatie).
  • De "Count Method" en dense retrieval methoden resulteerden in lagere succesratio's en hogere foutmarges in truthfulness.

Betekenis en Bijdragen
De auteurs claimen deze studie als de eerste systematische toepassing van een RAG-gebaseerde QA-pipeline specifiek voor Nepalese juridische casussen. De primaire bijdragen zijn:

1. Dataset Creatie: De compilatie en curatie van de eerste publieke dataset van Nepalese uitspraken van het Hooggerechtshof uit het NKP-archief.
2. Baseline Vaststelling: De eerste baseline-toepassing van een standaard RAG-pipeline voor Nepalese juridische QA.
3. Methodologische Vergelijking: De eerste empirische vergelijking van sparse (BM25) versus dense retrieval methoden in het Nepalese juridische domein.

Betekenis van de Bevindingen
Het artikel concludeert dat voor het Nepalese juridische domein, dat wordt gekenmerkt door een formule-achtige taal en specifieke terminologie, sparse lexicale matching (BM25) effectiever is dan semantische dense retrieval met standaard meertalige embeddings. Deze bevinding suggereert dat in laag-resource, domeinspecifieke settings waar pre-training op juridische tekst ontbreekt, exacte woordoverlap een betrouwbaardere grondslag biedt dan semantische benadering. De studie demonstreert dat een goed geconstrueerde RAG-pipeline effectief de kloof in de toegankelijkheid van juridische informatie voor laag-resource talen kan overbruggen, wat een fundament legt voor betrouwbare AI-systemen zonder de noodzaak van uitgebreide fine-tuning. De resultaten valideren ook de "LLM-as-a-Judge" benadering voor geautomatiseerde evaluatie, waarbij een sterke overeenkomst wordt getoond met menselijke expertbeoordelingen.