Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

1. Probleemstelling

Het artikel adresseert de kritieke kloof in de toegang tot juridische bijstand in India. Hoewel de Indiase Grondwet het recht op juridische middelen garandeert, kunnen veel burgers hun rechten niet effectief benutten vanwege gebrek aan bewustzijn en toegang tot accurate, actuele juridische informatie.

• Beperkingen van algemene LLM's: Bestaande algemene Large Language Models (LLM's) zoals GPT-3.5 Turbo lijden in het juridische domein aan twee hoofdzaken:
  1. Verouderde Kennis: Ze ontberen training op recente wetgevingswijzigingen (bijvoorbeeld de nieuw ingevoerde Bharatiya Nyaya Sanhita (BNS) en Bharatiya Nagarik Suraksha Sanhita (BNSS)).
  2. Hallucinaties: Ze genereren vaak plausibele maar feitelijk incorrecte informatie, wat onaanvaardbaar is in juridische situaties met hoge risico's.
• Rekenkundige inefficiëntie: Het trainen of fine-tunen van enorme modellen (bijvoorbeeld 175B parameters) voor specifieke domeinen is rekenkundig duur en vaak onnodig als een lichter model met de juiste architectuur vergelijkbare resultaten kan behalen.

2. Methodologie

De auteurs stellen Legal Assist AI voor, een lichtgewicht framework dat een gekwantiseerd model met 8 miljard parameters combineert met een Retrieval-Augmented Generation (RAG)-systeem en strategische prompt engineering.

A. Data-voorbereiding en Corpus-engineering

• Corpus-curatie: Een hoogwaardige dataset van meer dan 600 juridische documenten is samengesteld uit openbare overheids- en justitiële bronnen. Dit omvat de Indiase Grondwet, arbeidswetten, gerechtelijke uitspraken en de nieuwe BNS- en BNSS-codes.
• Preprocessing: Ruwe tekst is schoongemaakt en opgesplitst in stukken van 1.000 tekens met een overlap van 20 tekens om contextuele continuïteit te behouden terwijl een precieze vectorrepresentatie wordt gewaarborgd.
• Vector-indexering:
  • Embedding: Het model sentence-transformer/all-MiniLM-L6-v2 is gebruikt om tekststukken om te zetten in dichte vector-embeddings.
  • Opslag: Vectoren zijn geïndexeerd met FAISS (Facebook AI Similarity Search) om snelle, real-time semantische zoekopdrachten mogelijk te maken.

B. Selectie van het Kernmodel

• Basismodel: Llama 3.1-8B is geselecteerd vanwege de balans tussen redeneervermogen en rekenkundige efficiëntie.
• Kwantisering: Om te optimaliseren voor omgevingen met beperkte middelen, is het model gekwantiseerd naar Q4_0, waardoor de grootte is gereduceerd van 16 GB naar **4,7 GB**.
• Architectuur: Het model maakt gebruik van moderne componenten, waaronder Group Query Attention (GQA), Rotary Positional Embeddings (RoPE), RMS Normalization en SwiGLU-activering.

C. Systeemframework (RAG + Prompt Engineering)

Het systeem werkt volgens een Retrieve-then-Generate-workflow:

1. Retrieval-module: Wanneer een gebruikersvraag wordt ontvangen, wordt deze ingebed en gezocht in de FAISS-vectoropslag om de top $k$ relevante tekststukken op te halen.
2. Prompt-construktie: Een gestructureerde systeemprompt is ontworpen met vier componenten:
   • Proxy-functie: Definieert de persona als een Indiase juridische expert.
   • Juridische beperking: Handhaaft veiligheid, nauwkeurigheid en objectiviteit.
   • Input: Voegt de gebruikersvraag en opgehaalde context in.
   • Signaler: Biedt opmaakrichtlijnen (bijvoorbeeld "Antwoord:") voor gestructureerde output.
3. Generatie-module: Het gekwantiseerde Llama 3.1-8B verwerkt de verrijkte prompt om het uiteindelijke antwoord te genereren.
4. Hallucinatieregel: Als de retrieval-module geen relevante context teruggeeft, geeft het systeem expliciet aan: "Ik weet het niet", in plaats van een antwoord te hallucineren.

3. Belangrijkste Bijdragen

1. Legal Assist AI Framework: Een nieuw, lichtgewicht framework dat aantoont dat een model met 8 miljard parameters, wanneer gecombineerd met RAG en een gespecialiseerd corpus, veel grotere generalistische modellen kan overtreffen in het Indiase juridische domein.
2. Uitgebreid Indiase Juridische Corpus: De creatie en integratie van een dataset met de nieuwste Indiase wetten, waaronder de recent ingevoerde BNS en BNSS, die vaak ontbreken in standaard LLM-trainingdata.
3. Parameter Efficiency Index (PEI): De introductie van een nieuwe maatstaf om model-efficiëntie te kwantificeren ten opzichte van het aantal parameters:
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   Waar $A(M)$ de nauwkeurigheidscore is en $\Pi(M)$ het aantal parameters in miljarden.
4. Mitigatie van Hallucinaties: De strikte RAG-implementatie zorgt ervoor dat antwoorden zijn gebaseerd op het verstrekte corpus, wat het risico op feitelijke fouten aanzienlijk verlaagt.

4. Experimentele Resultaten

Het framework is geëvalueerd op twee hoofddimensies:

A. Kwalitatief Redeneren (Lawyer_GPT_India Dataset)

• Maatstaf: BERT Score (meet semantische gelijkenis).
• Resultaat: Het model behaalde een gemiddelde BERT-score van 76,90%, wat wijst op hoge semantische en contextuele relevantie in zijn antwoorden op open-ended juridische vragen.

B. Feitelijke Nauwkeurigheid (All-India Bar Examination - AIBE)

• Dataset: 1.134 geldige vragen uit 12 jaar AIBE-examens.
• Prestatievergelijking:
  • Legal Assist AI: 60,08% (Geslaagd)
  • GPT-3.5 Turbo (175B): 58,72% (Geslaagd)
  • Basis Llama 3.1-8B: 43,73% (Geslaagd)
  • Mistral 7B: 23,48% (Gefaald)
• Belangrijkste bevinding: Het lichtgewicht Legal Assist AI-framework presteerde beter dan de 175B GPT-3.5 Turbo, ondanks dat het 21 keer minder parameters heeft.

C. Parameter Efficiency Index (PEI) Analyse

• Legal Assist AI PEI: 7,51
• GPT-3.5 Turbo PEI: 0,34
• Conclusie: Legal Assist AI is 22 keer meer parameter-efficiënt dan GPT-3.5 Turbo. Dit bevestigt dat gespecialiseerde, kleinere modellen met RAG superieur zijn aan enorme generalistische modellen voor domeinspecifieke taken.

5. Betekenis en Impact

• Democratisering van Juridische Toegang: Het framework biedt een kosteneffectieve oplossing (operationele kosten verlaagd met tot 99,97% ten opzichte van traditionele methoden) om accurate juridische informatie aan het grote publiek te verstrekken.
• Schaalbaarheid: Door gebruik te maken van een gekwantiseerd 8B-model kan het systeem worden ingezet op hardware voor consumenten, waardoor het schaalbaar is voor advocatenkantoren en openbare juridische bijstandsdiensten zonder enorme infrastructuurkosten.
• Paradigmaverschuiving: De studie daagt het idee uit dat "groter beter is" bij LLM's, en bewijst dat domeinadaptatie via RAG en prompt engineering een efficiëntere strategie is dan vertrouwen op het aantal parameters alleen.
• Praktische Toepassing: Het systeem slaagt erin complexe, evoluerende Indiase wetten (zoals BNS/BNSS) te behandelen die algemene modellen niet accuraat kunnen adresseren, en biedt een bruikbaar hulpmiddel voor juridische professionals om relevante secties en artikelen efficiënt te extraheren.

6. Beperkingen en Toekomstig Werk

• Beperkingen: Het systeem mist momenteel expliciete bronvermelding (traceerbaarheid), wat van invloed is op het vertrouwen van de gebruiker. Er is ook een risico dat gebruikers de AI-output verkeerd interpreteren als formeel juridisch advies.
• Toekomstige Richtingen:
  1. Implementeren van een continue datapijplijn om het corpus te updaten met real-time jurisprudentie.
  2. Verbeteren van de RAG-module om expliciet bronpassages te citeren voor verifieerbaarheid.
  3. Introduceren van "expert-in-the-loop"-validatie om de datakwaliteit te waarborgen.