Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

1. Enunciato del Problema

Il documento affronta il divario critico nell'accesso all'assistenza legale in India. Sebbene la Costituzione indiana garantisca il diritto alle risorse legali, molti cittadini non riescono a utilizzare efficacemente i propri diritti a causa della mancanza di consapevolezza e dell'accesso a informazioni legali accurate e aggiornate.

• Limitazioni degli LLM Generali: I modelli linguistici (LLM) generici esistenti, come GPT-3.5 Turbo, soffrono di due problemi principali nel dominio legale:
  1. Conoscenza Obsoleta: Mancano di addestramento su recenti cambiamenti legislativi (ad esempio, le recentemente emanate Bharatiya Nyaya Sanhita (BNS) e Bharatiya Nagarik Suraksha Sanhita (BNSS)).
  2. Allucinazioni: Generano frequentemente informazioni plausibili ma fattualmente errate, il che è inaccettabile in contesti legali ad alto rischio.
• Inefficienza Computazionale: L'addestramento o il fine-tuning di modelli massicci (ad esempio, 175 miliardi di parametri) per domini specifici è computazionalmente costoso e spesso inutile se un modello più leggero può ottenere risultati simili con la giusta architettura.

2. Metodologia

Gli autori propongono Legal Assist AI, un framework leggero che combina un modello quantizzato da 8 miliardi di parametri con un sistema di Generazione Aumentata dal Recupero (RAG) e ingegneria strategica dei prompt.

A. Preparazione dei Dati e Ingegneria del Corpus

• Cura del Corpus: È stato curato un dataset di alta qualità di oltre 600 documenti legali provenienti da fonti governative e giudiziarie pubbliche. Questo include la Costituzione indiana, leggi sul lavoro, sentenze giudiziarie e i nuovi codici BNS e BNSS.
• Preprocessing: Il testo grezzo è stato pulito e segmentato in blocchi di 1.000 caratteri con una sovrapposizione di 20 caratteri per preservare la continuità contestuale garantendo al contempo una rappresentazione vettoriale precisa.
• Indicizzazione Vettoriale:
  • Embedding: Il modello sentence-transformer/all-MiniLM-L6-v2 è stato utilizzato per convertire i blocchi di testo in densi vettori di embedding.
  • Archiviazione: I vettori sono stati indicizzati utilizzando FAISS (Facebook AI Similarity Search) per abilitare un recupero semantico veloce e in tempo reale.

B. Selezione del Modello Core

• Modello Base: Llama 3.1-8B è stato selezionato per il suo equilibrio tra capacità di ragionamento ed efficienza computazionale.
• Quantizzazione: Per ottimizzare gli ambienti con risorse limitate, il modello è stato quantizzato a Q4_0, riducendone le dimensioni da 16 GB a **4,7 GB**.
• Architettura: Il modello utilizza componenti moderni tra cui Group Query Attention (GQA), Rotary Positional Embeddings (RoPE), RMS Normalization e attivazione SwiGLU.

C. Framework di Sistema (RAG + Ingegneria dei Prompt)

Il sistema opera su un flusso di lavoro Recupera-poi-Genera:

1. Modulo di Recupero: Quando viene ricevuta una query utente, questa viene incorporata e cercata nel repository vettoriale FAISS per recuperare i primi $k$ blocchi di testo legale rilevanti.
2. Costruzione del Prompt: Un prompt di sistema strutturato è ingegnerizzato con quattro componenti:
   • Caratteristica Proxy: Definisce la persona come un esperto legale indiano.
   • Vincolo Legale: Impone sicurezza, accuratezza e obiettività.
   • Input: Inserisce la query utente e il contesto recuperato.
   • Segnale: Fornisce indicazioni di formattazione (ad esempio, "Risposta:") per un output strutturato.
3. Modulo di Generazione: Il Llama 3.1-8B quantizzato elabora il prompt arricchito per generare la risposta finale.
4. Paraurti contro le Allucinazioni: Se il modulo di recupero non restituisce alcun contesto rilevante, il sistema dichiara esplicitamente "Non lo so", invece di allucinare una risposta.

3. Contributi Chiave

1. Framework Legal Assist AI: Un framework leggero e innovativo che dimostra come un modello da 8 miliardi di parametri, se combinato con RAG e un corpus specializzato, possa superare modelli generalisti molto più grandi nel dominio legale indiano.
2. Corpus Legale Indiano Completo: La creazione e l'integrazione di un dataset contenente le ultime leggi indiane, inclusi i recentemente emanati BNS e BNSS, che spesso mancano dai dati di addestramento standard degli LLM.
3. Indice di Efficienza dei Parametri (PEI): L'introduzione di una nuova metrica per quantificare l'efficienza del modello rispetto alla dimensione dei parametri:
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   Dove $A(M)$ è il punteggio di accuratezza e $\Pi(M)$ è il conteggio dei parametri in miliardi.
4. Mitigazione delle Allucinazioni: L'implementazione rigorosa di RAG garantisce che le risposte siano basate sul corpus fornito, riducendo significativamente il rischio di errori fattuali.

4. Risultati Sperimentali

Il framework è stato valutato su due dimensioni principali:

A. Ragionamento Qualitativo (Dataset Lawyer_GPT_India)

• Metrica: Punteggio BERT (misura la similarità semantica).
• Risultato: Il modello ha ottenuto un punteggio BERT medio del 76,90%, indicando un'elevata rilevanza semantica e contestuale nelle sue risposte a query legali a risposta aperta.

B. Accuratezza Fattuale (Esame dell'Ordine degli Avvocati di tutta l'India - AIBE)

• Dataset: 1.134 domande valide provenienti da 12 anni di esami AIBE.
• Confronto delle Prestazioni:
  • Legal Assist AI: 60,08% (Superato)
  • GPT-3.5 Turbo (175B): 58,72% (Superato)
  • Llama 3.1-8B Base: 43,73% (Superato)
  • Mistral 7B: 23,48% (Fallito)
• Risultato Chiave: Il framework leggero Legal Assist AI ha superato il GPT-3.5 Turbo da 175B nonostante abbia 21 volte meno parametri.

C. Analisi dell'Indice di Efficienza dei Parametri (PEI)

• PEI di Legal Assist AI: 7,51
• PEI di GPT-3.5 Turbo: 0,34
• Conclusione: Legal Assist AI è 21 volte più efficiente in termini di parametri rispetto a GPT-3.5 Turbo. Questo valida che modelli specializzati e più piccoli con RAG sono superiori ai massicci modelli generalisti per compiti specifici di dominio.

5. Significato e Impatto

• Democratizzazione dell'Accesso Legale: Il framework offre una soluzione economica (i costi operativi ridotti fino al 99,97% rispetto ai metodi tradizionali) per fornire informazioni legali accurate al grande pubblico.
• Scalabilità: Utilizzando un modello quantizzato da 8 miliardi di parametri, il sistema può essere distribuito su hardware di livello consumer, rendendolo scalabile per studi legali e servizi di assistenza legale pubblica senza costi infrastrutturali massicci.
• Cambiamento di Paradigma: Lo studio sfida la nozione secondo cui "più grande è meglio" negli LLM, dimostrando che l'adattamento di dominio tramite RAG e ingegneria dei prompt è una strategia più efficiente rispetto all'affidamento al solo conteggio dei parametri.
• Applicazione Pratica: Il sistema gestisce con successo leggi indiane complesse ed evolutive (come BNS/BNSS) che i modelli generici non riescono ad affrontare con accuratezza, offrendo uno strumento praticabile per i professionisti legali per estrarre sezioni e articoli rilevanti in modo efficiente.

6. Limitazioni e Lavori Futuri

• Limitazioni: Il sistema attualmente manca di citazione esplicita delle fonti (tracciabilità), il che influisce sulla fiducia dell'utente. Esiste anche il rischio che gli utenti interpretino erroneamente l'output dell'IA come consulenza legale formale.
• Direzioni Future:
  1. Implementare una pipeline di dati continua per aggiornare il corpus con la giurisprudenza in tempo reale.
  2. Potenziare il modulo RAG per citare esplicitamente i passaggi delle fonti per la verificabilità.
  3. Introdurre una validazione con "esperto nel ciclo" per garantire la qualità dei dati.