Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

1. Énoncé du problème

L'article traite de l'écart critique dans l'accès à l'assistance juridique en Inde. Bien que la Constitution indienne garantisse le droit aux ressources juridiques, de nombreux citoyens ne peuvent pas exercer efficacement leurs droits en raison d'un manque de sensibilisation et d'accès à des informations juridiques précises et à jour.

• Limites des LLM généraux : Les modèles de langage (LLM) à usage général existants, tels que GPT-3.5 Turbo, souffrent de deux problèmes majeurs dans le domaine juridique :
  1. Connaissances obsolètes : Ils ne sont pas formés sur les récentes modifications législatives (par exemple, les nouvelles lois Bharatiya Nyaya Sanhita (BNS) et Bharatiya Nagarik Suraksha Sanhita (BNSS)).
  2. Hallucinations : Ils génèrent fréquemment des informations plausibles mais factuellement incorrectes, ce qui est inacceptable dans des contextes juridiques à haut risque.
• Inefficacité computationnelle : L'entraînement ou le fine-tuning de modèles massifs (par exemple, 175 milliards de paramètres) pour des domaines spécifiques est coûteux en ressources informatiques et souvent inutile si un modèle plus léger peut obtenir des résultats similaires avec la bonne architecture.

2. Méthodologie

Les auteurs proposent Legal Assist AI, un cadre léger combinant un modèle quantisé de 8 milliards de paramètres avec un système de Génération Augmentée par Récupération (RAG) et une ingénierie stratégique des invites (prompt engineering).

A. Préparation des données et ingénierie du corpus

• Curation du corpus : Un jeu de données de haute qualité comprenant plus de 600 documents juridiques a été constitué à partir de sources gouvernementales et judiciaires publiques. Cela inclut la Constitution indienne, les lois du travail, les jugements judiciaires, ainsi que les nouveaux codes BNS et BNSS.
• Prétraitement : Le texte brut a été nettoyé et segmenté en morceaux de 1 000 caractères avec un chevauchement de 20 caractères pour préserver la continuité contextuelle tout en assurant une représentation vectorielle précise.
• Indexation vectorielle :
  • Encodage : Le modèle sentence-transformer/all-MiniLM-L6-v2 a été utilisé pour convertir les morceaux de texte en plongements vectoriels denses.
  • Stockage : Les vecteurs ont été indexés à l'aide de FAISS (Facebook AI Similarity Search) pour permettre une récupération sémantique rapide et en temps réel.

B. Sélection du modèle de base

• Modèle de base : Llama 3.1-8B a été sélectionné pour son équilibre entre capacités de raisonnement et efficacité computationnelle.
• Quantification : Pour optimiser les environnements aux ressources limitées, le modèle a été quantifié en Q4_0, réduisant sa taille d'environ 16 Go à ~4,7 Go.
• Architecture : Le modèle utilise des composants modernes, notamment l'attention par requêtes groupées (GQA), les encodages positionnels rotatifs (RoPE), la normalisation RMS et l'activation SwiGLU.

C. Cadre du système (RAG + Ingénierie des invites)

Le système fonctionne selon un flux de travail Récupérer puis Générer :

1. Module de récupération : Lorsqu'une requête utilisateur est reçue, elle est encodée et recherchée dans le magasin vectoriel FAISS pour récupérer les $k$ meilleurs morceaux de texte juridique pertinents.
2. Construction de l'invite : Une invite système structurée est conçue avec quatre composants :
   • Fonctionnalité proxy : Définit la persona comme un expert juridique indien.
   • Contrainte juridique : Impose la sécurité, la précision et l'objectivité.
   • Entrée : Insère la requête utilisateur et le contexte récupéré.
   • Signifiant : Fournit des indices de mise en forme (par exemple, « Réponse :») pour une sortie structurée.
3. Module de génération : Le Llama 3.1-8B quantifié traite l'invite enrichie pour générer la réponse finale.
4. Garantie contre les hallucinations : Si le module de récupération ne renvoie aucun contexte pertinent, le système déclare explicitement « Je ne sais pas », plutôt que d'halluciner une réponse.

3. Contributions clés

1. Cadre Legal Assist AI : Un cadre léger novateur démontrant qu'un modèle de 8 milliards de paramètres, combiné à un RAG et un corpus spécialisé, peut surpasser des modèles généralistes beaucoup plus grands dans le domaine juridique indien.
2. Corpus juridique indien complet : La création et l'intégration d'un jeu de données contenant les dernières lois indiennes, y compris les récentes BNS et BNSS, qui sont souvent absentes des données d'entraînement standard des LLM.
3. Indice d'efficacité des paramètres (PEI) : L'introduction d'une nouvelle métrique pour quantifier l'efficacité du modèle par rapport à sa taille en paramètres :
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   Où $A(M)$ est le score de précision et $\Pi(M)$ est le nombre de paramètres en milliards.
4. Atténuation des hallucinations : La mise en œuvre stricte du RAG garantit que les réponses sont ancrées dans le corpus fourni, réduisant considérablement le risque d'erreurs factuelles.

4. Résultats expérimentaux

Le cadre a été évalué selon deux dimensions principales :

A. Raisonnement qualitatif (Jeu de données Lawyer_GPT_India)

• Métrique : Score BERT (mesurant la similarité sémantique).
• Résultat : Le modèle a obtenu un score BERT moyen de 76,90 %, indiquant une pertinence sémantique et contextuelle élevée dans ses réponses aux requêtes juridiques ouvertes.

B. Précision factuelle (Examen du barreau pan-indien - AIBE)

• Jeu de données : 1 134 questions valides issues de 12 années d'examens AIBE.
• Comparaison des performances :
  • Legal Assist AI : 60,08 % (Réussi)
  • GPT-3.5 Turbo (175B) : 58,72 % (Réussi)
  • Llama 3.1-8B de base : 43,73 % (Réussi)
  • Mistral 7B : 23,48 % (Échec)
• Constat clé : Le cadre léger Legal Assist AI a surpassé le GPT-3.5 Turbo de 175B malgré l'utilisation de 21 fois moins de paramètres.

C. Analyse de l'Indice d'efficacité des paramètres (PEI)

• PEI de Legal Assist AI : 7,51
• PEI de GPT-3.5 Turbo : 0,34
• Conclusion : Legal Assist AI est 22 fois plus efficace en termes de paramètres que GPT-3.5 Turbo. Cela valide que les modèles spécialisés plus petits avec RAG sont supérieurs aux modèles généralistes massifs pour les tâches spécifiques à un domaine.

5. Importance et impact

• Démocratisation de l'accès au droit : Le cadre offre une solution rentable (coûts opérationnels réduits jusqu'à 99,97 % par rapport aux méthodes traditionnelles) pour fournir des informations juridiques précises au grand public.
• Évolutivité : En utilisant un modèle quantisé de 8 milliards de paramètres, le système peut être déployé sur du matériel grand public, le rendant évolutif pour les cabinets d'avocats et les services d'aide juridique publique sans coûts d'infrastructure massifs.
• Changement de paradigme : L'étude remet en question l'idée que « plus c'est grand, mieux c'est » pour les LLM, prouvant que l'adaptation de domaine via le RAG et l'ingénierie des invites est une stratégie plus efficace que de se fier uniquement au nombre de paramètres.
• Application pratique : Le système gère avec succès des lois indiennes complexes et évolutives (comme la BNS/BNSS) que les modèles généraux ne parviennent pas à traiter avec précision, offrant un outil viable aux professionnels du droit pour extraire efficacement les sections et articles pertinents.

6. Limites et travaux futurs

• Limites : Le système manque actuellement de citation explicite des sources (traçabilité), ce qui affecte la confiance des utilisateurs. Il existe également un risque d'interprétation erronée par l'utilisateur des sorties de l'IA comme des conseils juridiques formels.
• Perspectives futures :
  1. Mise en œuvre d'un pipeline de données continu pour mettre à jour le corpus avec la jurisprudence en temps réel.
  2. Amélioration du module RAG pour citer explicitement les passages sources afin de garantir la vérifiabilité.
  3. Introduction d'une validation « expert en boucle » pour assurer la qualité des données.