Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

1. Declaração do Problema

O artigo aborda a lacuna crítica no acesso à assistência jurídica na Índia. Embora a Constituição Indiana garanta o direito a recursos jurídicos, muitos cidadãos não conseguem utilizar efetivamente seus direitos devido à falta de conscientização e acesso a informações jurídicas precisas e atualizadas.

• Limitações dos LLMs Gerais: Modelos de Linguagem de Grande Escala (LLMs) de propósito geral existentes, como o GPT-3.5 Turbo, sofrem com dois problemas principais no domínio jurídico:
  1. Conhecimento Desatualizado: Eles carecem de treinamento sobre mudanças legislativas recentes (por exemplo, a recém-promulgada Bharatiya Nyaya Sanhita (BNS) e a Bharatiya Nagarik Suraksha Sanhita (BNSS)).
  2. Alucinações: Eles frequentemente geram informações plausíveis, mas factualmente incorretas, o que é inaceitável em contextos jurídicos de alto risco.
• Ineficiência Computacional: Treinar ou ajustar finamente modelos massivos (por exemplo, 175B de parâmetros) para domínios específicos é computacionalmente caro e frequentemente desnecessário se um modelo mais leve puder alcançar resultados semelhantes com a arquitetura adequada.

2. Metodologia

Os autores propõem o Legal Assist AI, um framework leve que combina um modelo quantizado de 8 bilhões de parâmetros com um sistema de Geração Aumentada por Recuperação (RAG) e engenharia de prompts estratégica.

A. Preparação de Dados e Engenharia de Corpus

• Curadoria de Corpus: Um conjunto de dados de alta qualidade com mais de 600 documentos jurídicos foi curado a partir de fontes governamentais e judiciais públicas. Isso inclui a Constituição Indiana, leis trabalhistas, decisões judiciais e os novos códigos BNS e BNSS.
• Pré-processamento: O texto bruto foi limpo e segmentado em fragmentos de 1.000 caracteres com uma sobreposição de 20 caracteres para preservar a continuidade contextual, garantindo ao mesmo tempo uma representação vetorial precisa.
• Indexação Vetorial:
  • Embedding: O modelo sentence-transformer/all-MiniLM-L6-v2 foi usado para converter fragmentos de texto em embeddings vetoriais densos.
  • Armazenamento: Os vetores foram indexados usando FAISS (Facebook AI Similarity Search) para permitir recuperação semântica rápida e em tempo real.

B. Seleção do Modelo Central

• Modelo Base: O Llama 3.1-8B foi selecionado por seu equilíbrio entre capacidades de raciocínio e eficiência computacional.
• Quantização: Para otimizar ambientes com recursos limitados, o modelo foi quantizado para Q4_0, reduzindo seu tamanho de 16 GB para **4,7 GB**.
• Arquitetura: O modelo utiliza componentes modernos, incluindo Atenção com Consultas Agrupadas (GQA), Embeddings Posicionais Rotacionais (RoPE), Normalização RMS e ativação SwiGLU.

C. Framework do Sistema (RAG + Engenharia de Prompts)

O sistema opera em um fluxo de trabalho Recuperar-Então-Gerar:

1. Módulo de Recuperação: Quando uma consulta do usuário é recebida, ela é incorporada e pesquisada contra a loja vetorial FAISS para recuperar os fragmentos de texto jurídico mais relevantes ($k$ superiores).
2. Construção do Prompt: Um prompt de sistema estruturado é elaborado com quatro componentes:
   • Recurso Proxy: Define a persona como um especialista jurídico indiano.
   • Restrição Jurídica: Impõe segurança, precisão e objetividade.
   • Entrada: Insere a consulta do usuário e o contexto recuperado.
   • Significador: Fornece dicas de formatação (por exemplo, "Resposta:") para saída estruturada.
3. Módulo de Geração: O Llama 3.1-8B quantizado processa o prompt enriquecido para gerar a resposta final.
4. Barreira contra Alucinações: Se o módulo de recuperação não retornar nenhum contexto relevante, o sistema declara explicitamente "Não sei", em vez de alucinar uma resposta.

3. Contribuições Principais

1. Framework Legal Assist AI: Um framework leve e inovador que demonstra que um modelo de 8 bilhões de parâmetros, quando combinado com RAG e um corpus especializado, pode superar modelos generalistas muito maiores no domínio jurídico indiano.
2. Corpus Jurídico Indiano Abrangente: A criação e integração de um conjunto de dados contendo as leis indianas mais recentes, incluindo a recém-promulgada BNS e BNSS, que frequentemente estão ausentes nos dados de treinamento padrão de LLMs.
3. Índice de Eficiência de Parâmetros (PEI): A introdução de uma nova métrica para quantificar a eficiência do modelo em relação ao tamanho dos parâmetros:
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   Onde $A(M)$ é a pontuação de precisão e $\Pi(M)$ é a contagem de parâmetros em bilhões.
4. Mitigação de Alucinações: A implementação estrita de RAG garante que as respostas sejam fundamentadas no corpus fornecido, reduzindo significativamente o risco de erros factuais.

4. Resultados Experimentais

O framework foi avaliado em duas dimensões principais:

A. Raciocínio Qualitativo (Conjunto de Dados Lawyer_GPT_India)

• Métrica: Pontuação BERT (medindo similaridade semântica).
• Resultado: O modelo alcançou uma pontuação média BERT de 76,90%, indicando alta relevância semântica e contextual em suas respostas a consultas jurídicas abertas.

B. Precisão Factiva (Exame de Ordem de Toda a Índia - AIBE)

• Conjunto de Dados: 1.134 questões válidas de 12 anos de exames AIBE.
• Comparação de Desempenho:
  • Legal Assist AI: 60,08% (Aprovado)
  • GPT-3.5 Turbo (175B): 58,72% (Aprovado)
  • Llama 3.1-8B Base: 43,73% (Aprovado)
  • Mistral 7B: 23,48% (Reprovado)
• Descoberta Chave: O framework leve Legal Assist AI superou o GPT-3.5 Turbo de 175B, apesar de ter 21 vezes menos parâmetros.

C. Análise do Índice de Eficiência de Parâmetros (PEI)

• PEI do Legal Assist AI: 7,51
• PEI do GPT-3.5 Turbo: 0,34
• Conclusão: O Legal Assist AI é 22 vezes mais eficiente em parâmetros que o GPT-3.5 Turbo. Isso valida que modelos especializados e menores com RAG são superiores a modelos generalistas massivos para tarefas específicas de domínio.

5. Significado e Impacto

• Democratização do Acesso Jurídico: O framework oferece uma solução custo-efetiva (custos operacionais reduzidos em até 99,97% em comparação com métodos tradicionais) para fornecer informações jurídicas precisas ao público em geral.
• Escalabilidade: Ao usar um modelo quantizado de 8B, o sistema pode ser implantado em hardware de nível de consumidor, tornando-o escalável para escritórios de advocacia e serviços de assistência jurídica pública sem custos massivos de infraestrutura.
• Mudança de Paradigma: O estudo desafia a noção de que "maior é melhor" em LLMs, provando que adaptação de domínio via RAG e engenharia de prompts é uma estratégia mais eficiente do que depender apenas da contagem de parâmetros.
• Aplicação Prática: O sistema lida com sucesso com leis indianas complexas e em evolução (como BNS/BNSS) que modelos gerais não conseguem abordar com precisão, oferecendo uma ferramenta viável para profissionais jurídicos extraírem seções e artigos relevantes de forma eficiente.

6. Limitações e Trabalho Futuro

• Limitações: O sistema atualmente carece de citação explícita de fontes (rastreabilidade), o que afeta a confiança do usuário. Há também o risco de o usuário interpretar erroneamente a saída da IA como aconselhamento jurídico formal.
• Direções Futuras:
  1. Implementar um pipeline de dados contínuo para atualizar o corpus com jurisprudência em tempo real.
  2. Aprimorar o módulo RAG para citar explicitamente trechos de fontes para verificabilidade.
  3. Introduzir validação com "especialista no loop" para garantir a qualidade dos dados.