Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering

Resumo Técnico: Estrutura de Geração Aumentada por Recuperação para Resposta a Perguntas no Domínio Jurídico Nepalês

Problema
O domínio jurídico do Nepal enfrenta barreiras significativas na acessibilidade à informação devido à fragmentação, digitalização precária e terminologia arcaica dos textos legais. Embora a Inteligência Artificial (IA) tenha transformado o sistema de resposta a perguntas (QA) jurídicas em línguas de altos recursos como o inglês, a escassez de dados anotados em línguas de baixos recursos como o nepalês tem dificultado o treinamento de Grandes Modelos de Linguagem (LLMs) especializados. Os desafios duplos da limitação de documentos jurídicos centralizados e a natureza densa em jargões desses textos tornam a pesquisa manual ineficiente e impedem a criação de LLMs jurídicos ajustados (fine-tuned). Consequentemente, há uma necessidade crítica de um sistema que possa fornecer respostas jurídicas precisas e verificáveis tanto para o público quanto para profissionais, sem depender de extensos conjuntos de dados de treinamento anotados manualmente.

Metodologia
Este estudo propõe uma estrutura de Geração Aumentada por Recuperação (RAG) adaptada para o QA jurídico em nepalês, utilizando jurisprudências extraídas do arquivo digital Nepal Kanun Patrika (NKP). A metodologia é estruturada em torno de três componentes principais:

1. Curadoria de Dados:

   • Fonte: 10.320 documentos jurídicos (decisões do Supremo Tribunal) foram extraídos do arquivo NKP, cobrindo decisões de 1992 a 2022.
   • Pré-processamento: Os dados foram limpos para remover anomalias, normalizados usando Unicode NFC e segmentados em blocos (chunks) de no máximo 500 tokens com uma sobreposição de 10% para manter o contexto. O conjunto de dados final compreendeu 10.265 documentos únicos divididos em 110.626 blocos.
   • Conjunto de Avaliação: Um conjunto de teste de 100 consultas foi elaborado por estudiosos do direito, consistindo em 79% de perguntas objetivas baseadas em fatos e 21% de perguntas subjetivas sobre procedimentos e raciocínio jurídico.

2. Estratégias de Recuperação:
   O estudo comparou a recuperação esparsa contra a recuperação densa utilizando as seguintes configurações:

   • Recuperação Esparsa (BM25): Implementada em dois modos:
     • BM25_Docs: Recuperação em documentos completos.
     • BM25_Chunks: Recuperação em os blocos segmentados de 500 tokens.
   • Recuperação Densa (Modelos de Embedding): Três modelos foram avaliados no corpus segmentado usando FAISS para indexação:
     • multilingual-e5-large (1024 dimensões).
     • multilingual-e5-base (768 dimensões).
     • LaBSE (768 dimensões).
   • Seleção de Contexto: Para a geração, o documento de classificação mais alta do melhor método esparso e denso foi selecionado. Um método de conjunto "Count Method" também foi testado, selecionando o documento mais frequente entre os 5 principais resultados de múltiplos recuperadores, embora tenha apresentado desempenho inferior.

3. Estratégia de Geração:

   • Modelo: O modelo GPT-03 da OpenAI foi utilizado para a geração de respostas.
   • Prompting: Uma estratégia de prompting de duas etapas foi empregada: (1) Extração de evidências, onde o modelo identifica sentenças jurídicas literais que sustentam a resposta; e (2) Geração de resposta baseada estritamente nessa evidência.
   • Mecanismo de Recusa: O modelo foi instruído a recusar a resposta se o embasamento jurídico suficiente não fosse encontrado no contexto recuperado, para evitar alucinações.
   • Parâmetros: Uma temperatura moderada (0.5) e top-p (1.0) foram usados para equilibrar factualidade e fluidez.

4. Avaliação:

   • Métricas de Recuperação: Precisão@1, Hit@k e Mean Reciprocal Rank (MRR@k) foram utilizados, juntamente com medições de latência.
   • Métricas de Geração: A qualidade foi avaliada via Groundedness (alinhamento com as fontes recuperadas), Truthfulness (alinhamento com as respostas de referência) e Avaliação Humana. Tanto o "LLM-as-a-Judge" (usando Gemini 2.5 Pro) quanto especialistas humanos avaliaram os resultados.

Principais Resultados

• Desempenho de Recuperação: A recuperação esparsa superou significativamente a recuperação densa. O BM25_Chunks alcançou a maior Precisão@1 de 91%, seguido pelo BM25_Docs com 88%. O melhor modelo denso, multilingual-e5-large, alcançou uma Precisão@1 de 75%. Outros modelos densos (e5-base, LaBSE) tiveram desempenho consideravelmente inferior.
• Compromissos de Eficiência: Embora o BM25_Chunks tenha tido a maior precisão, sofreu com alta latência (1.2 segundos por consulta) devido ao grande número de blocos (110.626). O BM25_Docs ofereceu um desempenho quase comparável (88%) com latência significativamente menor (0.1 segundos), tornando-o a estratégia mais viável.
• Desempenho de Geração: Utilizar o BM25_Docs como espinha dorsal de recuperação gerou os melhores resultados de geração:
  • Taxa de Resposta Bem-sucedida: 92% (92 de 100 consultas).
  • Groundedness: 74% (juiz automatizado).
  • Truthfulness: 85% (juiz automatizado) e 84% (avaliação humana).
  • O "Count Method" e os métodos de recuperação densa resultaram em menores taxas de sucesso e maiores taxas de erro em veracidade.

Significância e Contribuições
Os autores reivindicam este estudo como a primeira aplicação sistemática de um pipeline de QA baseado em RAG especificamente para jurisprudências do Nepal. As principais contribuições incluem:

1. Criação de Dataset: A compilação e curadoria do primeiro conjunto de dados público de leis do Supremo Tribunal do Nepal a partir do arquivo NKP.
2. Estabelecimento de Baseline: A primeira aplicação de baseline de um pipeline RAG padrão para o QA jurídico em nepalês.
3. Comparação Metodológica: A primeira comparação empírica entre métodos de recuperação esparsa (BM25) e métodos de recuperação densa no domínio jurídico nepalês.

Significância dos Achados
O artigo conclui que, para o domínio jurídico do Nepal, caracterizado por linguagem formulaica e terminologia específica, a correspondência lexical esparsa (BM25) é mais eficaz do que a recuperação densa semântica usando embeddings multilíngues prontos para uso. Este achado sugere que, em cenários de baixo recurso e específicos de domínio, onde o pré-treinamento em texto jurídico não está disponível, a sobreposição exata de palavras fornece um embasamento mais confiável do que a aproximação semântica. O estudo demonstra que um pipeline RAG bem construído pode efetivamente reduzir a lacuna na acessibilidade à informação jurídica para línguas de baixos recursos, fornecendo uma base para sistemas de IA confiáveis sem a necessidade de um ajuste fino (fine-tuning) extensivo. Os resultados também validam a abordagem "LLM-as-a-Judge" para avaliação automatizada, mostrando forte alinhamento com as avaliações de especialistas humanos.