Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering

Resumen Técnico: Marco de Generación Aumentada por Recuperación para el Dominio Jurídico Nepalí de Respuesta a Preguntas

Planteamiento del Problema
El dominio legal nepalí enfrenta barreras significativas en la accesibilidad a la información debido a la fragmentación, la deficiente digitalización y la terminología arcaica de los textos legales. Si bien la Inteligencia Artificial (IA) ha transformado la respuesta a preguntas (QA) legal en idiomas con altos recursos como el inglés, la escasez de datos anotados en idiomas con bajos recursos como el nepalí ha obstaculizado el entrenamiento de Modelos de Lenguaje Grandes (LLM) especializados. Los desafíos duales de documentos legales centralizados limitados y la naturaleza densa en tecnicismos de estos textos hacen que la investigación manual sea ineficiente y imposibiliten la creación de LLM legales ajustados (fine-tuned). En consecuencia, existe una necesidad crítica de un sistema que pueda proporcionar respuestas legales precisas y verificables tanto al público como a los profesionales sin depender de extensos conjuntos de datos de entrenamiento anotados manualmente.

Metodología
Este estudio propone un marco de Generación Aumentada por Recuperación (RAG) adaptado para el QA legal nepalí, utilizando jurisprudencias extraídas del archivo digital Nepal Kanun Patrika (NKP). La metodología se estructura en torno a tres componentes principales:

1. Curación del Conjunto de Datos:

   • Fuente: Se extrajeron 10,320 documentos legales (fallos de la Corte Suprema) del archivo NKP, cubriendo decisiones desde 1992 hasta 2022.
   • Preprocesamiento: Los datos fueron limpiados para eliminar anomalías, normalizados usando Unicode NFC y segmentados en fragmentos (chunks) de un máximo de 500 tokens con un solapamiento del 10% para mantener el contexto. El conjunto de datos final comprendió 10,265 documentos únicos divididos en 110,626 fragmentos.
   • Conjunto de Evaluación: Se curó un conjunto de prueba de 100 consultas, realizado por expertos legales, que consiste en un 79% de preguntas objetivas basadas en hechos y un 21% de preguntas subjetivas sobre procedimientos y razonamiento legal.

2. Estrategias de Recuperación:
   El estudio comparó la recuperación dispersa (sparse retrieval) frente a la recuperación densa (dense retrieval) utilizando las siguientes configuraciones:

   • Recuperación Dispersa (BM25): Implementada en dos modos:
     • BM25_Docs: Recuperación sobre documentos completos.
     • BM25_Chunks: Recuperación sobre los fragmentos segmentados de 500 tokens.
   • Recuperación Densa (Modelos de Embedding): Se evaluaron tres modelos sobre el corpus fragmentado usando FAISS para la indexación:
     • multilingual-e5-large (1024 dimensiones).
     • multilingual-e5-base (768 dimensiones).
     • LaBSE (768 dimensiones).
   • Selección de Contexto: Para la generación, se seleccionó el documento con mayor rango del mejor método (tanto disperso como denso). También se probó un ensamble llamado "Método de Conteo" (Count Method), que selecciona el documento más frecuente entre los 5 mejores resultados de múltiples recuperadores, aunque tuvo un desempeño inferior.

3. Estrategia de Generación:

   • Modelo: Se utilizó el modelo GPT-03 de OpenAI para la generación de respuestas.
   • Prompting: Se empleó una estrategia de prompting de dos pasos: (1) Extracción de evidencia, donde el modelo identifica oraciones legales literales que sustentan la respuesta; y (2) Generación de la respuesta basada estrictamente en esa evidencia.
   • Mecanismo de Rechazo: Se instruyó al modelo para que se negara a responder si no se encontraba suficiente fundamento legal en el contexto recuperado, con el fin de prevenir alucinaciones.
   • Parámetros: Se utilizaron una temperatura moderada (0.5) y un top-p (1.0) para equilibrar la veracidad y la fluidez.

4. Evaluación:

   • Métricas de Recuperación: Se utilizaron Precisión@1, Hit@k y Mean Reciprocal Rank (MRR@k), junto con mediciones de latencia.
   • Métricas de Generación: La calidad se evaluó mediante Fundamentación (alineación con las fuentes recuperadas), Veracidad (alineación con las respuestas de referencia) y Evaluación Humana. Tanto un "LLM-como-Juez" (usando Gemini 2.5 Pro) como expertos humanos evaluaron los resultados.

Resultos Clave

• Desempeño de la Recuperación: La recuperación dispersa superó significativamente a la recuperación densa. BM25_Chunks alcanzó la Precisión@1 más alta de 91%, seguido de BM25_Docs con 88%. El mejor modelo denso, multilingual-e5-large, alcanzó una Precisión@1 del 75%. Otros modelos densos (e5-base, LaBSE) funcionaron considerablemente peor.
• Compromisos de Eficiencia: Aunque BM25_Chunks tuvo la mayor precisión, sufrió de una alta latencia (1.2 segundos por consulta) debido al gran número de fragmentos (110,626). BM25_Docs ofreció un desempeño casi comparable (88%) con una latencia significativamente menor (0.1 segundos), lo que la convierte en la estrategia más viable.
• Desempeño de la Generación: El uso de BM25_Docs como base de recuperación produjo los mejores resultados de generación:
  • Tasa de Respuesta Exitosa: 92% (92 de 100 consultas).
  • Fundamentación: 74% (juez automatizado).
  • Veracidad: 85% (juez automatizado) y 84% (evaluación humana).
  • El "Método de Conteo" y los métodos de recuperación densa resultaron en menores tasas de éxito y mayores tasas de error en veracidad.

Significancia y Contribuciones
Los autores presentan este estudio como la primera aplicación sistemática de un flujo de trabajo RAG específicamente para jurisprudencias legales nepalíes. Las contribuciones primarias incluyen:

1. Creación de Conjunto de Datos: La compilación y curación del primer conjunto de datos público de leyes de la Corte Suprema de Nepal provenientes del archivo NKP.
2. Establecimiento de Línea Base: La primera aplicación de una línea base de un flujo de trabajo RGB estándar para el QA legal en nepalí.
3. Comparación Metodológica: La primera comparación empírica entre métodos de recuperación dispersa (BM25) y métodos de recuperación densa en el dominio legal nepalí.

Significancia de los Hallazgos
El artículo concluye que, para el dominio legal nepalí, caracterizado por un lenguaje formulaico y terminología específica, la coincidencia léxica dispersa (BM25) es más efectiva que la recuperación densa semántica utilizando embeddings multilingües predeterminados. Este hallazgo sugiere que en entornos de bajos recursos y específicos de un dominio, donde no hay pre-entrenamiento sobre texto legal, la coincidencia exacta de palabras proporciona un fundamento más confiable que la aproximación semántica. El estudio demuestra que un flujo de trabajo RAG bien construido puede cerrar eficazmente la brecha en la accesibilidad a la información legal para idiomas de bajos recursos, proporcionando una base para sistemas de IA confiables sin la necesidad de un ajuste fino (fine-tuning) extensivo. Los resultados también validan el enfoque de "LLM-como-Juez" para la evaluación automatizada, mostrando una fuerte alineación con las evaluaciones de expertos humanos.