Lightweight Domain Adaptation of a Large Language Model for Legal Assistance in the Indian Context

Aquí se presenta un resumen técnico detallado del artículo "Adaptación Ligera de un Modelo de Lenguaje Grande para Asistencia Legal en el Contexto Indio".

1. Planteamiento del Problema

El artículo aborda la brecha crítica en el acceso a la asistencia legal en la India. Si bien la Constitución india garantiza el derecho a los recursos legales, muchos ciudadanos no pueden utilizar sus derechos de manera efectiva debido a la falta de conciencia y acceso a información legal precisa y actualizada.

• Limitaciones de los LLM Generales: Los Modelos de Lenguaje Grande (LLM) de propósito general existentes, como GPT-3.5 Turbo, sufren dos problemas principales en el dominio legal:
  1. Conocimiento Obsoleto: Carecen de entrenamiento sobre cambios legislativos recientes (por ejemplo, la recién promulgada Bharatiya Nyaya Sanhita (BNS) y la Bharatiya Nagarik Suraksha Sanhita (BNSS)).
  2. Alucinaciones: Generan con frecuencia información plausible pero factualmente incorrecta, lo cual es inaceptable en contextos legales de alto riesgo.
• Ineficiencia Computacional: Entrenar o ajustar fino modelos masivos (por ejemplo, 175 mil millones de parámetros) para dominios específicos es computacionalmente costoso y a menudo innecesario si un modelo más ligero puede lograr resultados similares con la arquitectura adecuada.

2. Metodología

Los autores proponen Legal Assist AI, un marco ligero que combina un modelo cuantizado de 8 mil millones de parámetros con un sistema de Generación Aumentada por Recuperación (RAG) y una ingeniería de prompts estratégica.

A. Preparación de Datos e Ingeniería de Corpus

• Curación del Corpus: Se curó un conjunto de datos de alta calidad de más de 600 documentos legales provenientes de fuentes gubernamentales y judiciales públicas. Esto incluye la Constitución india, leyes laborales, sentencias judiciales y los nuevos códigos BNS y BNSS.
• Preprocesamiento: El texto crudo se limpió y segmentó en fragmentos de 1.000 caracteres con una superposición de 20 caracteres para preservar la continuidad contextual mientras se asegura una representación vectorial precisa.
• Indexación Vectorial:
  • Incrustación (Embedding): Se utilizó el modelo sentence-transformer/all-MiniLM-L6-v2 para convertir los fragmentos de texto en incrustaciones vectoriales densas.
  • Almacenamiento: Los vectores se indexaron utilizando FAISS (Búsqueda Semántica de Similitud de Facebook) para permitir una recuperación semántica rápida y en tiempo real.

B. Selección del Modelo Central

• Modelo Base: Se seleccionó Llama 3.1-8B por su equilibrio entre capacidades de razonamiento y eficiencia computacional.
• Cuantización: Para optimizar entornos con recursos limitados, el modelo se cuantizó a Q4_0, reduciendo su tamaño de 16 GB a **4.7 GB**.
• Arquitectura: El modelo utiliza componentes modernos que incluyen Atención de Consulta Agrupada (GQA), Incrustaciones Posicionales Rotativas (RoPE), Normalización RMS y activación SwiGLU.

C. Marco del Sistema (RAG + Ingeniería de Prompts)

El sistema opera bajo un flujo de trabajo de Recuperar-Generar:

1. Módulo de Recuperación: Cuando se recibe una consulta de usuario, esta se incrusta y se busca en el almacén vectorial FAISS para recuperar los fragmentos de texto legal más relevantes ($k$ superiores).
2. Construcción del Prompt: Se diseña un prompt de sistema estructurado con cuatro componentes:
   • Característica de Proxy: Define la persona como un experto legal indio.
   • Restricción Legal: Hace cumplir la seguridad, la precisión y la objetividad.
   • Entrada: Inserta la consulta del usuario y el contexto recuperado.
   • Significador: Proporciona pistas de formato (por ejemplo, "Respuesta:") para una salida estructurada.
3. Módulo de Generación: El Llama 3.1-8B cuantizado procesa el prompt enriquecido para generar la respuesta final.
4. Guardarrail contra Alucinaciones: Si el módulo de recuperación no devuelve contexto relevante, el sistema declara explícitamente "No lo sé", en lugar de alucinar una respuesta.

3. Contribuciones Clave

1. Marco Legal Assist AI: Un marco ligero y novedoso que demuestra que un modelo de 8 mil millones de parámetros, cuando se combina con RAG y un corpus especializado, puede superar a modelos generalistas mucho más grandes en el dominio legal indio.
2. Corpus Legal Indio Exhaustivo: La creación e integración de un conjunto de datos que contiene las últimas leyes indias, incluidas las recientemente promulgadas BNS y BNSS, que a menudo faltan en los datos de entrenamiento estándar de los LLM.
3. Índice de Eficiencia de Parámetros (PEI): La introducción de una nueva métrica para cuantificar la eficiencia del modelo en relación con el tamaño de los parámetros:
   $$PEI(M) = \frac{A(M)}{\Pi(M)}$$
   Donde $A(M)$ es la puntuación de precisión y $\Pi(M)$ es la cantidad de parámetros en miles de millones.
4. Mitigación de Alucinaciones: La implementación estricta de RAG asegura que las respuestas se basen en el corpus proporcionado, reduciendo significativamente el riesgo de errores factuales.

4. Resultados Experimentales

El marco se evaluó en dos dimensiones principales:

A. Razonamiento Cualitativo (Conjunto de Datos Lawyer_GPT_India)

• Métrica: Puntuación BERT (midiendo la similitud semántica).
• Resultado: El modelo logró una puntuación media BERT de 76,90%, lo que indica una alta relevancia semántica y contextual en sus respuestas a consultas legales abiertas.

B. Precisión Factual (Examen de la Barra de Toda la India - AIBE)

• Conjunto de Datos: 1.134 preguntas válidas de 12 años de exámenes AIBE.
• Comparación de Rendimiento:
  • Legal Assist AI: 60,08% (Aprobado)
  • GPT-3.5 Turbo (175B): 58,72% (Aprobado)
  • Llama 3.1-8B Base: 43,73% (Aprobado)
  • Mistral 7B: 23,48% (Reprobado)
• Hallazgo Clave: El marco ligero Legal Assist AI superó al GPT-3.5 Turbo de 175B a pesar de tener 21 veces menos parámetros.

C. Análisis del Índice de Eficiencia de Parámetros (PEI)

• PEI de Legal Assist AI: 7,51
• PEI de GPT-3.5 Turbo: 0,34
• Conclusión: Legal Assist AI es 22 veces más eficiente en parámetros que GPT-3.5 Turbo. Esto valida que los modelos especializados y más pequeños con RAG son superiores a los modelos generalistas masivos para tareas específicas de dominio.

5. Significado e Impacto

• Democratización del Acceso Legal: El marco ofrece una solución rentable (costos operativos reducidos hasta en un 99,97% en comparación con métodos tradicionales) para proporcionar información legal precisa al público general.
• Escalabilidad: Al utilizar un modelo de 8B cuantizado, el sistema puede implementarse en hardware de grado de consumo, haciéndolo escalable para bufetes de abogados y servicios de asistencia legal pública sin costos masivos de infraestructura.
• Cambio de Paradigma: El estudio desafía la noción de que "más grande es mejor" en los LLM, demostrando que la adaptación de dominio mediante RAG e ingeniería de prompts es una estrategia más eficiente que depender únicamente de la cantidad de parámetros.
• Aplicación Práctica: El sistema maneja con éxito leyes indias complejas y en evolución (como BNS/BNSS) que los modelos generales no logran abordar con precisión, ofreciendo una herramienta viable para que los profesionales legales extraigan secciones y artículos relevantes de manera eficiente.

6. Limitaciones y Trabajo Futuro

• Limitaciones: El sistema carece actualmente de citación explícita de fuentes (trazabilidad), lo que afecta la confianza del usuario. También existe el riesgo de que los usuarios malinterpreten la salida de la IA como asesoramiento legal formal.
• Direcciones Futuras:
  1. Implementar un pipeline de datos continuo para actualizar el corpus con jurisprudencia en tiempo real.
  2. Mejorar el módulo RAG para citar explícitamente los pasajes de origen para su verificabilidad.
  3. Introducir validación con "experto en el bucle" para garantizar la calidad de los datos.