An Senegalese Legal Texts Structuration Using LLM-augmented Knowledge Graph

Este estudio demuestra cómo el uso de modelos de lenguaje grande (LLM) y bases de datos gráficas permite estructurar y visualizar eficazmente miles de artículos del código de tierras de Senegal, mejorando así el acceso a la información jurídica para ciudadanos y profesionales.

Lo esencial

Imagina que el sistema legal de Senegal es como una biblioteca gigante y antigua, llena de miles de libros de leyes, decretos y códigos escritos en francés. El problema es que estos libros están desordenados, las páginas están pegadas, y si quieres encontrar una respuesta sobre tus derechos (por ejemplo, sobre la tierra que posees), tienes que buscar durante horas entre montañas de papel. A veces, una ley cambia otra, pero no está claro dónde, y eso confunde a los ciudadanos y a los abogados.

Este artículo es como el plan de un grupo de ingenieros y abogados senegaleses que decidieron construir un "Google" o un "GPS" para estas leyes, utilizando la inteligencia artificial más avanzada.

Aquí te explico cómo lo hicieron, paso a paso, con analogías sencillas:

1. El Problema: El Laberinto de Papel

Antes, para entender una ley, tenías que leer todo el documento. Las leyes se refieren a otras leyes, y esas a otras más. Es como intentar seguir un mapa donde las carreteras cambian de nombre cada dos minutos. Además, mucha información estaba en formatos digitales difíciles de leer (como escaneos borrosos) o simplemente no estaba organizada.

2. La Solución: El "Arquitecto" y el "Traductor"

Los investigadores usaron dos herramientas principales:

• El Arquitecto (Un algoritmo clásico): Primero, crearon un programa automático que actuó como un robot bibliotecario. Este robot pasó por 20 documentos legales diferentes y extrajo casi 8.000 artículos (las reglas individuales). Imagina que el robot toma cada regla, le pone una etiqueta con su nombre, fecha y de qué trata, y la coloca en una caja ordenada.
• El Traductor Mágico (La IA o LLM): Aquí entra la magia. Usaron modelos de Inteligencia Artificial muy potentes (como GPT-4 y Mistral) que actúan como traductores superinteligentes. Su trabajo no es solo leer, sino entender las conexiones.
  • La analogía: Si el robot bibliotecario puso las cajas en la estantería, la IA es la persona que toma una caja, lee la etiqueta y dice: "¡Oye! Esta regla sobre la tierra en la región de Dakar está conectada con esa otra regla sobre el alquiler en la región de Thiès".

3. El Resultado: El Mapa de Neuronas (Base de Datos de Grafos)

En lugar de guardar la información en una lista aburrida (como una hoja de Excel), crearon una Base de Datos de Grafos.

• La analogía: Imagina un mapa de metro. Cada estación es una ley o un artículo, y las líneas que las conectan son las relaciones entre ellas.
• Crearon un mapa con 2.872 nodos (estaciones) y 10.774 conexiones (líneas de metro).
• Esto permite ver visualmente cómo una pequeña ley afecta a todo el sistema. Si un ciudadano quiere saber sus derechos sobre una tierra, el sistema puede mostrarle el camino completo de las leyes relacionadas, en lugar de solo darle un texto confuso.

4. La Prueba: ¿Quién es el mejor "Detective"?

Los investigadores pusieron a prueba a varios modelos de IA (como GPT-4o, GPT-4 y Mistral-Large) para ver cuál era el mejor "detective" capaz de encontrar estas conexiones ocultas.

• El ganador: GPT-4o fue el más preciso, como un detective que no se equivoca ni una sola vez al conectar los puntos.
• El rápido: Mistral-Large fue muy rápido y eficiente, como un detective que llega a la escena del crimen en segundos.
• El resultado: La IA logró extraer "tripletas de conocimiento" (frases tipo: Ley A -> se refiere a -> Ley B) con una precisión superior al 80%.

5. ¿Por qué es importante esto para la gente?

El objetivo final no es solo tener una base de datos bonita, sino democratizar la justicia.

• Para el ciudadano: Imagina que eres un agricultor en Senegal y tienes una duda sobre tu tierra. En lugar de pagarle a un abogado costoso o perder días en el juzgado, podrías usar esta herramienta (un "asistente legal") para preguntar: "¿Qué dice la ley sobre el alquiler de mi tierra?" y el sistema te daría una respuesta clara, basada en el mapa de leyes, explicándote tus derechos en lenguaje sencillo.
• Para el abogado: Les ahorra horas de investigación, permitiéndoles enfocarse en defender a sus clientes en lugar de buscar papeles perdidos.

En resumen

Este estudio es como construir un puente digital sobre un río de papel confuso. Usaron robots para organizar los papeles y cerebros de inteligencia artificial para entender las conexiones, creando un mapa interactivo que hace que las leyes de Senegal sean accesibles, claras y útiles para todos, desde el ciudadano común hasta el juez más experto. Es un paso gigante para que la justicia sea más transparente y rápida.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Estructuración de Textos Legales Senegaleses Mediante un Grafo de Conocimiento Aumentado por LLM

1. Problema Identificado

El sistema judicial de Senegal enfrenta desafíos críticos en el acceso, organización y citación de textos legales. La complejidad radica en la naturaleza interconectada y a veces contradictoria de los diversos documentos regulatorios (leyes, decretos, códigos), que suelen estar disponibles en formatos no estructurados o escaneados. Esto dificulta que los ciudadanos y los profesionales legales naveguen por la jurisprudencia, comprendan sus derechos y responsabilidades, o rastreen las modificaciones legislativas a lo largo del tiempo. Existe una carencia de herramientas automatizadas que permitan una extracción eficiente de entidades y relaciones dentro de estos documentos, limitando la transparencia y la eficiencia del sistema de justicia.

2. Metodología

La investigación propone un enfoque híbrido que combina algoritmos de extracción clásicos con modelos de lenguaje grandes (LLM) para construir un Grafo de Conocimiento (Knowledge Graph - KG).

• Extracción de Textos Legales: Se desarrolló un algoritmo personalizado para procesar archivos DOCX siguiendo las directrices de redacción senegalesas. El algoritmo identifica y extrae artículos, metadatos (fecha de firma, número de ley/decreto) y subdivisiones jerárquicas (partes, títulos, capítulos). Se clasificaron documentos como "reglamentarios" o "legislativos" y se gestionaron casos especiales como las regulaciones de alquiler.
• Construcción del Grafo de Conocimiento (Neo4j):
  • Nodos: Se definieron etiquetas basadas en el índice de los documentos legales: Dominio, Ley, Decreto, Artículo, Diario Oficial, Orden Ministerial, Declaración, Acta Uniforme y Código Legal. Se añadió el nodo Persona para los firmantes.
  • Relaciones: Se establecieron conexiones semánticas como publicar, poseer, asociar, modificar, derogar, enmarcar y ejecutar.
  • Datos: Se construyó una base de datos centrada en el Código de Tierras y Dominio Público.
• Extracción de Triples de Conocimiento con LLM:
  • Se utilizó un enfoque de Few-Shot Chain of Thought (Few-Shot-CoT). Se proporcionaron a los modelos ejemplos de artículos legales junto con sus triples de conocimiento resultantes (Sujeto, Predicado, Objeto).
  • Se empleó la instrucción "Let's think step by step" para mejorar el razonamiento del modelo.
  • Modelos Evaluados: Se probaron varios modelos de OpenAI (GPT-4o, GPT-4, GPT-3.5-Turbo, GPT-4o-Mini) y Mistral AI (Mistral-Large, Pixtral-Large, Mistral-Nemo) mediante sus APIs.
  • Evaluación: La precisión de la extracción de triples se midió utilizando métricas ROUGE (R-1, R-2, R-L, R-Lsum) comparando las salidas de los LLM contra un conjunto de datos "ground truth" verificado.

3. Contribuciones Clave

• Extracción Masiva de Datos: Se logró extraer y estructurar 7,967 artículos legales de 20 documentos distintos, incluyendo el Código de Tierras y Dominio Público, el Código Penal y el Código de Procedimiento Civil.
• Base de Datos de Grafos Específica: Desarrollo de un grafo de conocimiento robusto en Neo4j con 2,872 nodos y 10,774 relaciones, visualizando las interconexiones complejas entre leyes, decretos y artículos en el contexto senegalés.
• Marco de Evaluación de LLMs: Presentación de un análisis comparativo riguroso de múltiples LLMs en la tarea de extracción de triples legales, identificando qué arquitecturas funcionan mejor para dominios jurídicos específicos.
• Propuesta de Asistente Legal: Definición de un marco para un asistente legal inteligente que integre la extracción de triples con técnicas de RAG (Retrieval-Augmented Generation) y ReAct (Reasoning and Acting) para responder consultas ciudadanas.

4. Resultados

• Rendimiento de los Modelos:
  • GPT-4o obtuvo el mejor rendimiento global en todas las métricas ROUGE (R-1: 86.00%, R-Lsum: 85.99%), demostrando la mayor capacidad para generar triples estructurados y coherentes.
  • GPT-4 y Mistral-Large también superaron el umbral del 80% en la mayoría de las métricas, aunque GPT-4 tuvo un tiempo de inferencia significativamente mayor (13 min 29 s vs 3 min 56 s de GPT-4o).
  • Mistral-Large destacó en eficiencia de inferencia (2 min 23 s) manteniendo un alto rendimiento (82.90% en R-1).
  • Modelos más pequeños como GPT-3.5-Turbo y GPT-4o-Mini mostraron limitaciones en el formato de rangos de artículos y en la comprensión de referencias complejas.
• Eficiencia del Proceso: La extracción inicial de documentos mediante el algoritmo personalizado tiene una complejidad temporal de O(n), permitiendo un procesamiento rápido incluso con grandes volúmenes de datos. La extracción de triples con LLMs para 24 artículos tomó aproximadamente 4 minutos en total (promedio de 8 segundos por artículo con Mistral-Large).
• Calidad de Datos: Se identificaron errores específicos en modelos menos potentes, como la omisión de elipsis en rangos de artículos o la inclusión de prefijos incorrectos (ej. "R." donde no corresponde), lo que subraya la necesidad de prompting cuidadoso.

5. Significado e Impacto

Este estudio demuestra que la integración de LLMs con Grafos de Conocimiento es una solución viable y transformadora para democratizar el acceso a la justicia en Senegal.

• Accesibilidad: Facilita que los ciudadanos y profesionales comprendan sus derechos y obligaciones al hacer visible la red de relaciones legales que antes permanecía oculta en documentos textuales densos.
• Modernización Judicial: Proporciona una infraestructura tecnológica (Neo4j + LLMs) que puede evolucionar hacia un sistema de actualización automática de información legal y un asistente virtual jurídico.
• Colaboración Interdisciplinaria: El trabajo resalta la necesidad de colaboración continua entre expertos legales y científicos de datos para mantener la precisión del sistema ante la dinámica evolución de la legislación.
• Escalabilidad: La metodología desarrollada puede adaptarse a otros códigos legales o jurisdicciones, ofreciendo un modelo para la estructuración de datos legales en países en desarrollo con desafíos similares de digitalización.