Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

Este artículo presenta un enfoque eficiente para la recomendación de artículos legales en el derecho penal chino que combina un Grafo de Conocimiento Mejorado con Casos (CLAKG) y un Modelo de Lenguaje Grande (LLM), logrando una mejora significativa en la precisión de las recomendaciones en comparación con métodos existentes.

Lo esencial

¡Claro que sí! Imagina que este artículo científico es como la historia de cómo un equipo de investigadores creó un "Asistente Legal Inteligente" para ayudar a los jueces en China a tomar decisiones más rápidas y precisas.

Aquí tienes la explicación, traducida al español y usando analogías sencillas:

🏛️ El Problema: Un Juez Abrumado

Imagina un juez en un tribunal chino. Tiene una montaña de casos (como una pila de platos que nunca termina de lavarse). Cada caso es una historia compleja sobre alguien que rompió una ley. El juez tiene que buscar en un libro gigante de leyes (el Código Penal) para encontrar el artículo exacto que aplica a ese caso.

Hacer esto manualmente es lento, cansado y propenso a errores. Si el juez se equivoca, la justicia falla.

🧠 La Solución: Dos Superpoderes Unidos

Los investigadores decidieron crear una herramienta que combine dos tecnologías modernas:

1. Un Gran Libro de Leyes Digital (LLM): Es como un robot con una memoria increíble que ha leído todas las leyes y puede conversar contigo.
2. Un Mapa de Conexiones (Knowledge Graph): Es como un mapa del metro, pero en lugar de estaciones, tiene leyes y casos conectados por líneas.

El problema es que el "robot" (el LLM) a veces alucina: inventa leyes que no existen o se equivoca, como un estudiante que responde un examen de memoria pero se inventa las respuestas.

🛠️ La Innovación: El "CLAKG" (El Mapa Inteligente)

Para solucionar esto, crearon algo llamado CLAKG. Imagínalo así:

• El Libro de Leyes (LAKG): Es la lista oficial de todas las leyes.
• El Archivo de Casos (ACKG): Es una carpeta con miles de historias de casos pasados (quién hizo qué y qué ley se usó).
• La Magia (CLAKG): Unieron ambos. Ahora, el sistema no solo tiene la ley, sino que sabe qué casos pasados se parecieron a esa ley.

La analogía del "Detective con un Mapa":
Antes, si le preguntabas al robot "¿Qué ley aplica a un robo?", él intentaba adivinar basándose en su memoria general (y a veces fallaba).
Ahora, con el CLAKG, el robot tiene un mapa. Cuando llega un nuevo caso de robo, el robot mira el mapa, ve que este caso está conectado a 5 casos anteriores y a 3 leyes específicas. El robot ya no tiene que adivinar; solo tiene que seguir las líneas del mapa.

⚙️ ¿Cómo funciona el sistema? (Paso a paso)

1. El Detective (LLM) lee el caso: El juez describe el nuevo caso (ej: "Alguien robó un teléfono").
2. El Mapa (CLAKG) busca pistas: El sistema busca en su mapa las "palabras clave" (como "robo", "daño", "dinero") y encuentra qué leyes están conectadas a esas palabras.
3. El Filtro de Seguridad: El sistema le da al robot una lista de solo las leyes que encontró en el mapa. Le dice: "Solo puedes elegir de esta lista, no inventes nada nuevo".
4. La Recomendación: El robot compara el caso nuevo con las leyes del mapa y dice: "¡Este caso encaja perfectamente con el Artículo 385!".
5. El Círculo de Mejora (Feedback Humano): Si el juez está de acuerdo, el sistema guarda ese caso en el mapa para que la próxima vez sea aún más listo. Si el juez corrige algo, el mapa se repara automáticamente. Es como un videojuego donde cada victoria hace que el personaje sea más fuerte.

📊 Los Resultados: ¡Funciona!

Los investigadores probaron su sistema contra otros métodos:

• Métodos antiguos: Como intentar adivinar la ley solo leyendo el texto (como un estudiante sin apuntes). Funcionaban mal (precisión del 29% al 49%).
• El Robot solo: El robot inteligente sin el mapa. Mejoraba un poco (54%), pero seguía inventando cosas.
• El Robot + El Mapa (Su sistema): ¡Boom! La precisión subió al 69%.

¿Por qué es importante?
Porque en el mundo real, un 20% de mejora significa que miles de casos se resuelven más rápido, con menos errores y con más justicia. Además, al usar el mapa, el robot deja de inventar leyes falsas (alucinar).

🚀 En Resumen

Imagina que tienes un asistente legal que:

1. Tiene un mapa gigante de todas las leyes y casos pasados.
2. Nunca se inventa las respuestas porque siempre consulta el mapa primero.
3. Aprende de cada decisión que toma un juez humano, volviéndose más inteligente con el tiempo.

Este sistema es ese asistente. Ayuda a los jueces a no ahogarse en papeles y asegura que la ley se aplique de la manera más justa y precisa posible.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Aprovechar Grafos de Conocimiento y Modelos de Lenguaje Grande para la Recomendación de Artículos Legales: Un Estudio de Caso del Derecho Penal Chino

1. El Problema

La eficiencia judicial es crítica para la estabilidad social, pero los tribunales de base a nivel mundial enfrentan grandes retrasos en la carga de casos. La toma de decisiones judiciales depende en gran medida del esfuerzo cognitivo de los jueces, careciendo de herramientas inteligentes suficientes.

• Limitaciones de métodos tradicionales: Las técnicas clásicas de recomendación de artículos legales (como LSTM, CNN, GRU) se centran exclusivamente en la correspondencia entre los hechos del caso y los IDs de los artículos, ignorando la información semántica profunda de los textos legales. Además, son vulnerables a la escasez de datos y al desequilibrio en las etiquetas.
• Limitaciones de los LLMs: Aunque los Modelos de Lenguaje Grande (LLMs) pueden recuperar y explicar artículos legales, sufren de alucinaciones (inventar citas legales o artículos inexistentes), lo cual es inaceptable en el ámbito jurídico de alto riesgo.
• Limitaciones del RAG (Generación Aumentada por Recuperación) estándar: Los métodos RAG existentes a menudo se basan en similitud léxica superficial (TF-IDF, BM25) o en grafos genéricos que no capturan la estructura macro-semántica y las relaciones específicas del dominio legal, lo que reduce su precisión en tareas complejas.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de recomendación de artículos legales en bucle cerrado que integra un Grafo de Conocimiento Mejorado con Casos (CLAKG) y un LLM.

A. Construcción del CLAKG (Case-Enhanced Law Article Knowledge Graph):

• Esquema Predefinido: Se diseñó un esquema orientado a tareas que unifica dos subgrafos:
  1. LAKG (Grafo de Artículos Legales): Contiene artículos originales, sus IDs y "información clave" extraída.
  2. ACKG (Grafo de Casos Adjudicados): Contiene nombres de casos, fechas, razones de acusación y detalles específicos extraídos de las sentencias.
• Construcción Automatizada: Se utiliza un LLM para extraer nodos y relaciones (como "Aplicable a", "Coincide con", "Detalles") de los documentos legales y de los fallos judiciales.
• Validación Humana: Se implementa un mecanismo de filtrado colaborativo donde expertos legales revisan y corrigen las conexiones sugeridas por el LLM, asegurando que el grafo se adhiera al esquema predefinido y eliminando conceptos espurios.
• Embeddings de Grafos: Se utiliza una Red Convolucional de Grafos Relacionales (RGCN) para generar vectores de incrustación (embeddings) para todos los nodos. Esto permite medir la similitud semántica entre casos nuevos y la información clave de los artículos legales, más allá de la coincidencia de palabras clave.

B. Marco de Recomendación (RAG con CLAKG):
El proceso sigue tres etapas principales:

1. Extracción de Palabras Clave: Dado un nuevo caso, el LLM identifica hasta 8 nodos de "información clave" relevantes del CLAKG.
2. Recuperación de Candidatos: Mediante el algoritmo de recuperación, se buscan los artículos legales originales conectados a esas palabras clave. Se calcula una puntuación de similitud acumulada (coseno) entre los embeddings del caso y los de los artículos para seleccionar los q candidatos más relevantes (ej. 5 artículos).
3. Generación con Restricciones (Prompting): Se construye un prompt estructurado para el LLM que incluye:
   • La descripción del nuevo caso.
   • Los artículos candidatos recuperados del grafo.
   • Casos históricos similares vinculados a esos artículos.
   • Restricciones estrictas: El LLM debe elegir solo de la lista de candidatos y no inventar nuevos artículos. Si ninguno es adecuado, debe declararlo explícitamente.

C. Bucle de Retroalimentación Humana:
Si un experto corrige la recomendación, el sistema actualiza el CLAKG añadiendo nuevas aristas (conexiones) entre el caso y los artículos correctos, mejorando así el grafo para futuras consultas.

3. Contribuciones Clave

1. Propuesta del CLAKG: Un grafo de conocimiento unificado que integra artículos legales y casos históricos bajo un esquema orientado a tareas, junto con un pipeline de construcción automatizado asistido por LLMs.
2. Marco Híbrido LLM-CLAKG: Un sistema de recomendación que utiliza la recuperación aumentada por grafos (RAG) para anclar al LLM en evidencia verificable, mitigando significativamente las alucinaciones.
3. Conjunto de Datos y Evaluación: Creación de un conjunto de datos de derecho penal chino (basado en la Enmienda XI) y una evaluación exhaustiva que demuestra la superioridad del método sobre modelos de clasificación de texto y otros enfoques RAG.

4. Resultados Experimentales

Los experimentos se realizaron utilizando sentencias criminales de "China Judgments Online" (1,170 casos, 85 artículos legales específicos en el conjunto de prueba).

• Comparación con Clasificadores Tradicionales:

  • BERT: 0.289
  • GRU: 0.427
  • DPCNN: 0.495
  • LLM + CLAKG (Propuesto): 0.694
  • Análisis: Los modelos tradicionales colapsaron hacia la etiqueta mayoritaria debido al desequilibrio de datos, mientras que el enfoque propuesto superó significativamente a todos ellos.

• Comparación con Métodos RAG y LLMs Puros:

  • LLM Puro (sin recuperación): 0.549
  • TFIDF-RAG: 0.597
  • Light-RAG: 0.636
  • Graph-RAG (genérico): 0.179 (mala adaptación al dominio)
  • LLM + CLAKG (sin casos históricos): 0.676
  • LLM + CLAKG (con casos históricos): 0.694
  • Análisis: El uso de la estructura semántica del grafo (CLAKG) superó a los métodos basados en similitud léxica (TF-IDF) y a los grafos genéricos. La inclusión de casos históricos en el prompt mejoró aún más la precisión.

• Estudio de Ablación:

  • Se probó con GPT-4 y Llama-3.1-405B. En ambos casos, la adición de CLAKG mejoró la precisión (ej. GPT-4 pasó de 0.549 a 0.694), demostrando que el marco es agnóstico al modelo base.

5. Significado e Impacto

• Mitigación de Alucinaciones: Al obligar al LLM a razonar sobre un conjunto de candidatos recuperados de una base de conocimiento estructurada y verificada, se reduce drásticamente la probabilidad de citar leyes inexistentes.
• Robustez ante Datos Limitados: La estructura del grafo permite capturar relaciones semánticas complejas que los modelos puramente basados en texto no pueden aprender con conjuntos de datos desequilibrados o pequeños.
• Escalabilidad y Mantenimiento: El mecanismo de bucle cerrado permite que el sistema evolucione con el tiempo; a medida que los expertos corrigen las recomendaciones, el grafo se enriquece, mejorando continuamente la precisión futura sin necesidad de reentrenar el modelo de lenguaje base.
• Aplicabilidad General: Aunque probado en derecho penal chino (sistema de derecho civil), la arquitectura (construcción de KG basada en esquema, recuperación por embeddings y razonamiento anclado en KG) sirve como una hoja de ruta para adaptarse a otros sistemas legales y jurisdicciones.

El código fuente, el grafo CLAKG y los datos procesados están disponibles públicamente en GitHub para fomentar la reproducibilidad y la investigación futura.