Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

Cette étude propose une approche innovante combinant un graphe de connaissances enrichi par des cas judiciaires et un modèle de langage large pour recommander des articles de droit pénal chinois, améliorant ainsi significativement la précision des suggestions et l'efficacité judiciaire.

L'essentiel

🏛️ Le Problème : La Salle d'Attente du Tribunal

Imaginez un tribunal comme une immense bibliothèque où des milliers de livres de lois (les articles de loi) sont empilés. Chaque jour, des juges doivent trouver le bon livre pour chaque histoire de crime qui leur est racontée.

Le problème ? Il y a trop d'histoires, pas assez de temps, et les livres sont parfois difficiles à comprendre. Les juges sont épuisés, et parfois, ils peuvent se tromper ou oublier un détail crucial. C'est comme essayer de trouver une aiguille dans une botte de foin, mais l'aiguille est une loi précise et le foin est une montagne de documents.

🤖 La Solution : Un Super-Assistant avec une Carte Trésor

Les auteurs de ce papier ont créé un système intelligent qui combine deux technologies puissantes :

1. Un "Grand Sage" (Le Grand Modèle de Langage ou LLM) : C'est comme un bibliothécaire ultra-intelligent qui a lu tous les livres du monde. Il peut comprendre le langage naturel et raconter des histoires.
2. Une "Carte Trésor" (Le Graphique de Connaissance ou KG) : C'est une carte géante qui relie tous les points entre eux. Elle ne se contente pas de lister les livres ; elle montre comment l'article 385 est lié à un type de vol, qui est lui-même lié à un jugement ancien.

Leur innovation, c'est de faire travailler ces deux éléments ensemble dans un système qu'ils appellent CLAKG.

🧩 Comment ça marche ? (L'Analogie du Détective)

Voici le processus, étape par étape, comme si vous étiez un détective :

1. Construire la Carte (CLAKG)

Avant de commencer, les chercheurs ont pris des milliers de jugements passés et les ont transformés en une carte numérique.

• L'idée : Au lieu de juste écrire "Vol", ils ont créé des liens précis : "Ce cas de vol" ➔ "Utilise l'article 385" ➔ "Implique la notion de 'vol à main armée'".
• L'automatisation : Ils ont utilisé l'IA pour lire les documents et dessiner cette carte toute seule, ce qui serait impossible à faire à la main pour des humains.

2. Le Cas Nouveau (L'Enquête)

Quand un nouveau cas arrive (par exemple : "Zhang a pris de l'argent pour abuser de son pouvoir"), le système ne se contente pas de chercher des mots-clés.

• Il demande au "Grand Sage" (l'IA) : "Quelles sont les 5 ou 6 idées clés de cette histoire ?" (Ex: "pot-de-vin", "abus de pouvoir").
• Ensuite, il regarde sur la Carte Trésor pour voir quels articles de loi sont connectés à ces idées. C'est comme si le détective regardait sur sa carte pour voir quels chemins mènent à ces lieux.

3. La Vérification (Le Cercle Vertueux)

C'est ici que la magie opère pour éviter les erreurs.

• Le problème des IA : Souvent, les IA inventent des choses (on appelle ça des "hallucinations"). Elles pourraient dire : "Ah, il y a un article 999 sur le vol de poules !" alors que cet article n'existe pas.
• La solution : Ici, le "Grand Sage" est forcé de ne regarder que ce qui est écrit sur la Carte Trésor. Il ne peut pas inventer. S'il ne trouve pas de lien sur la carte, il dit : "Je ne sais pas" au lieu de mentir.
• L'humain dans la boucle : Si le système fait une erreur, un expert humain la corrige. Cette correction est immédiatement ajoutée à la Carte Trésor. La carte devient donc plus intelligente à chaque fois qu'on l'utilise. C'est un apprentissage continu !

📈 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur système sur des lois pénales chinoises (un domaine très complexe).

• Les anciens systèmes (comme des modèles mathématiques simples) avaient un taux de réussite d'environ 50% (ils devinaient souvent).
• Le "Grand Sage" seul (sans la carte) faisait un peu mieux (55%), mais il inventait parfois des lois.
• Leur système combiné (CLAKG + IA) a atteint 69% de réussite !

C'est une énorme amélioration. C'est comme passer d'un étudiant qui révise en relisant ses cours à un expert qui consulte une carte précise et mise à jour en temps réel.

🌟 En Résumé

Imaginez que vous avez un détective super-intelligent (l'IA) qui a lu tous les livres, mais qui a tendance à rêver. Vous lui donnez une boussole et une carte précise (le Graphique de Connaissance) qui ne lui montre que les chemins réels et vérifiés.

Ensemble, ils ne peuvent plus se tromper de chemin. Et chaque fois qu'ils trouvent un nouveau chemin, ils le dessinent sur la carte pour que le prochain voyage soit encore plus sûr.

C'est exactement ce que fait ce papier : il crée un système où l'intelligence artificielle ne se contente pas de "deviner" la loi, mais la recherche dans une base de connaissances structurée et vérifiée par des humains, rendant la justice plus rapide, plus précise et plus fiable.

Résumé technique

1. Problématique

L'efficacité judiciaire est cruciale pour la stabilité sociale, mais les tribunaux de base font face à un volume massif de dossiers en attente, reposant lourdement sur l'effort cognitif des juges. Bien que des outils d'intelligence artificielle aient été développés pour l'aide à la décision, ils présentent des limites majeures :

• Méthodes traditionnelles : Les approches basées sur l'apprentissage automatique classique (LSTM, CNN, BERT) traitent la recommandation d'articles de loi comme un problème de classification de texte. Elles négligent souvent la sémantique profonde des articles de loi et sont très sensibles aux données insuffisantes et aux déséquilibres d'étiquettes (label imbalance).
• Limites des LLM : L'utilisation directe de Grands Modèles de Langage (LLM) permet une interaction naturelle mais souffre d'hallucinations (fabrication de références juridiques inexistantes ou inexactes).
• Défis du RAG : Les techniques de Génération Augmentée par Récupération (RAG) existantes utilisent souvent des méthodes de récupération basées sur la similarité lexicale (TF-IDF, BM25) qui manquent de précision sémantique dans le domaine juridique complexe.

L'objectif est donc de développer un système capable de recommander les articles de loi pertinents avec une haute précision, en minimisant les hallucinations et en gérant la rareté des données.

2. Méthodologie

Les auteurs proposent un cadre de travail en boucle fermée combinant un Graphes de Connaissances (KG) et un LLM, spécifiquement conçu pour le droit pénal chinois.

A. Construction du CLAKG (Case-Enhanced Law Article Knowledge Graph)

Le cœur du système est le CLAKG, un graphe de connaissances enrichi par les cas, structuré selon un schéma pré-défini :

• Entités : Il intègre deux sous-graphes :
  • LAKG (Law Article KG) : Contient les articles de loi originaux, leurs identifiants et des informations clés extraites (concepts juridiques).
  • ACKG (Adjudicated Cases KG) : Contient les noms des affaires, les dates, les motifs de poursuite et les détails factuels extraits des jugements.
• Relations : Les nœuds sont connectés via des relations sémantiques (ex: un cas "s'accorde avec" une information clé, un cas "s'applique à" un article de loi).
• Construction Automatisée : Un LLM est utilisé pour extraire les entités et les relations à partir des textes bruts (lois et jugements), suivi d'une validation par des experts juridiques pour garantir la cohérence du schéma.

B. Pipeline de Recommandation (RAG basé sur le Graphe)

Le processus de recommandation se déroule en plusieurs étapes :

1. Encodage du Graphe (RGCN) : Le CLAKG est prétraité à l'aide d'un Réseau de Convolution Graphique Relationnel (RGCN) pour générer des vecteurs d'incorporation (embeddings) pour chaque nœud. Cela permet de capturer la structure topologique et les relations sémantiques.
2. Extraction de Mots-clés : Pour une nouvelle affaire, un LLM identifie les informations clés pertinentes (jusqu'à 8) en les faisant correspondre aux nœuds existants du CLAKG.
3. Récupération de Candidats : Un algorithme parcourt le graphe pour trouver les articles de loi connectés aux informations clés extraites. Un score de similarité cosinus est calculé entre les embeddings des informations clés du nouveau cas et ceux des articles de loi pour classer les candidats (les 5 meilleurs sont retenus).
4. Génération Guidée par le Graphe (LLM) : Le LLM reçoit un prompt structuré contenant :
   • La description du nouveau cas.
   • Les articles de loi candidats récupérés.
   • Des affaires historiques similaires liées à ces candidats.
   • Contraintes strictes : Le modèle est contraint de choisir uniquement parmi les candidats récupérés et doit explicitement déclarer qu'aucun article ne convient s'il n'y a pas de correspondance, évitant ainsi la fabrication d'articles.

C. Boucle de Collaboration Humain-Machine

Le système fonctionne en boucle fermée : les experts juridiques révisent les recommandations. Si une correction est apportée, le CLAKG est mis à jour avec les nouvelles relations (cas-article, cas-mots-clés), améliorant ainsi la base de connaissances pour les futures requêtes.

3. Contributions Clés

1. Proposition du CLAKG : Un nouveau graphe de connaissances unifiant articles de loi et données de cas historiques sous un schéma orienté tâche, construit de manière automatisée par LLM mais validé par des experts.
2. Cadre de Recommandation Hybride : Intégration d'un mécanisme RAG (Retrieval-Augmented Generation) où la récupération est basée sur la structure du graphe (embeddings RGCN) et non seulement sur le texte, combinée à un raisonnement LLM contraint par le graphe pour réduire les hallucinations.
3. Validation Empirique Rigoureuse : Création d'un jeu de données de droit pénal chinois (1 170 jugements) et démonstration d'une supériorité significative par rapport aux modèles de classification classiques et aux approches RAG génériques.

4. Résultats Expérimentaux

L'évaluation a été menée sur des jugements criminels chinois (Amendement XI). Les résultats montrent une amélioration drastique de la précision (Accuracy) :

• Comparaison avec les modèles classiques :

  • BERT : 0,289
  • GRU : 0,427
  • DPCNN : 0,495
  • LLM + CLAKG (avec informations de cas) : 0,694
  • Analyse : Les modèles classiques échouent souvent à cause du déséquilibre des classes (tendance à prédire la classe majoritaire), tandis que l'approche proposée gère mieux la rareté des données grâce à la structure du graphe.

• Comparaison avec les approches RAG et LLM purs :

  • LLM seul (sans RAG) : 0,549 (souffre d'hallucinations).
  • TFIDF-RAG : 0,597.
  • Light-RAG : 0,636.
  • Graph-RAG (générique) : 0,179 (échec dû à un schéma de graphe non adapté).
  • LLM + CLAKG (sans info de cas, uniquement statut) : 0,676.
  • LLM + CLAKG (avec info de cas) : 0,694.

• Étude d'ablation : L'ajout d'informations contextuelles (cas historiques) via le CLAKG améliore significativement les performances, tant sur des modèles propriétaires (GPT-4) que sur des modèles open-source (Llama-3.1-405B), prouvant la robustesse de l'architecture.

5. Signification et Impact

Ce travail démontre que l'intégration de connaissances structurées (Graphes de Connaissances) avec la puissance de raisonnement des LLM est une voie prometteuse pour l'IA juridique.

• Réduction des Hallucinations : En ancrant le LLM dans une base de faits vérifiables (le CLAKG) et en imposant des contraintes de sortie, le système produit des recommandations juridiquement fiables.
• Robustesse aux Données Limitées : La méthode surpasse les modèles de classification pure, même avec un jeu de données de taille modeste et déséquilibré, grâce à l'utilisation de la structure sémantique du graphe.
• Évolutivité : Le mécanisme de boucle fermée permet au système de s'améliorer continuellement avec l'ajout de nouveaux jugements validés par des experts.
• Généralisation : Bien que testé sur le droit pénal chinois (système de droit civil), l'architecture est conçue pour être adaptable à d'autres juridictions, y compris les systèmes de common law, moyennant un ajustement du schéma du graphe.

En conclusion, cette étude propose une solution pratique et performante pour l'assistance judiciaire, combinant la rigueur des bases de connaissances structurées et la flexibilité des modèles de langage modernes.