LEXA: Legal Case Retrieval via Graph Contrastive Learning with Contextualised LLM Embeddings

Ce papier présente LEXA, une extension du modèle CaseGNN qui améliore la récupération de cas juridiques en exploitant des graphes de cas textuels enrichis par des embeddings contextuels de grands modèles de langage et en optimisant l'apprentissage contrastif grâce à une nouvelle couche d'attention et à des signaux d'entraînement renforcés.

L'essentiel

🏛️ LEXA : Le Détective Juridique qui a "les yeux qui voient tout"

Imaginez que vous êtes un avocat ou un juge. Vous avez un nouveau dossier (votre cas de requête) et vous devez trouver, dans une bibliothèque immense de millions d'anciens dossiers, ceux qui sont vraiment similaires pour vous aider à rendre votre jugement. C'est ce qu'on appelle la recherche de cas juridiques.

Jusqu'à présent, les ordinateurs faisaient cela un peu comme un élève qui apprend par cœur : ils cherchaient les mêmes mots-clés ("vol", "voiture", "accident"). Mais le droit est complexe. Deux dossiers peuvent utiliser des mots différents mais raconter la même histoire juridique, ou utiliser les mêmes mots pour des histoires totalement différentes.

Les chercheurs de l'Université du Queensland ont créé LEXA, un nouveau système qui ne se contente pas de lire les mots, mais qui comprend la structure et les liens entre les éléments d'un dossier.

Voici comment LEXA fonctionne, expliqué avec des analogies du quotidien :

1. Le Problème : La Carte vs Le Territoire

Les anciennes méthodes (comme CaseGNN, le "grand frère" de LEXA) prenaient un dossier juridique et le transformaient en une carte (un graphe).

• Les nœuds (les points sur la carte) étaient les personnes, les objets ou les faits (ex: "Le demandeur", "Un canadien").
• Les liens (les lignes entre les points) étaient les relations (ex: "est", "a").

Le problème, c'est que les anciennes cartes étaient un peu rigides. Elles regardaient les points, mais elles ignoraient souvent que les lignes (les relations) elles-mêmes contenaient des informations précieuses qui pouvaient changer au fur et à mesure qu'on apprenait. C'est comme si vous regardiez une carte routière où les routes étaient figées, même si le trafic change.

2. La Solution LEXA : Trois Super-Pouvoirs

LEXA améliore cette carte avec trois innovations majeures :

A. Les Liens qui "Respirent" (EUGAT)
Dans LEXA, les lignes de la carte ne sont pas statiques. Imaginez que vous discutez avec un ami. Au début de la conversation, vous avez une idée de ce qu'il pense. Mais plus vous parlez, plus votre compréhension de sa pensée évolue.

• L'analogie : LEXA utilise une couche spéciale (EUGAT) qui met à jour à la fois les points (les faits) et les lignes (les relations) en même temps.
• Le résultat : Le système comprend mieux la nuance. Il ne voit pas juste "A est lié à B", il comprend comment A et B interagissent juridiquement, et cette compréhension s'affine à chaque étape de l'analyse.

B. L'Entraînement par "Jeux de Rôle" (Apprentissage Contrastif)
Pour apprendre à un élève à distinguer un vrai cas d'un faux, on ne lui donne pas juste la réponse. On lui donne des exercices difficiles !

• L'analogie : Imaginez un détective qui s'entraîne. On lui montre un vrai coupable (le cas pertinent) et un suspect qui ressemble beaucoup au coupable mais qui est innocent (un "négatif dur").
• Le résultat : LEXA utilise une technique appelée apprentissage contrastif. Il crée des versions modifiées de ses propres cartes (en effaçant quelques lignes ou en cachant quelques mots) pour s'entraîner à reconnaître l'essentiel même si le dossier est un peu "abîmé". Cela le rend beaucoup plus robuste et intelligent.

C. Le Super-Traducteur (LLM Contextuel)
Avant de dessiner la carte, il faut décrire les points. Les anciens systèmes utilisaient des dictionnaires basiques. LEXA utilise un Grand Modèle de Langage (LLM), comme une intelligence artificielle très cultivée en droit.

• L'analogie : Au lieu de dire "Le demandeur = Homme", le LLM dit : "Le demandeur est un citoyen canadien ayant des droits spécifiques dans ce contexte". Il comprend le contexte.
• Le résultat : Chaque point de la carte est enrichi par une compréhension profonde du droit, comme si chaque élément du dossier avait un avocat à ses côtés pour expliquer sa signification exacte avant même de commencer l'analyse.

3. Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé LEXA sur deux grands concours internationaux de recherche juridique (COLIEE 2022 et 2023).

• Le verdict : LEXA a battu tous les autres systèmes, y compris les meilleurs modèles d'intelligence artificielle actuels et les méthodes traditionnelles.
• En résumé : Là où les autres systèmes cherchaient des mots similaires, LEXA a compris la structure logique du droit. Il a réussi à trouver les bons précédents juridiques avec une précision bien supérieure.

🎯 En conclusion

Si la recherche juridique était une recherche d'aiguille dans une botte de foin :

• Les anciennes méthodes cherchaient l'aiguille par sa couleur (les mots).
• LEXA comprend la forme de l'aiguille, son aimant, et la façon dont elle s'attire avec d'autres objets dans la botte. Il ne cherche pas seulement le mot, il cherche le sens et les liens.

C'est une avancée majeure pour aider les avocats et les juges à trouver la justice plus vite et plus précisément, en utilisant la puissance des graphes (les liens) et de l'intelligence artificielle moderne.

Résumé technique

Titre : LEXA : Récupération de cas juridiques par apprentissage contrastif sur graphes avec des embeddings LLM contextualisés

1. Problématique

La récupération de cas juridiques (Legal Case Retrieval - LCR) est une tâche d'information spécialisée visant à identifier les précédents juridiques pertinents pour un cas donné (requête). Bien que les méthodes existantes reposent sur des modèles lexicaux (BM25) ou des modèles de langage (LM), elles présentent des limites majeures :

• Négligence de la structure : Les approches basées sur le texte brut ignorent les informations structurelles spécifiques au domaine juridique (relations entre parties, activités criminelles, preuves).
• Limites du modèle précédent (CaseGNN) : L'architecture précédente des auteurs, CaseGNN, a introduit des graphes de cas attributés en texte (TACG), mais souffre de trois défis :
  1. Sous-utilisation de l'information des arêtes : Les caractéristiques des arêtes (relations) restent fixes durant l'entraînement, empêchant la mise à jour dynamique des relations.
  2. Insuffisance des signaux d'apprentissage : Le manque de données juridiques annotées (coûteuses et rares) limite la capacité d'apprentissage.
  3. Absence de contexte juridique : Les nœuds et arêtes sont encodés par des modèles de langage standards, manquant de sémantique juridique contextualisée.

2. Méthodologie : Le Framework LEXA

LEXA est une extension avancée de CaseGNN qui intègre trois innovations clés pour surmonter ces limitations.

A. Encodage Contextualisé par LLM (LEXA-8B)

Pour enrichir les représentations sémantiques, les auteurs utilisent un modèle d'embedding de langage (LLM) spécifiquement affiné (LEXA-8B, basé sur Qwen3-Embedding-8B).

• Prompting : Les cas sont reformulés en intégrant les "faits juridiques" et les "questions juridiques" extraits via des prompts.
• Initialisation des caractéristiques : Les nœuds (entités) et les arêtes (relations) du graphe sont initialisés avec des embeddings générés par ce LLM, capturant ainsi des nuances sémantiques juridiques profondes.

B. Couche d'Attention de Graphe Mise à Jour par Arêtes (EUGAT)

C'est le cœur architectural de LEXA. Contrairement aux GNN classiques qui ne mettent à jour que les nœuds, LEXA propose une couche EUGAT (Edge-updated Graph Attention Layer) :

• Mise à jour conjointe : Elle met à jour simultanément les caractéristiques des nœuds et des arêtes à chaque couche de GNN.
• Mécanisme : Les arêtes, représentant les relations légales, sont recalculées dynamiquement en fonction des états changeants des nœuds voisins. Cela permet au modèle de raffiner itérativement la compréhension des relations juridiques complexes.
• Structure du Graphe : Chaque cas est transformé en deux graphes : un graphe des faits juridiques et un graphe des questions juridiques, connectés par un nœud global virtuel pour la propagation de l'information globale.

C. Apprentissage Contrastif sur Graphes (GCL) avec Augmentation

Pour pallier le manque de données annotées, LEXA utilise un objectif d'apprentissage contrastif renforcé par l'augmentation de graphes :

• Augmentation : Des techniques comme l'élimination d'arêtes (edge dropping) et le masquage de caractéristiques (feature masking) sont appliquées pour créer des vues augmentées des graphes.
• Objectif de perte : Le modèle est entraîné à rapprocher les échantillons positifs (cas pertinents) et les vues augmentées, tout en éloignant les échantillons négatifs (faciles et difficiles).
• Signaux supplémentaires : L'utilisation d'échantillons négatifs "difficiles" (cas textuellement similaires mais juridiquement non pertinents) et d'augmentations fournit des signaux d'apprentissage supplémentaires cruciaux.

3. Contributions Clés

1. Framework LEXA : Une nouvelle architecture qui combine l'exploitation complète des informations des arêtes, des signaux d'entraînement renforcés et des embeddings LLM contextualisés.
2. Couche EUGAT : Un mécanisme innovant de mise à jour simultanée des nœuds et des arêtes, permettant une modélisation plus riche des dépendances relationnelles juridiques.
3. Stratégie d'Augmentation et GCL : Une approche de contraste sur graphes utilisant l'augmentation structurelle pour améliorer la robustesse et la capacité de généralisation malgré la rareté des données.
4. Embeddings Spécifiques au Domaine : L'utilisation et l'affinement d'un LLM (LEXA-8B) pour générer des caractéristiques de nœuds et d'arêtes riches en sémantique juridique.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux ensembles de données de référence (COLIEE 2022 et COLIEE 2023), issus du tribunal fédéral canadien.

• Performance Globale : LEXA établit un nouvel état de l'art (SOTA), surpassant significativement les modèles de base (BM25, LEGAL-BERT, SAILER) et les modèles graphiques précédents (CaseGNN, CaseLink).
  • Sur COLIEE 2022, LEXA atteint un NDCG@5 de 79,3 % (contre 69,3 % pour CaseGNN).
  • Sur COLIEE 2023, LEXA atteint un NDCG@5 de 52,6 % (contre 42,8 % pour CaseGNN).
• Études d'ablation :
  • La suppression du nœud global ou l'utilisation de simples moyennes de lecture (Avg Readout) fait chuter les performances, confirmant l'importance de la structure globale.
  • L'ajout de la couche EUGAT et de l'apprentissage contrastif (GCL) apporte des gains constants sur toutes les métriques.
  • L'utilisation de LEXA-8B (LLM affiné) pour l'initialisation des caractéristiques est supérieure à l'utilisation de modèles génériques.
• Analyse des Augmentations : L'élimination d'arêtes (Edge Dropping) s'est révélée être la stratégie d'augmentation la plus efficace, surpassant le masquage de caractéristiques, soulignant l'importance de la topologie du graphe.
• Sensibilité : Le modèle est robuste, avec une configuration optimale pour le coefficient de température ($\tau=0.1$) et un nombre limité d'échantillons négatifs faciles.

5. Signification et Impact

Ce travail démontre que la combinaison de connaissances structurelles juridiques (via les graphes) et de représentations sémantiques contextuelles avancées (via les LLM) est essentielle pour la récupération de cas juridiques.

• Avancée Technique : LEXA résout le problème de la modélisation statique des relations dans les graphes juridiques en introduisant une mise à jour dynamique des arêtes.
• Pratique Juridique : En améliorant la précision et le rappel de la recherche de précédents, LEXA peut aider les avocats et les juges à accéder plus rapidement aux décisions pertinentes, réduisant ainsi les coûts et le temps de recherche.
• Généralisation : L'approche est adaptable à d'autres langues et contextes juridiques, offrant une voie prometteuse pour l'application de l'IA dans le domaine juridique au-delà de la simple analyse textuelle.

En conclusion, LEXA représente une avancée majeure en intégrant la puissance des LLM modernes avec la rigueur de la modélisation par graphes, surpassant les méthodes précédentes en exploitant pleinement la richesse structurelle et sémantique des documents juridiques.