💬 NLP

Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs

Cet article introduit le « Citation Grounding », une nouvelle métrique et un nouveau cadre pour détecter et réduire les hallucinations de citations juridiques dans les grands modèles de langage en exploitant un graphe massif de décisions de justice ukrainiennes pour évaluer l'exactitude des citations et en employant une méthode d'apprentissage par préférence (CG-DPO) pour entraîner les modèles à distinguer les citations valides des citations corrompues.

Auteurs originaux : Volodymyr Ovcharov

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Volodymyr Ovcharov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant juridique très intelligent et qui parle très vite pour rédiger un rapport pour vous. Cet assistant a lu des millions de livres et connaît énormément de faits. Cependant, il y a un pièat : lorsqu'on lui demande de citer des lois spécifiques pour appuyer ses arguments, cet assistant invente parfois des choses. Il peut inventer une loi qui n'existe pas, citer une loi qui a été annulée il y-a des années ou citer une loi provenant d'un autre pays. Dans le monde juridique, c'est ce qu'on appelle une « hallucination ».

Ce document présente une nouvelle façon de débusquer ces mensonges et une méthode pour apprendre à l'assistant à ne plus en dire.

Le Problème : Le générateur de « fausses lois »

Les auteurs ont découvert que même les modèles d'IA les plus avancés, lorsqu'on leur demande d'écrire sur le droit ukrainien, inventent de fausses citations juridiques entre 13 % et 21 % du temps. C'est comme un étudiant qui écrit une dissertation et qui invente des numéros de pages pour un manuel qui n'existe pas.

La Solution : Le test de « Citation Grounding » (Ancrage de la Citation)

Pour corriger cela, les chercheurs ont construit une carte numérique massive appelée Citation Graph (Graphe de Citations). Imaginez ce graphe comme un catalogue de bibliothèque géant et ultra-précis, construit à partir de 100 millions de décisions de justice réelles. Il contient chaque fois qu'une loi réelle a été citée par un vrai juge dans une affaire réelle.

Ils ont créé un test appelé Citation Grounding (CG). Voici comment il fonctionne :

La Carte : Ils possèdent la « carte de la vérité » (le graphe des cas juridiques réels).
Le Test : On demande à une IA de rédiger une réponse juridique.
La Vérification : On examine chaque loi mentionnée par l'IA et on la vérifie sur la carte.
- La loi existait-elle ? (Précision)
- Était-ce la bonne loi pour cette situation spécifique ? (Pertinence)
- La loi était-elle réellement en vigueur à cette date précise ? (Temporalité)

Si l'IA cite une loi qui ne figure pas sur la carte, ou si elle la cite dans le mauvais contexte, le test la signale comme une hallucination.

Ce qu'ils ont trouvé

Ils ont testé cinq systèmes d'IA différents sur 100 questions juridiques.

Les Résultats : La plupart des IA ont réussi environ 80 % de leurs citations. Le reste était faux.
Le gagnant du « RAG » : Un système utilisait une astuce spéciale appelée RAG (Retrieval-Augmented Generation ou Génération Augmentée par Récupération). Imaginez que cette IA ne se contente pas de compter sur sa mémoire ; elle va réellement à la bibliothèque, trouve les vrais livres et les lit avant de répondre. Ce système a commis le moins d'erreurs et a cité le moins de lois, prouvant que « moins, c'est mieux » lorsqu'on cherche réellement les faits.
Un Schéma Surprenant : Ils s'attendaient à ce que les modèles d'IA qui citent plus de lois fassent plus d'erreurs. Mais ce n'était pas le cas. Certains modèles citaient de nombreuses lois et étaient toujours précis ; d'autres citaient moins de lois mais se trompaient quand même. Cela dépend entièrement de la façon dont l'IA est construite, et non de la quantité de paroles qu'elle produit.

La Méthode d'« Auto-apprentissage » (CG-DPO)

La plus grande avancée de l'article est la manière dont ils prévoient de corriger l'IA sans embaucher une équipe d'avocats humains coûteux pour vérifier chaque réponse.

Habituellement, pour apprendre à une IA à être honnête, les humains doivent lire ses réponses et dire : « C'est bien » ou « C'est mal ». C'est lent et coûteux.

Les chercheurs ont réalisé que leur Citation Graph pouvait faire le travail de l'humain. Ils ont créé un jeu :

Prendre une décision de justice réelle avec des citations correctes.
La corrompre : Ils ont utilisé un programme informatique pour remplacer des lois, inventer de faux articles ou utiliser des lois obsolètes (comme changer une loi de 2020 en une loi de 2025 qui n'existait pas encore).
La Leçon : Ils ont montré à l'IA deux versions : la version « Réelle » et la version « Corrompue ». L'IA a appris à préférer la version Réelle.

Parce que la « vérité » se trouvait déjà dans le graphe, ils n'avaient pas besoin d'humains pour étiqueter les données. Ils ont simplement laissé le graphe faire la correction. Ils ont entraîné un modèle avec cette méthode, et celui-ci est devenu 98,5 % précis pour détecter la différence entre une citation réelle et une fausse.

L'essentiel à retenir

Cet article démonte que :

L'IA ment souvent sur les lois, mais nous pouvons l'attraper en comparant ses réponses à une carte massive de l'histoire judiciaire réelle.
Les systèmes RAG (qui cherchent les faits avant de répondre) sont actuellement les meilleurs pour éviter ces mensonges.
Nous pouvons apprendre à l'IA à arrêter de mentir en utilisant la carte elle-même pour générer des exemples « corrects vs incorrects », éliminant ainsi le besoin que des avocats humains effectuent le travail fastidieux de vérification de chaque citation.

Les auteurs ont mis leur « carte », leurs outils de test et leurs données d'entraînement à la disposition de tous, dans l'espoir de rendre l'IA juridique plus fiable pour tout le monde.

Résumé Technique : Ancrage de Citations pour la Détection et la Réduction des Hallucinations de Citations par les LLM

1. Énoncé du Problème

Les grands modèles de langage (LLM) présentent un problème de fiabilité systématique dans les domaines juridiques : l'hallucination de citations. Cela implique la génération de références plausibles mais fabriquées, la citation de dispositions abrogées, la confusion de juridictions ou la construction de chaînes de raisonnement juridique invalides. Bien que les LLM soient performants sur les benchmarks de raisonnement juridique (ex: examens du barreau), les cadres d'évaluation existants (LEXTREME, LexGLUE, LegalBench) se concentrent sur des tâches de classification et manquent de métriques pour mesurer ou détecter la précision des citations dans les sorties génératives. La vérification manuelle par des experts juridiques est la norme actuelle, mais elle ne permet pas de passer à l'échelle pour une surveillance continue ou pour les langues à faibles ressources.

2. Méthodologie

2.1 Le Graphe de Citations de Vérité de Terrain (Ground-Truth)

Le fondement de l'approche proposée est un graphe de citations bipartite massif $G = (V, E)$ extrait du Registre Unifié des Décisions de Justice (EDRSR) de l'Ukraine.

Échelle : 100,8 millions de nœuds de décisions ( $V_d$ ), 21 736 nœuds de statuts uniques ( $V_n$ ), et 502,2 millions d'arêtes de citation ( $E$ ).
Structure : Les arêtes relient une décision de justice à l'article de statut spécifique qu'elle cite.
Portée Temporelle : Le graphe s'étend de 2005 à 2026, couvrant trois époques juridiques distinctes (temps de paix, guerre hybride, et invasion à grande échelle/loi martiale), permettant des vérifications de validité temporelle.

2.2 Métrique d'Ancrage de Citation (Citation Grounding - CG)

Les auteurs proposent la Citation Grounding (CG), une métrique qui vérifie les citations générées par le LLM par rapport au graphe de vérité de terrain $G$ . Elle est décomposée en trois composantes pour permettre un diagnostic différentiel des types d'hallucinations :

Précision de la Citation (CP) : Vérifie l'existence. Le nœud du statut cité existe-t-il dans $V_n(G)$ ?
Pertinence de la Citation (CR) : Vérifie l'adéquation contextuelle. L'article cité est-il utilisé dans des décisions sémantiquement similaires à la requête ? (Calculé via les plongements XLM-RoBERTa).
Temporalité de la Citation (CT) : Vérifie la validité temporelle. Le statut était-il en vigueur à la date de l'événement juridique pertinent ?

La Qualité de Citation composite ($CQ$) est calculée comme le produit de la CP et de la moyenne de la CR et de la CT. Un statut inexistant (CP=0) entraîne une qualité nulle, reflétant la norme juridique selon laquelle une seule citation fabriquée invalide un document.

2.3 Optimisation de Préférence Directe pour l'Ancrage de Citation (CG-DPO)

Pour réduire les hallucinations sans annotation humaine, l'article introduit le CG-DPO, une méthode pour construire algorithmiquement des paires d'entraînement pour l'Optimisation de Préférence Directe (DPO).

Mécanisme : En partant de décisions de justice vérifiées dans $G$ , le système crée des versions "corrompues" du texte en modifiant les citations.
Stratégies de Corruption :
1. Échange d'Article (Article Swap) : Remplace un article par un autre du même code (cible la CP).
2. Échange de Loi (Law Swap) : Remplace le code tout en conservant le numéro de l'article (cible la CR).
3. Injection d'Hallucination (Hallucination Injection) : Remplace un article réel par un article inexistant (cible la CP).
4. Anachronisme (Anachronism) : Remplace un statut par un autre promulgué après la date de la décision (cible la CT).
Entraînement : Le texte original avec les citations correctes sert de réponse préférée ( $y_w$ ), et le texte corrompu sert de réponse rejetée ( $y_l$ ). Cela élimine le besoin d'annotateurs humains.

3. Configuration Expérimentale et Résultats

3.1 Évaluation Empirique

Les auteurs ont évalué cinq systèmes sur 100 requêtes juridiques ukrainiennes dans sept domaines (Civil, Pénal, Administratif, Travail, Famille, Constitutionnel, Militaire) :

Systèmes : Quatre LLM commerciaux via AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) et un système de production augmenté par RAG (LEX Chat, basé sur Claude Sonnet 4).
Résultats :
- Taux d'Hallucination : Les scores CG variaient de 0,791 à 0,873, indiquant que 13 à 21 % des citations étaient hallucinées.
- Supériorité du RAG : Le système augmenté par RAG a obtenu le CG le plus élevé (0,873) avec la densité de citation la plus faible (2,9 citations/réponse), suggérant que la récupération contraint les modèles à des citations fondées sur des preuves.
- Corrélation Densité-Précision : Parmi les modèles bruts, la corrélation entre la densité de citation et la précision était faible ( $\rho = -0,12$ ), contredisant l'hypothèse d'un compromis universel.
- Variance de Domaine : Le droit constitutionnel a atteint un ancrage parfait (CG = 1,0) sur tous les modèles. Le droit de la famille et le droit du travail ont montré la plus grande variance (CG 0,46–0,90).

3.2 Résultats de l'Entraînement CG-DPO

Un modèle Qwen2.5-7B-Instruct a été affiné via LoRA sur un ensemble de données de 2 244 décisions de justice avec des paires de préférences construites algorithmiquement.

Performance : Le modèle a atteint une précision moyenne de validation de 98,5 % pour distinguer les citations correctes des citations corrompues sur trois graines aléatoires.
Stabilité : La marge de récompense était de +14,9 avec un écart-type < 0,3 point de pourcentage.
Convergence : L'entraînement a convergé rapidement, atteignant une précision quasi parfaite dès le premier époque.

4. Contributions Clés

Métrique d'Ancrage de Citation : Une nouvelle métrique décomposable (CP, CR, CT) pour mesurer et diagnostiquer les hallucinations de citations juridiques à grande échelle, utilisant un graphe de citations de 502 millions d'arêtes.
Évaluation à Grande Échelle : Une étude empirique de cinq LLM sur le droit ukrainien, révélant que les systèmes RAG surpassent les modèles bruts en précision de citation et que les taux d'hallucination varient considérablement selon le domaine juridique.
CG-DPO : Une méthode pour générer algorithmiquement des paires de préférence DPO à partir d'un graphe de citations, éliminant la dépendance à l'annotation juridique humaine coûteuse pour l'alignement des citations.

5. Signification et Revendications

L'article affirme qu'un graphe de citations à grande échelle sert un double objectif : agir comme un oracle d'évaluation pour détecter les hallucinations et comme un signal d'entraînement pour aligner les modèles sans intervention humaine.

Boucle Fermée : L'approche ferme la boucle de la détection à l'atténuation sans aucune annotation manuelle à n'importe quelle étape.
Scalabilité : Le CG-DPO démontre que les signaux dérivés de graphes sont suffisants pour l'alignement des citations, offrant une solution évolutive pour l'IA juridique dans les environnements à ressources limitées.
Validité de la Métrique : Les auteurs valident le CG comme une métrique conservatrice ; bien qu'elle puisse produire des faux positifs (signalant des statuts réels mais rarement cités en raison des lacunes de couverture du graphe), elle ne produit aucun faux négatif concernant les dispositions fabriquées.
Ressources Ouvertes : Le graphe de citations, le cadre d'évaluation et le jeu de données CG-DPO sont publiés en tant que ressources ouvertes pour faciliter la recherche ultérieure.

Les auteurs notent des limites, notamment la dépendance du graphe aux décisions de justice existantes (lacunes de couverture pour les nouvelles lois), l'implémentation actuelle de la temporalité (vérification de l'existence plutôt que de la validité d'une version spécifique), et le focus sur les systèmes de droit civil, suggérant des travaux futurs pour l'adaptation au droit coutumier (common law) et l'évaluation de la génération de bout en bout.