From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

Résumé technique : Des jugements aux questions : Extraction structurée du raisonnement juridique avec contrôle de l'hallucination des citations

Énoncé du problème
Les systèmes judiciaires modernes, particulièrement en Italie, génèrent des décisions de justice à une échelle qui dépasse la capacité de lecture individuelle des professionnels du droit. La base de données des tribunaux fiscaux italiens contient à elle seule près d'un million de jugements, augmentant de centaines de milliers chaque année. Bien que ce volume soit d'une valeur significative pour des usages secondaires — tels que la recherche de précédents, l'analyse de réseaux de citations et l'entraînement de systèmes de traitement du langage naturel (NLP) juridique — la nature non structurée des PDF originaux entrave ces applications. Les méthodes d'extraction existantes traitent souvent le jugement dans son intégralité comme une unité unique, introduisant du bruit provenant des formalités procédurales et échouant à isoler les questions juridiques spécifiques. De plus, les modèles de langage de grande taille (LLM) sont sujets à l'« hallucination » de citations juridiques, fabriquant des références plausibles mais inexistantes à la législation et à la jurisprudence, ce qui compromet la fiabilité des pipelines de raisonnement juridique automatisés.

Méthodologie
Les auteurs proposent un pipeline automatisé conçu pour décomposer les jugements des tribunaux fiscaux italiens en questions juridiques individuelles et pour extraire une représentation XML structurée pour chacune d'elles. La méthodologie repose sur trois composantes clés :

1. Décomposition par question et conception de schéma :
   Plutôt que de traiter les jugements comme des blocs monolithiques, le pipeline traite la question juridique (questione giuridica) comme l'unité d'analyse. Cela s'aligne sur les théories de la justification judiciaire (par exemple, MacCormick, 1994) où l'adjudication est vue comme la résolution de questions juridiques spécifiques. La structure extraite est fondée sur le cadre IRAC (Issue, Rule, Application, Conclusion — Problème, Règle, Application, Conclusion) et le syllogisme juridique. Chaque question est encodée en XML avec des champs spécifiques :

   • <text> : Une formulation de type « Que [clause] » de la question juridique.
   • <issue_outcome> : La décision, classée par bénéficiaire (contribuable, administration fiscale, autre).
   • <factual_premises> : Faits et événements pertinents.
   • <legal_references> : Une liste de citations (législation, jurisprudence, principes, pratique administrative) avec leurs types.
   • <citation_reason> : Explications sur les raisons pour lesquelles des références spécifiques ont été citées.
   • <judge_reasoning> : L'application du droit aux faits.
   • <summary> : Un résumé abstractif de la question.

2. Pipeline d'extraction et sélection du modèle :
   Le pipeline traite un corpus d'environ 330 000 jugements de première et seconde instance des tribunaux fiscaux italiens. Pour équilibrer la capacité et le coût du traitement de centaines de milliers de documents, les auteurs ont sélectionné DeepSeek V3, un modèle généraliste offrant un rapport coût-performance favorable (environ 0,0035 $ par jugement). L'extraction utilise une stratégie de prompting en deux étapes pour les jugements longs :

   • Étape 1 : Identifier les questions et extraire le <text>, le <summary> et l' <issue_outcome>.
   • Étape 2 : Pour chaque question identifiée, extraire le raisonnement détaillé, les faits et les citations.
     Une étape de correction post-extraction utilise le prompting few-shot pour garantir que le champ <text> respecte strictement le format « Que + clause ».

3. Contrôle de l'hallucination via Linkoln :
   Pour remédier au manque de fiabilité des citations des LLM, le pipeline intègre une couche de vérification utilisant la bibliothèque Linkoln (Bacci et al., 2019). Cette étape :

   • Analyse les références juridiques dans le texte du jugement original et dans la sortie du LLM.
   • Les normalise selon des identifiants standards (URN-NIR, ECLI, CELEX).
   • Compare les deux ensembles. Toute référence présente dans la sortie du LLM mais non trouvée dans le texte source est signalée comme une hallucination et supprimée.
   • Pour les principes juridiques (qui ne possèdent pas d'identifiants standards), une liste de contrôle (whitelist) de 182 principes canoniques dérivés par des experts est utilisée pour valider les correspondances.

Contributions principales
L'article présente trois contributions majeures :

1. Schéma structuré : Un nouveau schéma XML au niveau de la question, fondé sur l'IRAC et le syllogisme juridique, conçu pour être lisible par machine, utile pour la consultation humaine et extractible de manière fiable par des LLM de milieu de gamme.
2. Pipeline rentable avec contrôle de l'hallucination : Un pipeline évolutif utilisant DeepSeek V3 combiné à un filtre d'hallucination automatique basé sur un analyseur syntaxique (parser) qui normalise et valide les citations par rapport au texte source.
3. Évaluation validée par des experts : Un protocole de validation rigoureux sur 50 jugements annotés par deux experts en droit fiscal de niveau doctorat, rapportant l'accord inter-annotateurs (IAA), l'accord LLM-vs-expert et la performance du filtre d'hallucination.

Résultats
L'évaluation sur l'échantillon de 50 jugements produit les conclusions suivantes :

• Extraction des questions : Le LLM démontre une précision élevée (93–94 %) mais un rappel modéré (70–82 %) par rapport aux experts humains. Le mode d'erreur dominant est la sous-extraction (omission de questions) plutôt que l'hallucination. Seules 4 questions extraites sur 78 ont été marquées comme absentes par les experts.
• Extraction des citations : Le LLM atteint un score F1 d'environ 74 % par rapport aux annotations des experts. Bien que le modèle extraie un nombre de références similaire à celui des experts, il inclut parfois des références jugées non pertinentes pour la question spécifique.
• Performance du filtre d'hallucination : Le filtre est très efficace. Avant le filtrage, le taux d'hallucination était de 11,7 %. Après filtrage, il est tombé à 0,9 %. Le filtre a supprimé 29 des 31 références hallucinées tout en supprimant à tort seulement 7 citations valides (taux de faux positifs de 3,0 %). Le filtre a été le moins efficace sur les « principes de droit », qui présentaient un taux d'hallucination de 69 % avant filtrage.
• Scores qualitatifs : Les champs en texte libre (raisonnement, résumé, résultat) ont reçu des scores moyens élevés (4,6–4,9/5) de la part des experts. L'accord inter-annotateurs sur ces dimensions qualitatives était très élevé (Gwet's AC2 > 0,93).
• Stochasticité : Les auteurs notent que même avec des graines (seeds) fixes, le LLM présente un caractère non déterministe. L'accord d'un cycle à l'autre (F1 ~78 % pour les questions, ~73 % pour les citations) est inférieur à l'accord inter-annotateur mais comparable à l'accord LLM-vs-humain, suggérant que la stochasticité du modèle explique une part importante de l'écart de performance.

Signification et revendications
Les auteurs affirment que ce travail constitue le premier pipeline d'extraction structurée au niveau de la question, validé par des experts et doté d'un contrôle de l'hallucination, spécifiquement pour les décisions des tribunaux fiscaux italiens. Ils positionnent le pipeline comme un point de départ concret pour des applications en aval, notamment :

• Recherche au niveau de la question : Isoler des questions juridiques uniques pour améliorer la précision de la recherche.
• Analyse de réseaux de citations : Construire des graphes où les arêtes reflètent les références réellement utilisées pour décider des litiges, plutôt que des mentions incidentes.
• Construction de jeux de données : Créer des jeux de données structurés à grande échelle du raisonnement juridique pour l'entraînement et l'évaluation de systèmes de NLP juridique.

L'article maintient un ton modeste, reconnaissant des limites telles que la petite taille de l'échantillon de validation (50 jugements), la dépendance à un seul modèle et une seule juridiction, ainsi que la subjectivité inhérente à la segmentation des jugements en questions. Les auteurs soulignent que le format proposé sert de modèle méthodologique pour l'extraction structurée indépendamment des juridictions ou des modèles spécifiques, démontant que les LLM actuels peuvent fiablement instancier des structures complexes de raisonnement juridique lorsqu'ils sont couplés à des couches de vérification appropriées.