Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification

1. Problématique

L'application des modèles de langage (LLM) et des modèles d'apprentissage profond dans le domaine juridique soulève un défi majeur : l'interprétabilité. Bien que ces modèles puissent prédire avec précision les résultats de décisions judiciaires (par exemple, déterminer s'il y a eu une violation des droits de l'homme par la Cour européenne des droits de l'homme - CEDH), leur boîte noire rend difficile la confiance en leurs décisions.

Le problème central abordé est l'évaluation des techniques d'extraction de rationales (fragments de texte justifiant la prédiction). Les méthodes existantes, souvent agnostiques au modèle, prétendent extraire les parties les plus importantes d'un document juridique pour expliquer la prédiction. Cependant, il est incertain si ces extraits correspondent réellement au raisonnement juridique utilisé par les experts humains. De plus, l'évaluation de ces techniques par des experts humains est coûteuse et ne se généralise pas, tandis que l'utilisation de LLMs comme juges (« LLM-as-a-Judge ») dans ce contexte spécifique n'a pas été suffisamment étudiée.

2. Méthodologie

Les auteurs proposent un cadre d'analyse comparative standardisé pour évaluer les techniques d'interprétabilité sur les décisions de la CEDH.

A. Construction d'un nouveau jeu de données (ECtHR Dataset)

Les auteurs ont identifié des erreurs factuelles dans les jeux de données précédents (Chalkidis et al., 2019a, 2021), notamment la mauvaise étiquetage de cas irrecevables ou de cas avec des violations « implicites » comme des « non-violations ».

• Collecte : Scraping de la base de données HUDOC jusqu'en décembre 2025 (~390k cas).
• Nettoyage : Filtrage rigoureux pour exclure les cas irrecevables, les cas où la violation est ambiguë, et les documents non anglais.
• Résultat : Un jeu de données équilibré de 3 146 cas (1 573 violations, 1 573 non-violations), centré sur les articles 6 (droit à un procès équitable) et 8 (droit au respect de la vie privée et familiale) de la Convention européenne des droits de l'homme.

B. Techniques d'interprétabilité évaluées

Deux méthodes agnostiques au modèle représentant des familles distinctes d'extraction de rationales ont été comparées :

1. MaRC (Masked Rationale Creation) : Une approche basée sur l'optimisation qui apprend un masque pour remplacer les parties non informatives du texte tout en préservant la prédiction du modèle. Elle vise à satisfaire trois contraintes : suffisance, exhaustivité et compacité.
2. ISR (Flexible Instance-Specific Rationale Extraction) : Une approche par ensemble (ensemble) qui combine diverses méthodes d'attribution de caractéristiques (Attention, Integrated Gradients, LIME, DeepLift, etc.) pour identifier les segments les plus importants.

C. Évaluation Quantitative et Qualitative

• Métriques de fidélité (Quantitative) :
  • Suffisance normalisée (NormSuff) : Mesure si les rationales extraites suffisent à maintenir la confiance du modèle.
  • Exhaustivité normalisée (NormComp) : Mesure la dégradation de la performance si les rationales sont retirées.
  • Impact sur le F1-score : Évaluation de la performance du classifieur sur les rationales seules (Suff-F1) ou sans rationales (Comp-F1).
• Évaluation par Experts (Qualitative) :
  • Deux experts juridiques (Expert A et Expert B) ont évalué 10 cas.
  • Expert A a extrait manuellement les rationales pertinentes à partir des faits (sans connaître la conclusion finale du tribunal).
  • Expert B a évalué les rationales extraites par MaRC, ISR et Expert A selon deux critères globaux : Support (les extraits soutiennent-ils la conclusion ?) et Suffisance (les extraits sont-ils suffisants pour conclure à une violation ?).
• Évaluation LLM-as-a-Judge :
  • Trois LLMs (Llama-3.1-70B, Mixtral-8x7B, Gemma-2-27B) ont été utilisés pour reproduire l'évaluation d'Expert B, en configuration zero-shot et few-shot.

3. Résultats Clés

A. Performance des modèles de classification

Le modèle LEGAL-BERT a atteint un score F1 de 0,77. Cependant, la détection des violations de l'article 6 s'est révélée plus difficile que celle de l'article 8, probablement en raison de la complexité procédurale.

B. Dissonance entre Fidélité et Plausibilité

• Fidélité technique : MaRC a obtenu les meilleurs scores de fidélité (NormSuff et NormComp), suggérant que ses extraits sont statistiquement suffisants pour que le modèle maintienne sa prédiction.
• Plausibilité juridique : Les experts ont rejeté la grande majorité des rationales extraites par les modèles.
  • Pour ISR, 9 cas sur 10 ont échoué aux critères de support et de suffisance.
  • Pour MaRC, 7 cas sur 10 ont échoué.
  • Cause principale : Les extraits sont souvent des fragments brisés (noms sans verbes, dates isolées, phrases coupées) qui manquent de contexte et de cohérence narrative, contrairement aux extraits humains qui conservent des paragraphes entiers et une chronologie logique.

C. Évaluation par LLM-as-a-Judge

• Les LLMs ont montré un accord « raisonnable » (Kappa de Cohen entre 0,2 et 0,4) avec les experts humains dans certaines configurations few-shot.
• Cependant, les intervalles de confiance sont larges et les jugements des LLMs sont incohérents d'un document à l'autre.
• Conclusion : Les LLMs actuels ne sont pas encore fiables pour remplacer les experts humains dans l'évaluation de la qualité des rationales juridiques, en raison des risques d'hallucination et du manque de stabilité.

4. Contributions Principales

1. Nouveau Jeu de Données : Création d'un jeu de données ECtHR corrigé et équilibré, éliminant les erreurs d'étiquetage des travaux précédents qui faussaient l'évaluation des modèles.
2. Cadre d'Évaluation Holistique : Introduction d'un protocole combinant des métriques de fidélité automatique et une évaluation rigoureuse par des experts juridiques, mettant en lumière l'écart entre la performance mathématique et la pertinence juridique.
3. Analyse Critique des Techniques : Démonstration que les techniques d'extraction de rationales les plus « fidèles » aux modèles (comme MaRC) ne produisent pas nécessairement des explications compréhensibles ou utiles pour les humains.
4. Évaluation de l'Automatisation : Mise en garde contre l'utilisation prématurée des LLMs comme substituts aux experts humains pour l'évaluation de l'interprétabilité dans le domaine juridique.

5. Signification et Implications

Ce travail remet en question l'utilité réelle des techniques d'explication actuelles pour les applications juridiques à haut risque. Il démontre que :

• La confiance est illusoire : Un modèle peut avoir une haute fidélité technique (ses prédictions reposent sur les extraits fournis) tout en fournissant des explications juridiquement inacceptables.
• Le besoin de nouvelles approches : Les méthodes d'interprétabilité doivent évoluer au-delà de l'extraction de fragments de texte pour capturer la structure logique et le raisonnement juridique complet.
• Limites de l'automatisation : Bien que les LLMs soient prometteurs, ils ne peuvent pas encore remplacer l'expertise humaine pour valider la qualité des explications dans des domaines complexes comme le droit international.

En résumé, l'article souligne que pour que l'IA soit véritablement « digne de confiance » (trustworthy) dans le domaine juridique, la transparence ne doit pas seulement être mathématiquement justifiée, mais aussi sémantiquement et juridiquement valide aux yeux des praticiens du droit.