💬 NLP

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

Cet article propose une architecture d'apprentissage multi-tâches à porte sensible au juge (Judge-Aware Gated Multi-Task Learning), efficace en termes de paramètres et interprétable, qui surpasse les modèles génératifs de grande échelle pour prédire les issues des tribunaux du travail au Royaume-Uni en distinguant explicitement le mérite factuel des affaires de la discrétion judiciaire grâce à une taxonomie fine et un mécanisme de fusion par porte.

Auteurs originaux : Stanisław Sójka, Felix Steffek, Matthias Grabmair

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stanisław Sójka, Felix Steffek, Matthias Grabmair

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Pourquoi les juges décident-ils différemment ?

Imaginez que vous essayiez de prédire l'issue d'une affaire juridique. Vous disposez de deux informations principales :

Les Faits : Ce qui s'est réellement passé (l'« histoire »).
Le Juge : Qui siège au tribunal (le « décideur »).

Dans de nombreux systèmes juridiques, en particulier le Tribunal de prud'hommes du Royaume-Uni, une affaire peut se terminer de deux manières très différentes :

La voie du « Fond » (Merit) : Le juge lit l'histoire, pèse les preuves et décide qui a raison ou tort en fonction des faits.
La voie « Technique » : Le juge rejette immédiatement l'affaire en raison d'une erreur administrative, d'un délai dépassé ou d'un manque de compétence juridictionnelle. Le juge ne regarde même pas l'histoire.

Le problème des modèles d'IA actuels est qu'ils traitent souvent ces deux voies comme étant la même chose. Ils essaient de deviner l'issue en lisant simplement le texte, ignorant le fait que l'identité du juge importe beaucoup lorsque la décision repose sur des règles techniques ou sur la discrétion personnelle.

La solution : Un « Interrupteur Intelligent » pour l'IA

Les auteurs ont conçu un nouveau type d'architecture d'IA appelée Apprentissage Multi-Tâches à Porte Sensible au Juge (Judge-Aware Gated Multi-Task Learning). Pour comprendre comment cela fonctionne, utilisons quelques analogies.

1. Le système à « deux voies » (La taxonomie)

D'abord, les chercheurs ont réalisé que les issues juridiques ne sont pas simplement « Gagné » ou « Perdu ». Ils ont créé une carte détaillée (une taxonomie) avec 11 catégories différentes.

Analogie : Imaginez un système de triage hospitalier. Au lieu de dire simplement « Malade » ou « Pas malade », ils distinguent entre « Jambe cassée » (nécessite un plâtre), « Grippe » (nécessite du repos) et « Mauvais rendez-vous » (renvoyer chez soi).
Comment cela aide : En apprenant à l'IA à reconnaître ces 11 « types » de conclusions spécifiques (comme le « Rejet » pour les délais dépassés par rapport à la « Victoire sur le fond » pour un argument solide), l'IA apprend à séparer les faits de l'affaire des règles techniques du tribunal.

2. L'« Interrupteur à Porte » (L'innovation centrale)

C'est la partie la plus importante. Les chercheurs ont doté l'IA d'une « porte » ou d'un « interrupteur » spécial qui contrôle à quel point elle écoute l'identité du juge.

L'analogie : Imaginez un videur à l'entrée d'un club.
- Scénario A (Rejet technique) : Si vous n'avez pas de ticket (une erreur technique), le videur ne se soucie pas de savoir qui vous êtes. Vous êtes expulsé immédiatement. L'« Interrupteur du Juge » est sur OFF. L'IA ignore le nom du juge car la règle est stricte.
- Scénario B (Basé sur le fond) : Si vous avez un ticket, mais que le videur est de mauvaise humeur ou a un style spécifique de vérification d'identité, votre identité peut compter davantage. L'« Interrupteur du Juge » est sur ON. L'IA prête attention à l'historique du juge pour voir s'il a tendance à être strict ou indulgent.
La Magie : L'IA apprend à activer ou désactiver cet interrupteur automatiquement selon le cas. Elle ne suit pas aveuglément le nom du juge ; elle n'utilise cette information que lorsque le cas est ambigu ou repose sur la discrétion du juge.

3. Le « Moteur Hybride » (Comparaison d'architecture)

Le document teste trois façons de construire cette IA, en utilisant un très grand modèle de langage (Gemma-4) comme moteur :

La méthode par « Prompt » (SFT Génératif) : Cela revient à demander à l'IA : « Voici l'histoire, et voici le nom du juge. Que se passe-t-il ? ». L'IA essaie d'écrire la réponse dans un flux de texte unique.
- Résultat : Elle s'embrouille. Le « Juge » et l'« Histoire » se mélangent dans le flux de texte, et l'IA peine à les séparer. C'est comme essayer de mélanger de l'huile et de l'eau dans une seule tasse ; ils ne se mélangent pas bien.
La méthode « Structurée » (Discriminative) : Cette méthode utilise un cerveau plus petit et spécialisé (ModernBERT) qui est conçu spécifiquement pour la classification.
- Résultat : Cela fonctionne bien, mais ce n'est pas aussi puissant qu'un gros moteur.
La méthode « Hybride » (La Gagnante) : Elle prend le puissant gros moteur (Gemma-4) mais ne lui demande pas d'écrire la réponse. Au lieu de cela, elle utilise le moteur uniquement pour comprendre l'histoire, puis transmet cette compréhension à une « tête structurée » spécialisée qui utilise l'Interrupteur à Porte pour décider à quel point elle doit écouter le juge.
- Résultat : C'est cette méthode qui a gagné. Elle a atteint la précision la plus élevée (65,21 % sur une échelle difficile) tout en utilisant 10 fois moins de paramètres entraînables que la méthode par « Prompt ».

Points clés à retenir

La Structure l'emporte sur la Taille : Vous n'avez pas besoin d'un modèle massif et coûteux qui essaie de tout faire à la fois. Une structure intelligente qui sépare les « faits » de l'« influence du juge » fonctionne mieux que de simplement injecter plus de données dans un modèle géant.
Le Contexte compte : L'IA a appris que pour certains cas (erreurs techniques), le juge n'importe pas. Pour d'autres (litiges complexes), le style du juge est un indice majeur. L'« Interrupteur à Porte » permet à l'IA de savoir quand regarder le juge et quand l'ignorer.
L'Explicabilité : Parce que l'IA possède une « porte » spécifique pour le juge, nous pouvons réellement voir quand elle a décidé d'écouter le juge. Cela rend l'IA transparente. Nous pouvons auditer le système pour voir s'il est équitable ou s'il repose trop sur les particularités d'un juge spécifique.

L'essentiel

Le document prouve que pour prédire les issues juridiques avec précision, on ne peut pas simplement donner à l'IA une histoire et un nom. Il faut lui apprendre comment utiliser ce nom. En construisant un système qui décide dynamiquement quand l'identité du juge est pertinente, les chercheurs ont créé un modèle qui est plus précis, plus efficace et plus facile à comprendre que les méthodes précédentes.

Résumé Technique : Vers une Explicabilité de la Variance Adjudicative

Problématique

Les systèmes de prédiction des issues juridiques font face à un défi fondamental : dissocier les faits objectifs de l'affaire du contexte adjudicatif. Si les décisions fondées sur le fond reposent sur des preuves factuelles, les décisions techniques dépendent souvent de la discrétion judiciaire. Les approches existantes, en particulier les modèles de classification de texte standards et les modèles de langage génératifs (LLM), traitent souvent l'identité du juge comme une caractéristique statique ou ne parviennent pas à modéliser explicitement les voies fonctionnelles distinctes des décisions juridiques (fond vs procédure). De plus, les méthodes actuelles peinent à capturer l'interaction nuancée entre les règles de procédure et la détermination des faits dans des juridictions spécifiques comme le Tribunal du Travail du Royaume-Uni (UKET), où les issues ne sont pas monolithiques et dépendent fréquemment de la discrétion administrative plutôt que du fond juridique substantiel.

Méthodologie

Les auteurs proposent une architecture de Apprentissage Multi-Tâches (MTL) à Porte Sensible au Juge (Judge-Aware Gated MTL) conçue pour modéliser explicitement la distinction entre les voies de décision fondées sur le fond et celles non fondées sur le fond. La méthodologie est structurée autour de trois composantes clés :

1. Taxonomie Juridique Fine (DCO)

Pour superviser l'encodeur et imposer une régularisation structurelle, les auteurs introduisent une taxonomie de Résultat de Cas Détaillé (DCO) comprenant 11 catégories fines. Ce schéma distingue entre :

Issues Fondées sur le Fond : Décisions évaluant les faits de l'affaire et le fond juridique (ex. : Victoire/Défaite Substantielle, Jugement par Défaut).
Décisions Non Fondées sur le Fond : Décisions mettant fin aux affaires sur des motifs techniques sans examiner les faits sous-jacents (ex. : Rejet de la demande/Strike Out, Hors Délai/Out of Time).
Issues Mixtes : Affaires impliquant des combinaisons de conclusions sur le fond et de décisions techniques.
Ces étiquettes servent de cibles de supervision auxiliaires et de prototypes sémantiques pour le mécanisme d'attention, agissant comme un « curriculum juridique » pour régulariser l'encodeur partagé.

2. Fusion à Porte Sensible au Juge (Judge-Aware Gated Fusion)

Au lieu de concaténer naïvement les plongements (embeddings) des juges, l'architecture utilise un mécanisme de Fusion à Porte (Gated Fusion). Ce module agit comme un commutateur de fiabilité dynamique :

Il apprend une activation de porte scalaire $g_k \in (0, 1)$ pour chaque étiquette de résultat $k$ .
La porte détermine la dépendance vis-à-vis de l'embedding du juge appris ( $v_j$ ) en fonction de la caractéristique textuelle ( $c_k$ ).
Le mécanisme « consulte » sélectivement l'identité du juge lorsque les preuves textuelles sont ambiguës ou discrétionnaires (ex. : décisions complexes sur le fond) tout en supprimant l'influence du juge pour les décisions techniques claires (ex. : Rejets de la demande).
Cette conception permet au modèle d'apprendre la dépendance spécifique à l'issue vis-à-vis du contexte judiciaire, fournissant un signal interprétable sur les moments où la variance adjudicative influence la prédiction.

3. Comparaisons Architecturales (Les « Voies »)

L'article mène une comparaison contrôlée entre trois régimes architecturaux utilisant le squelette Gemma-4 26B-A4B et une ligne de base ModernBERT :

D-Track (Discriminative) : Une architecture basée sur ModernBERT avec LWAN (Label-Wise Attention Network), MTL et fusion à porte.
G-Track (Generative SFT) : Une ligne de base générative où l'identité du juge et la supervision DCO sont injectées sous forme de jetons de prompt et de cibles de sortie via un ajustement fin supervisé (SFT) avec LoRA.
B-Track (Hybride) : Une approche hybride utilisant l'encodeur Gemma-4 mais conservant la tête discriminative structurée (LWAN + Fusion à Porte + MTL). Cela isole l'interface de conditionnement comme variable, testant si une composition structurée surpasse une composition par prompt.

Résultats Clés

Évalués sur 13 937 décisions du Tribunal du Travail du Royaume-Uni, l'étude présente les conclusions suivantes :

Performance : L'architecture hybride (B2, encodeur Gemma-4 adapté par LoRA + tête structurée) atteint un nouveau niveau de l'état de l'art avec un Macro-F1 de 65,21. Cela représente une amélioration de +5,1 points par rapport à la variante SFT générative la plus forte (G4).
Efficacité de la Composition : Les résultats démontent que la composition au niveau du prompt de l'identité du juge et de la supervision fine est sous-additive (combiner les signaux dans la G-track produit des rendements décroissants). En revanche, le routage des mêmes signaux via des composants architecturaux différentiables (B-track) produit une composition additive, augmentant significativement la performance.
Efficacité des Paramètres : Le modèle hybride B2 atteint une précision supérieure tout en entraînant environ un ordre de grandeur de paramètres en moins que les lignes de base de SFT génératif.
Gains Spécifiques aux Classes : Les améliorations se concentrent sur les classes les plus ambiguës et rares (Victoires Partielles et Autres). Par exemple, B2 améliore le score F1 de « Autres » de 0,273 (G4) à 0,411.
Interprétabilité : Les embeddings de juges appris et les activations de porte permettent de localiser les cas où le contexte adjudicatif conduit la prédiction. Les interventions contrefactuelles de permutation de juges montrent que B2 se conditionne plus activement sur l'identité du juge (divergence KL plus élevée) que les modèles génératifs, particulièrement pour les décisions discrétionnaires.
Calibration : L'architecture structurée produit une meilleure erreur de calibration attendue (ECE) par rapport aux lignes de base génératives, indiquant des estimations de probabilité plus fiables.

Signification et Revendications

L'article soutient que pour la classification d'issues juridiques conditionnée par l'identité, le choix de l'interface de conditionnement domine l'échelle. Spécifiquement :

Structuré vs Basé sur le Prompt : La composition structurée différentiable (apprentissage des embeddings de juges et fusion via des portes) produit des modèles plus précis et plus efficaces en paramètres que la composition basée sur le prompt, même lorsque cette dernière utilise un squelette (backbone) substantiellement plus large.
Désenchevêtrement : L'architecture proposée parvient à désenchevêtrer les faits objectifs de l'affaire de la discrétion judiciaire, fournissant une piste d'audit claire pour l'explicabilité.
Heuristique de Conception : Ce travail suggère une heuristique de conception plus large pour l'ajustement fin efficace en paramètres : les variables nécessitant un contrôle ou un audit rigoureux (comme l'identité du juge) doivent être modélisées comme des paramètres apprenables exposés au gradient et fusionnés via une attention structurée, plutôt que d'être absorbées dans la distribution d'entrée comme des jetons de prompt.
Spécificité Juridictionnelle : Les auteurs notent que leurs conclusions sont adaptées à l'UKET, où les identités des juges sont préservées et les décisions procédurales sont fréquentes, mais que le principe de « remèdes routés par le gradient » pour les goulots d'étranglement compositionnels peut s'étendre à d'autres domaines impliquant une classification hiérarchique conditionnée par l'identité.

Les auteurs maintiennent une position modeste, reconnaissant des limites telles que la dépendance à l'extraction de taxonomie assistée par LLM (introduisant un plancher de bruit de type « silver-standard »), l'utilisation de jugements écrits finaux plutôt que de dossiers bruts (potentiel de rationalisation post-hoc), et l'évaluation sur un seul jeu de données et une seule famille de LLM. Ils soulignent que leur objectif est l'analyse diagnostique de l'équité systémique plutôt que la création d'outils pour la stratégie de litige appliquée.