💬 NLP

AppellateGen: A Benchmark for Appellate Legal Judgment Generation

Ce papier présente AppellateGen, un benchmark de 7 351 paires de cas pour la génération de jugements d'appel, ainsi qu'un système multi-agents basé sur des procédures judiciaires standardisées (SLMAS) qui, bien qu'améliorant la cohérence logique, révèle les limites actuelles des grands modèles de langage face à la complexité du raisonnement en appel.

Auteurs originaux : Hongkun Yang, Lionel Z. Wang, Wei Fan, Yiran Hu, Lixu Wang, Chenyu Liu, Yu Zeng, Shenghong Fu, Lei Gong, Zhengxin Zhang, Haoyang Li, Jiexin Zheng, Xin Xu

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hongkun Yang, Lionel Z. Wang, Wei Fan, Yiran Hu, Lixu Wang, Chenyu Liu, Yu Zeng, Shenghong Fu, Lei Gong, Zhengxin Zhang, Haoyang Li, Jiexin Zheng, Xin Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que le système judiciaire est comme une grande usine de fabrication de décisions.

1. Le Problème : L'Usine qui s'arrête trop tôt

Jusqu'à présent, les chercheurs en intelligence artificielle (IA) ont surtout appris aux robots à fonctionner comme des ouvriers de première ligne.

Le scénario habituel : Un client arrive avec un problème (les faits), l'ouvrier (l'IA) regarde les règles, et produit une décision finale (le verdict). C'est ce qu'on appelle le "premier procès".
Le manque : Mais dans la vraie vie, ce n'est pas toujours fini ! Si quelqu'un n'est pas d'accord avec la décision, il fait appel. C'est là que ça devient compliqué. Le "deuxième procès" (l'appel) n'est pas juste une répétition. C'est comme si un inspecteur de contrôle qualité reprenait le travail de l'ouvrier, trouvait de nouvelles preuves, et devait dire : "Attends, tu as oublié ce détail ! On doit changer la décision."

Les anciens modèles d'IA étaient comme des ouvriers qui ne savaient pas faire ce travail d'inspecteur. Ils ignoraient la partie "appel" et le fait qu'on puisse découvrir de nouvelles preuves après le premier verdict.

2. La Solution : Le Nouveau Manuel de l'Usine (AppellateGen)

Les auteurs de ce papier ont créé deux choses révolutionnaires :

A. Le "Grand Livre des Cas d'Appel" (AppellateGen)

Ils ont collecté 7 351 paires de dossiers. Imaginez un livre où chaque page de gauche est le premier verdict, et la page de droite est ce qui s'est passé ensuite lors de l'appel (avec de nouvelles preuves, de nouveaux arguments, et le verdict final modifié ou confirmé).

Pourquoi c'est génial ? C'est la première fois qu'on a un manuel d'instructions aussi complet pour apprendre aux IA à comprendre la logique des appels, où l'on doit comparer l'ancien travail avec les nouvelles informations.

B. Le Système des "Quatre Experts" (SLMAS)

Au lieu de demander à un seul robot géant de faire tout le travail (ce qui le fait souvent halluciner ou inventer des choses), ils ont créé une équipe de quatre agents spécialisés, suivant un procédure stricte (comme une recette de cuisine précise).

Voici les quatre étapes de cette équipe, comparées à une enquête policière :

L'Enquêteur (Identification des problèmes) : Il lit le premier verdict et les nouvelles preuves. Il dit : "Ok, le problème principal ici, c'est que le premier juge a mal compris la hauteur des dégâts."
Le Bibliothécaire (Recherche de lois) : Il va chercher dans la bibliothèque des lois exactement quel article s'applique à ce problème précis. Pas de lois au hasard !
Le Juge Intérieur (Prédiction) : Avant d'écrire, il simule le verdict. "Vu les nouvelles preuves, on doit annuler la décision précédente."
Le Rédacteur (Rédaction) : Il écrit le document final en s'assurant que tout ce qui a été dit par les trois autres est respecté.

L'analogie : C'est comme si vous ne demandiez pas à un seul élève de faire tout un exposé de mémoire. Au lieu de cela, vous avez un chercheur, un expert en droit, un décideur et un rédacteur qui travaillent en chaîne. Cela évite les erreurs et les "hallucinations" (inventions).

3. Les Résultats : Qui gagne ?

Les chercheurs ont testé cette méthode sur différents modèles d'IA.

Le résultat surprenant : Les modèles d'IA "généraux" (qui savent tout faire, comme un couteau suisse) qui utilisent cette méthode en équipe ont été meilleurs que les modèles spécialisés uniquement en droit.
Pourquoi ? Parce que le droit des appels, c'est moins une question de "connaître par cœur les lois" et plus une question de logique et de comparaison. Un bon raisonnement vaut mieux qu'une simple base de données.

En résumé

Ce papier dit : "Arrêtez de demander aux IA de deviner le verdict final d'un seul coup. Donnez-leur un manuel d'appel complet et faites-les travailler en équipe, étape par étape, comme de vrais juges humains."

C'est un pas de géant pour rendre l'IA capable de comprendre la complexité, les contradictions et les nouvelles preuves qui font la vie réelle de la justice.

1. Problématique et Contexte

Le domaine de l'intelligence juridique assistée par l'IA a considérablement progressé, passant de la simple prédiction de verdicts (jugement discriminatif) à la génération de documents juridiques. Cependant, la recherche actuelle souffre de deux limitations majeures :

Perspective unidimensionnelle : La majorité des travaux se concentrent sur les jugements de première instance, modélisant une relation statique entre les faits et le verdict.
Négligence de la nature dialectique de l'appel : Les procédures d'appel (deuxième instance) sont intrinsèquement dialectiques. Elles ne se contentent pas de réitérer les faits, mais exigent une analyse comparative entre le jugement initial, les griefs de l'appelant et les nouvelles preuves éventuelles.

Dans les juridictions de droit civil (comme en Chine), les cours d'appel réexaminent les faits et peuvent admettre de nouvelles preuves, ce qui rend le processus dynamique et complexe. Les benchmarks existants ne capturent pas cette dépendance causale entre les étapes du procès, ni la complexité du raisonnement nécessaire pour identifier les erreurs de fait ou de droit commises en première instance.

2. Contribution Principale : Le Benchmark AppellateGen

Pour combler ce vide, les auteurs introduisent AppellateGen, le premier benchmark dédié à la génération de jugements d'appel (deuxième instance).

Données : Le dataset contient 7 351 paires de cas appariés, reliant les jugements de première instance à leurs résultats en appel.
Annotation fine : Contrairement aux datasets précédents, AppellateGen inclut une annotation granulaire qui identifie :
- Les points de contestation (issues).
- Les nouveaux faits et preuves introduits lors de l'appel.
- La raison du renversement (erreur de fait, mauvaise application de la loi, vice de procédure).
- Les citations légales précises utilisées pour justifier la décision.
Statistiques : Le dataset présente un déséquilibre naturel (89,3 % de confirmations, 10,7 % de renversements), reflétant la réalité judiciaire. Les documents sont longs (moyenne de ~5 000 à 5 700 caractères chinois), exigeant une capacité de contexte étendu.

3. Méthodologie : Le Système Multi-Agents Juridique (SLMAS)

Face à la difficulté des modèles de langage (LLM) à gérer les récits conflictuels et les longs contextes sans halluciner, les auteurs proposent SLMAS (Standard Operating Procedure-based Legal Multi-Agent System).

Ce système imite le Procédure Opératoire Standard (SOP) d'un juge humain, décomposant la génération en une chaîne de raisonnement séquentielle via quatre agents spécialisés :

Agent d'Identification des Questions Contestées (Analysis) : Analyse l'écart entre le jugement initial et les nouvelles preuves pour extraire les points de désaccord centraux ( $z_{issue}$ ).
Agent de Recherche Juridique (Search) : Utilise les points de désaccord pour interroger une base de connaissances juridiques et récupérer les articles de loi pertinents ( $z_{law}$ ).
Agent de Prédiction de Renversement (Predict) : Simule la délibération interne du juge pour prédire si le verdict doit être confirmé ou renversé, en générant une justification logique ( $z_{verdict}$ ).
Agent de Rédaction (Write) : Génère le document final du jugement d'appel en conditionnant la sortie sur l'ensemble de la chaîne de raisonnement ( $z$ ), assurant ainsi la cohérence logique et la conformité aux faits et lois identifiés.

Cette approche transforme la génération de texte en un problème de raisonnement multi-sauts, réduisant les hallucinations en ancrant chaque étape dans des états intermédiaires vérifiés.

4. Résultats Expérimentaux

Les expériences ont été menées sur un ensemble de test de 1 000 cas (500 confirmations, 500 renversements), évaluant des modèles généralistes (Qwen3, Gemini, GPT), des modèles spécialisés en droit et des agents multi-agents.

Performance Supérieure de SLMAS : Le cadre SLMAS améliore systématiquement les performances. Par exemple, avec le modèle Qwen3-235B, la précision de prédiction de renversement passe de 61,42 % (agent unique) à 67,24 % (SLMAS). La qualité de génération (score moyen LLM-as-a-Judge) augmente également significativement.
Capacité de Raisonnement vs. Connaissance de Domaine : Une découverte clé est que les LLM généralistes dotés de capacités de raisonnement (Chain-of-Thought) surpassent les modèles juridiques spécialisés (comme DISC-LawLLM) qui obtiennent des scores de précision inférieurs à 40 %. Cela suggère que la génération de jugements d'appel dépend davantage de la flexibilité cognitive et du raisonnement comparatif que de la simple mémorisation de corpus juridiques statiques.
Évaluation : L'évaluation utilise des métriques standard (ROUGE-L, BERTScore) et un système "LLM-as-a-Judge" (DeepSeek-V3.2) évaluant la cohérence du verdict, la fidélité des faits, l'application du droit et le raisonnement logique. Les résultats montrent que les métriques lexicales traditionnelles sont insuffisantes pour évaluer la qualité juridique réelle.

5. Signification et Impact

Changement de Paradigme : AppellateGen marque une transition de la prédiction statique de verdicts vers la génération dynamique de documents juridiques complexes, nécessitant un raisonnement dialectique.
Validation de l'Approche Multi-Agents : L'étude démontre que la décomposition des tâches juridiques complexes via des SOP multi-agents est une voie prometteuse pour améliorer la cohérence logique et réduire les hallucinations dans les domaines à haut risque.
Limites et Perspectives : Bien que SLMAS améliore les résultats, un écart persiste par rapport à l'expertise humaine (scores moyens autour de 2,5/5). Les auteurs soulignent que la modélisation de la causalité à long terme et le raisonnement dialectique complexe restent des défis majeurs pour les modèles actuels.

En conclusion, AppellateGen fournit une ressource critique pour évaluer et faire progresser l'IA juridique dans des scénarios réalistes d'appel, tandis que SLMAS offre une architecture robuste pour aborder la complexité du raisonnement judiciaire en deux instances.