💻 computer science

Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization

Cet article introduit Gavel, un cadre d'évaluation complet comprenant des composants d'agents basés sur des références et sans référence, pour évaluer 12 LLM de pointe sur la synthèse juridique à contexte long, révélant que les modèles ont tendance à omettre des informations clés plutôt qu'à halluciner, peinent avec les détails complexes à mesure que la longueur du contexte augmente, et que l'approche basée sur des agents réduit considérablement l'utilisation de jetons tout en maintenant des performances compétitives.

Auteurs originaux : Yao Dou, Benjamin Mamut, Wei Xu

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yao Dou, Benjamin Mamut, Wei Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge essayant d'examiner une affaire juridique massive. Il ne s'agit pas d'un simple document ; c'est une pile de papiers si épaisse qu'elle donne l'impression de lire cinq romans à la fois, contenant plus de 100 000 mots de recours juridiques, de motions et de décisions. Votre tâche est d'écrire un résumé court et clair de ce qui s'est passé.

Maintenant, imaginez que vous avez une équipe de robots super intelligents (des modèles de langage étendus, ou LLM) qui prétendent pouvoir lire toute cette pile en quelques secondes et rédiger ce résumé pour vous. Le document sur lequel vous travaillez, GAVEL, est essentiellement un « bulletin de notes » et une « nouvelle façon de noter » pour voir si ces robots font réellement du bon travail.

Voici la décomposition de ce que les chercheurs ont trouvé et comment ils l'ont testé, en utilisant des analogies simples :

1. Le Problème : La « Aiguille dans une Botte de Foin »

Les robots sont testés sur des affaires qui sont incroyablement longues. C'est comme demander à un robot de résumer toute une bibliothèque en ne regardant que les livres pendant quelques secondes seulement. Les chercheurs voulaient savoir : Est-ce que ces robots lisent réellement toute la bibliothèque, ou est-ce qu'ils se contentent de parcourir les premières pages et de deviner le reste ?

2. La Solution : Le Système de Notation GAVEL

Les auteurs ont construit un système appelé GAVEL pour noter les robots. Il possède deux parties principales, comme deux manières différentes de vérifier les devoirs d'un élève :

GAVEL-REF (La méthode du « Corrigé ») :
Imaginez qu'un expert humain ait écrit le résumé parfait de l'affaire. GAVEL-REF compare le résumé du robot à ce « standard d'or » humain.
- La Liste de Contrôle : Il vérifie si le robot a mentionné des faits spécifiques, comme « Qui a poursuivi qui ? » ou « Quand l'affaire a-t-elle été déposée ? » (Comme vérifier si un élève a répondu à chaque question d'un quiz).
- Les Faits « Restants » : Parfois, le robot ajoute des détails intéressants qui ne figurent pas sur la liste de contrôle. GAVEL vérifie si ces détails sont réellement vrais ou si le robot les a inventés.
- Le Contrôle du Style : Il évalue également la façon dont le résumé semble. Est-ce qu'il se lit comme une histoire fluide, ou ressemble-t-il à une liste à puces désordonnée ?
GAVEL-AGENT (La méthode du « Détective ») :
Parfois, vous n'avez pas de « Corrigé » humain pour comparer. Alors, GAVEL-AGENT agit comme un détective. Au lieu de lire toute la pile de papiers d'un coup (ce qui est coûteux et lent), il donne au robot un ensemble d'outils.
- Le robot peut dire : « J'ai besoin de chercher la date de dépôt », et il utilise un outil pour sauter directement à cette page.
- Il peut dire : « J'ai besoin de lire la motion », et il ouvre juste ce fichier.
- Il construit le résumé pièce par pièce, comme un détective rassemblant des indices, plutôt que d'essayer d'avaler toute la bibliothèque en une seule bouchée.

3. Les Grandes Découvertes : Ce que les Robots ont Raté

Lorsque les chercheurs ont testé 12 robots de haut niveau différents sur ces affaires juridiques massives, ils ont découvert certaines choses surprenantes :

Ils oublient plus qu'ils ne mentent : Le plus gros problème n'était pas que les robots inventaient des faits faux (hallucinations). Le plus gros problème était qu'ils oubliaient des détails importants. C'est comme un élève qui écrit un résumé mais oublie la partie la plus importante de l'histoire parce qu'il est fatigué ou qu'il a sauté une page.
Les faits « rares » sont difficiles : Les robots étaient très bons pour trouver des choses faciles, comme « Quand l'affaire a-t-elle commencé ? ». Mais ils avaient du mal avec des éléments rares ou complexes, comme « Ont-ils réglé l'affaire ? » ou « Quel était l'accord final ? ». Ces éléments étaient souvent manquants.
Affaires plus longues = Scores plus bas : À mesure que la pile de papiers devenait plus épaisse (passant de 32 000 à 512 000 mots), les robots devenaient moins performants. Même les robots les plus intelligents commençaient à manquer plus de détails à mesure que la tâche devenait difficile.
L'approche « Détective » permet d'économiser : La méthode GAVEL-AGENT (le détective qui cherche des indices) était beaucoup plus efficace. Elle a utilisé 36 % à 77 % de « tokens » en moins (ce qui revient à utiliser moins d'électricité ou d'argent) que les méthodes qui essayaient de tout lire à la fois, tout en obtenant une bonne note.

4. La Vérification Humaine (Méta-évaluation)

Pour s'assurer que leur système de notation (GAVEL) était équitable, les chercheurs ont passé 160 heures à faire noter le travail des robots par des humains. Ils ont constaté que leur système automatisé était très précis et pouvait être utilisé pour noter de futurs robots sans avoir besoin de faire tout le travail par des humains à chaque fois.

5. Cela fonctionne-t-il ailleurs ?

Les chercheurs ont testé la méthode « Détective » (GAVEL-AGENT) sur des revues médicales (de longs rapports sur des traitements de santé). Elle a fonctionné tout aussi bien que là, économisant encore plus de ressources (77 % de tokens en moins) tout en trouvant les bons faits. Cela prouve que la méthode n'est pas seulement pour les avocats ; c'est un outil général pour lire de longs documents.

Résumé

En bref, GAVEL est une nouvelle façon de tester si l'IA peut lire des documents très longs et compliqués. L'étude a révélé que, bien que l'IA actuelle soit douée pour la lecture, elle a tendance à omettre des détails importants plutôt qu'à inventer des choses, surtout lorsque les documents sont énormes. Cependant, une nouvelle approche de type « détective », où l'IA recherche des faits spécifiques un par un, est une façon beaucoup plus intelligente et économique de gérer ces tâches massives.

Résumé Technique : GAVEL – L'Agent rencontre la Liste de Contrôle pour l'Évaluation des LLM sur la Synthèse Juridique à Long Contexte

Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) modernes supportent désormais des fenêtres de contexte allant jusqu'à 1 million de jetons, leur efficacité dans les tâches complexes de synthèse multi-documents à long contexte reste incertaine. Plus précisément, la synthèse de cas juridiques présente un défi unique : un litige peut comprendre des dizaines de documents (ex. : plaintes, requêtes, décisions) totalisant plus de 100 000 jetons, dépassant parfois le million. Contrairement à la synthèse de l'actualité ou de romans, où les informations clés sont souvent séquentielles ou proches du début, la synthèse juridique nécessite d'intégrer des arguments interconnectés à travers plusieurs documents tout en maintenant la chronologie, en présant les relations entre les parties et les décisions, et en garantissant l'exactitude des références croisées. Les méthodes d'évaluation actuelles échouent souvent à capturer les nuances de la couverture factuelle et la fiabilité des évaluateurs automatiques dans ce domaine.

Méthodologie

Les auteurs introduisent GAVEL, un cadre d'évaluation complet composé de deux composantes complémentaires : GAVEL-REF (basé sur une référence) et GAVEL-AGENT (sans référence).

1. GAVEL-REF : Évaluation Basée sur Référence

GAVEL-REF évalue les synthèses des modèles par rapport à des références rédigées par des experts en utilisant trois mesures distinctes :

Évaluation par Liste de Contrôle (Checklist) : Utilise 26 éléments de liste conçus par des experts (ex. : date de dépôt, parties, recours sollicités). Contrairement à une simple correspondance de chaînes de caractères, le cadre extrait les valeurs et le texte de support sous forme de listes, permettant un crédit partiel et la gestion des éléments multi-valeurs. Il classifie les relations (égales, inclusion, différentes) pour calculer la précision, le rappel et le score F1.
Évaluation des Faits Résiduels : Reconnaissant que 78 % des synthèses humaines contiennent des faits importants non couverts par la liste de contrôle prédéfinie (moyenne de 6,8 faits par synthèse), cette composante extrait des « faits résiduels » atomiques à partir de segments de texte non couverts par les valeurs de la liste. Ceux-ci sont comparés entre la synthèse du modèle et celle de l'humain pour capturer les informations omises.
Évaluation du Style d'Écriture : Un juge LLM évalue la similitude entre la synthèse du modèle et la référence humaine selon cinq dimensions (Lisibilité/Jargon, Ordre Narratif, Structure de Phrase, Formatage, Style de Citation) sur une échelle de Likert de 1 à 5.

Ces composantes sont agrégées en un score unique ( $S_{GAVEL-REF}$ ) pondéré par la couverture de contenu ( $\alpha=0,9$ ) et l'importance relative des faits résiduels ( $r$ ).

2. GAVEL-AGENT : Échafaudage d'Agent Sans Référence

Pour répondre au coût élevé de la collecte de synthèses d'experts, GAVEL-AGENT est un agent sans référence conçu pour extraire directement les éléments de la liste de contrôle à partir des documents sources.

Navigation par Outils : L'agent est équipé de six outils (list_documents, read_document, search_document_regex, get_checklist, append_checklist, update_checklist) pour naviguer stratégiquement dans de longues collections de documents, imitant le comportement d'un expert humain (survol, recherche, mise à jour).
Gestion du Contexte : Pour gérer les contextes longs (256K+ jetons) et les nombreux appels d'outils, l'agent rafraîchit son contexte après chaque action, ne conservant que les 5 réponses complètes les plus récentes et compressant le reste de l'historique.
Configurations : Les auteurs ont testé des configurations à agent unique, multi-agents (groupés) et 26 agents (un par élément) pour déterminer la stratégie d'extraction optimale.

3. Méta-Évaluation

Pour valider la fiabilité de GAVEL, les auteurs ont mené une méta-évaluation systématique impliquant 160 heures d'annotation humaine. Cela comprenait 5 442 annotations au niveau de l'élément de la liste, 450 jugements de comparaison, 281 extractions de faits résiduels et 375 évaluations de style. Ce jeu de données a été utilisé pour évaluer les performances de divers LLM agissant comme évaluateurs au sein du cadre GAVEL-REF.

Contributions Clés

Cadre GAVEL : Un nouveau système d'évaluation combinant évaluation par liste, faits résiduels et évaluation de style pour la synthèse juridique à long contexte, ainsi qu'un échafaudage d'agent sans référence pour l'extraction directe basée sur les documents.
Méta-Évaluation à Grande Échelle : Un ensemble de données de 160 heures d'annotations humaines démontrant que GAVEL-REF peut atteindre une précision comparable aux modèles de pointe (comme GPT-5) en utilisant des modèles open-source puissants (ex. : GPT-oss, Qwen3), prouvant la faisabilité d'une évaluation automatique rentable.
Benchmarking Complet : Une évaluation de 12 LLM de pointe (propriétaires et open-source) sur 100 cas juridiques récents (2025) couvrant 18 domaines variés et cinq échelles de longueur (32K à 512K jetons).
Démonstration de Généralisabilité : L'adaptation réussie de GAVEL-AGENT au domaine médical (revues Cochrane), montrant la transférabilité au-delà du droit.

Résultats

Performance des LLM sur la Synthèse Juridique

Omission vs Hallucination : Les modèles actuels sont nettement plus enclins à omettre des informations clés qu'à halluciner un contenu incorrect. La précision surpasse systématiquement le rappel à travers les modèles.
Performance de la Liste de Contrôle : Même le modèle le plus performant, Gemini 2.5 Pro, n'a atteint que 59,1 de F1 sur l'évaluation de la liste (66,6 de précision, 55,3 de rappel). Les modèles performent bien sur les éléments simples à valeur unique (ex. : date de dépôt), mais peinent avec les éléments multi-valeurs rares et complexes (ex. : règlements, affaires connexes).
Sensibilité à la Longueur : La performance se dégrade à mesure que la longueur du cas augmente. Le F1 de la liste de Gemini 2.5 Pro a chuté d'environ 10 % en passant de cas de 32K à 512K jetons. Les modèles open-source ont subi une dégradation plus marquée sur les cas longs en raison des limites de contexte et de la troncature.
Faits Résiduels : GPT-4.1 et GPT-5 étaient les seuls modèles à capturer plus de faits résiduels que les synthèses humaines (ratio résiduel > 11 %), bien que GPT-5 produise des synthèses verbeuses de type "liste" plutôt que narratives.

Efficacité de GAVEL-AGENT

Réduction de Jetons : GAVEL-AGENT a obtenu des performances compétitives tout en utilisant 36 à 54 % de jetons en moins que les méthodes d'extraction de bout en bout ou par blocs dans le domaine juridique.
Domaine Médical : Dans le domaine médical, GAVEL-AGENT a obtenu les meilleures performances tout en utilisant au moins 77 % de jetons en moins que les méthodes de référence.
Architecture d'Agent : Une configuration utilisant 26 agents individuels (un par élément de la liste) a surpassé un agent unique extrayant tous les éléments conjointement, suggérant que la spécialisation par élément aide à naviguer dans les longs dossiers.

Signification et Revendications

L'article affirme que GAVEL fournit une solution robuste, évolutive et rentable pour évaluer la synthèse à long contexte, répondant aux limites des travaux antérieurs qui reposaient lourdement sur la vérification manuelle ou de simples mesures n-gramme. En démontant que les LLM actuels échouent principalement par omission plutôt que par hallucination, ce travail met en évidence un domaine spécifique d'amélioration pour les modèles. De plus, le succès de GAVEL-AGENT suggère que les échafaudages basés sur des agents peuvent efficacement remplacer les références humaines coûteuses pour l'extraction de listes de contrôle, rendant l'évaluation de haute qualité accessible pour les domaines où les synthèses d'experts sont indisponibles. Les auteurs soulignent que leur travail se concentre sur l'évaluation plutôt que sur l'amélioration directe des modèles de synthèse, laissant le développement de modèles conditionnés par les listes de contrôle extraites comme travail futur.