Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents
Cet article propose une approche hybride qui extrait les dépendances temporelles des documents juridiques dans un graphe pour le calcul de délais par voie de code, démontrant que ce pipeline surpasse de manière significative la réponse directe par modèle de langage en termes de précision et de vérifiabilité, particulièrement en évitant les erreurs arithmétiques, tout en soulignant que l'extraction demeure la principale source d'échec.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde du droit, le temps n'est pas un simple décor ; c'est un élément structurel qui peut déterminer le sort d'une action en justice. Un dépôt juridique doit souvent être effectué avant une échéance précise, calculée à partir d'un événement de départ comme la fin d'un emploi ou un incident discriminatoire. Ces calculs sont rarement de simples opérations arithmétiques. Ils impliquent de compter les jours selon des règles statutaires strictes, de tenir compte des pauses où l'horloge s'arrête pour permettre une médiation obligatoire, et de s'ajuster aux particularités du calendrier, telles que les mois de longueurs différentes ou les années bissextiles. Si une plainte est déposée avec ne serait-ce qu'un jour de retard, elle est souvent éternellement irrecevable, quelle que soit la force du dossier. Cela crée un environnement à enjeux élevés où la différence entre le succès et l'échec se mesure en heures, alors que les documents contenant les dates nécessaires sont souvent enfouis dans une prose juridique complexe et imbriquée.
Des chercheurs de l'Université de Leyde ont cherché à résoudre une question fondamentale sur la manière dont les ordinateurs devraient traiter ce problème. Ils se sont demandé si un grand modèle de langage, le type d'intelligence artificielle capable de lire et de résumer du texte, devrait être capable de calculer ces délais directement. Ou s'il serait plus sûr de faire en sorte que l'ordinateur extraie d'abord les dates spécifiques et leurs relations à partir du texte, construise une carte structurée de ces faits, puis utilise un calculateur distinct et rigide pour effectuer le calcul ? L'équipe a construit un système qui traite le temps comme un réseau de faits connectés, où chaque date est un nœud et les règles qui les lient sont les arêtes. Ils ont testé cette approche par rapport à la méthode de réponse directe brute en utilisant de réels jugements de tribunaux du travail britanniques et un ensemble massif de cas simulés dont la réponse correcte était connue par conception.
L'étude a révélé que, bien que les modèles de langage modernes soient étonnamment doués pour lire le texte juridique, ils éprouvent des difficultés significatives lorsqu'on leur demande d'effectuer l'arithmétique précise requise pour les délais légaux. Lorsque les chercheurs ont demandé à un modèle de langage puissant de lire un cas et de produire un délai en une seule étape, le modèle se trompait souvent sur le verdict final, même lorsque ses étapes de raisonnement interne étaient correctes. Dans une découverte frappante, le modèle calculait parfois le nombre de jours exact mais se contredisait ensuite dans la phrase finale, déclarant qu'une plainte tardive était recevable. Cela s'est produit dans six cas sur vingt et un tentatives avec les modèles les plus puissants testés. L'erreur ne résidait pas dans le calcul lui-même, mais dans l'incapacité du modèle à aligner systématiquement sa conclusion finale avec le travail qu'il venait d'accomplir.
Pour tester l'approche alternative, les chercheurs ont construit un pipeline qui extrait d'abord les dates pertinentes et leurs dépendances dans un graphe, une structure visuelle où l'ordinateur peut voir comment une date mène à une autre. Un moteur déterministe distinct applique ensuite les règles juridiques strictes à ce graphe. Ce moteur ne devine pas ; il suit un ensemble fixe d'instructions pour compter les mois, gérer les années bissextiles et appliquer les pauses obligatoires pour la conciliation. Lorsque ce système structuré a été testé sur les mêmes cas réels, il a reproduit parfaitement les dates des juges et a correspondu aux verdicts des tribunaux dans six cas sur sept. Le système était si fiable que lorsqu'il ne trouvait pas de point de départ clair dans le texte, il refusait simplement de répondre et expliquait pourquoi, plutôt que de deviner.
Les chercheurs ont ensuite poussé le test plus loin en créant 427 nouveaux cas. Ils ont pris de vrais jugements et ont systématiquement décalé les dates de départ de quelques jours, franchissant la limite exacte où une plainte passerait de recevable à tardive. Cela a créé un scénario où la réponse correcte était connue avec une certitude absolue car elle était calculée par le moteur lui-même, et non par une annotation humaine. Dans ce test rigoureux, le pipeline structuré a été correct 90,2 % du temps sur les cas qu'il a tentés, tandis que les modèles de langage directs n'étaient corrects que 61,2 % du temps. La force du système structuré résidait dans sa capacité à gérer la chaîne de dépendances ; à mesure que la chaîne d'événements s'allongeait, les modèles directs devenaient de plus en plus confus, tandis que le système basé sur le graphe restait précis.
Cependant, l'étude a également identifié les limites de cette nouvelle méthode. Les erreurs du système structuré ne se situaient presque jamais dans l'arithmétique ou le calcul du délai. Au contraire, les échecs survenaient lors de la toute première étape : choisir quel événement dans le texte constituait le bon point de départ. Dans les documents juridiques complexes, plusieurs événements peuvent ressembler à des points de départ potentiels, et le système choisit parfois le mauvais. Il s'agit d'un problème de compréhension du contexte juridique, et non de calcul. Les chercheurs ont constaté que même les meilleurs modèles de langage, lorsqu'on leur demandait d'extraire ces faits, échouaient souvent à lier le bon événement à la bonne règle, suggérant que la partie la plus difficile de la tâche n'est pas le calcul, mais l'interprétation initiale de quels faits comptent.
En fin de compte, l'article démontre que pour les tâches exigeant une adhésion stricte aux règles et un calcul précis, une approche hybride est préférable. En séparant la lecture du texte de l'exécution du calcul, le système gagne une couche de fiabilité dont les modèles de langage purs sont dépourvus. Le modèle de langage agit comme un traducteur, transformant une prose juridique désordonnée en un ensemble de faits propres, tandis que le moteur agit comme un juge, appliquant la loi sans hésitation ni contradiction. Cette division du travail permet au système d'admettre quand il est incertain, fournissant une raison claire à son hésitation plutôt qu'une réponse confiante mais erronée. Les résultats suggèrent que pour les délais juridiques, où un seul jour peut tout changer, l'outil le plus efficace n'est pas un modèle qui essaie de tout faire à la fois, mais un système qui décompose le problème, vérifie son travail et sait quand s'arrêter pour demander de l'aide.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.