Résumé Technique : De la Statut au Flux de Contrôle : Arbres Déontiques Fondés sur les Segments pour le Parsing de Portée Défaisable

1. Définition du Problème : Omission Silencieuse de Portée (SSO)

Les agents respectant des règles, conçus pour exécuter des politiques et des réglementations, échouent fréquemment par Omission Silencieuse de Portée (SSO - Silent Scope Omission). Dans ce mode de défaillance, un modèle applique une règle générale mais omet silencieusement les exceptions imbriquées, les contre-exceptions ou les clauses de dérogation. Le résultat produit semble conforme et réussit les contrôles légers, mais échoue sur les cas limites critiques où les clauses de « défaisance » (par exemple, « sauf si », « excepté », « à condition que ») déterminent l'issue finale.

Bien que cela soit souvent présenté comme un problème de systèmes agentiques, les auteurs identifient le goulot d'étranglement sous-jacent comme étant la compréhension statutaire et de politique, spécifiquement la capacité à récupérer la structure non monotone des textes juridiques où des clauses ultérieures restreignent les précédentes. Les benchmarks NLP juridiques existants (ex. LexGLUE, LegalBench) mettent généralement l'accent sur les résultats de tâches finales (QA, entailment, prédiction de jugement). Ces métriques peuvent récompenser une décision finale correcte même lorsque le modèle échoue à récupérer la structure interne de portée/dérogation, masquant ainsi les omissions structurelles qui causent la SSO.

2. Méthodologie : NormBench et SG-DT

2.1 Benchmark NormBench

Pour diagnostiquer et atténuer la SSO, les auteurs introduisent NormBench, un benchmark comprenant 2 290 éléments de langage de disposition à travers trois domaines :

• NormBench-ZH : Dispositions statutaires codifiées chinoises (lois nationales, règlements administratifs, politiques locales).
• NormBench-EN : Règles anglaises issues du droit fiscal américain, du RGPD de l'UE et de politiques d'entreprise.
• Cross-lingual : Paires de traductions officielles ZH–EN pour tester l'invariance structurelle.

Le jeu de données est organisé de l'état contrôlé (statuts codifiés) vers l'état « in-the-wild » (politiques opérationnelles) et inclut 1 790 dispositions sous-jacentes uniques. Il est annoté avec une représentation intermédiaire spécifique conçue pour le parsing de portée défaisable.

2.2 Arbres Déontiques Fondés sur les Segments (SG-DT)

La contribution méthodologique centrale est le SG-DT, une représentation intermédiaire (IR) de type compilateur qui ancre chaque branche logique à des segments de texte sources immuables. Contrairement à la génération libre standard, le SG-DT impose quatre contraintes de conception :

1. Auditabilité fondée sur les segments : Chaque nœud est un pointeur vers un segment de texte spécifique, permettant une cartographie déterministe vers les signatures en aval.
2. Décidabilité sous la défaisance : Les exceptions sont compilées en Gardes d'Exclusion Explicites. Une branche de règle générale inclut explicitement une feuille d'exclusion pointant vers le déclencheur de l'exception, garantissant que la règle ne s'applique que si l'exception n'est pas rencontrée. Cela empêche l'omission silencieuse de la portée terminale.
3. Évaluation Déterministe : La structure supporte un scoring structurel exact et une compilation en procédures de décision exécutables.
4. Apprentissage (Learnability) : La représentation est dense et adaptée au seq2seq, évitant les ontologies réservées aux experts.

Détails du Schéma :

• Branches ($B_i$) : Définies par une Ancre (segment déclencheur), une Modalité (ex. Obligation, Prohibition), un Arbre de Condition ($C$), et des Effets ($E$).
• Défaisance : Gérée via une Politique d'Exclusion Explicite. Si une règle possède un déclencheur d'exception $T$, la branche générale inclut une feuille d'exclusion ($\neg T$), et la branche d'exception inclut $T$ comme une précondition positive. Cela assure la disjointure logique ($B_{gen} \land B_{exc} \equiv \text{False}$) sans règles de priorité heuristiques.
• Profondeur de Récursion ($D$) : Définie par la longueur de la chaîne de défaisance induite par l'exclusion (ex. $D \ge 2$ pour des exceptions imbriquées).

3. Contributions Clés

1. NormBench & SG-DT : Un benchmark standardisé et une IR pour évaluer la récupération de la structure de portée dans les textes juridiques, couvrant 2 290 éléments à travers des domaines contrôlés et opérationnels.
2. Analyse de Pathologie : Identification de deux barrières clés pour les agents juridiques fiables :
   • Le Goulot d'Étranglement de la Récursion : Dégradation des performances pilotée par la profondeur logique (exceptions imbriquées) plutôt que par la longueur du contexte.
   • Le Piège de l'Auditabilité : Les modèles récupèrent les segments pertinents avec une grande fidélité mais échouent à assembler le flux de contrôle correct (attachement des exceptions).
3. Intervention Spécifique au Mécanisme : Démonstration que l'utilité du SG-DT est conditionnelle. Il améliore significativement les résultats dans les cas actifs en exceptions/sujets à la SSO où le résultat dépend d'un défaisant, mais les gains agrégés peuvent être mitigés ou négatifs lorsque la structure ajoutée est inutile ou que la fidélité du parser est faible.

4. Résultats Expérimentaux

4.1 Récupération de la Structure Intrinsèque (Parsing SG-DT)

Les évaluations des LLM de pointe (ex. GPT-5.2, DeepSeek-V3.2, Claude-Opus-4.5) révèlent un Écart de Fondement Structurel (Structure-Grounding Gap) :

• Haute Fidélité, Faible Logique : Les modèles atteignent une haute SpanFaith (0.77) et une faible hallucination, mais un faible Edge-F1 (0.24). Ils peuvent « citer » la règle mais échouent à câbler correctement les exceptions.
• Le Paradoxe du Domaine : Les LLM généralistes de pointe surpassent significativement les LLM juridiques spécialisés (ex. ChatLaw, LawGPT). Les modèles de domaine juridique souffrent d'échecs de fondement catastrophiques (Edge-F1 ~0.04), suggérant que leur entraînement privilégie la fluidité conversationnelle plutôt qu'une discipline rigoureuse de pointeur fondé sur les segments.
• Décroissance de la Récursion : La performance chute brutalement lorsque la profondeur du défaisant augmente ($D \ge 2$). Par exemple, l'Edge-F1 de GPT-5.2 passe de 0.22 ($D=0$) à 0.07 ($D \ge 2$).

4.2 Isomorphisme Cross-Lingual

Sur les paires bilingues (ZH–EN), les modèles produisent souvent des arbres logiques structurellement différents pour la même disposition malgré une qualité monolingue similaire.

• Iso-F1 < 0.40 : Même lorsque la Tree-ES (similarité d'édition) est modérée, les arbres ZH et EN sont rarement isomorphes.
• Ambiguïté de Traduction : De petites différences dans la manière dont les indices de portée (ex. « unless » vs « provided that ») sont rendus peuvent inverser l'attachement d'un défaisant à une condition, créant un risque de « divergence de flux de contrôle ».

4.3 Utilité Aval (Raisonnement Statutaire)

L'utilisation du SG-DT comme sortie intermédiaire contrainte améliore la fidélité de l'arbre complet et la récupération des défaisants, mais les bénéfices sont spécifiques au mécanisme :

• Cas Actifs en Exceptions : Le SG-DT apporte des gains clairs (ex. +4.2% sur LegalBench pour DeepSeek-V3.2) lorsque les faits de l'affaire déclenchent une exception active.
• Cas Simples : Dans les cas sans défaisants actifs, ajouter la structure SG-DT peut introduire une surcharge ou dégrader les performances (ex. GPT-4o-mini subit une baisse d'exactitude).
• Recursive-CoT : Combiner le SG-DT avec un Chain-of-Thought récursif ne permet pas d'améliorer systématiquement l'exactitude et peut parfois annuler les gains en dérivant de la frontière de décision nette.

5. Signification et Revendications

L'article affirme que le principal mode de défaillance des agents juridiques n'est pas un manque de récupération ou de fluidité, mais un échec à matérialiser les exceptions imbriquées au sein du flux de contrôle.

• Valeur Diagnostique : NormBench et SG-DT fournissent une couche de diagnostic nécessaire qui sépare les échecs de récupération des échements de raisonnement, isolant spécifiquement la pathologie de l'« Omission Silencieuse de Portée ».
• Auditabilité : En ancrant chaque branche logique dans des segments de texte immuables et en imposant des gardes d'exclusion explicites, le SG-DT permet une compilation et un audit déterministes, s'attaquant à la nature « boîte noire » du raisonnement juridique actuel des LLM.
• Utilité Pragmatique : Les auteurs revendiquent modestement que le SG-DT n'est pas une solution universelle prête à l'emploi. Sa valeur est maximale dans les scénarios à enjeux élevés et riches en exceptions, où le coût de la SSO est élevé. Pour les règles plus simples, la surcharge structurelle peut ne pas être justifiée.

Ce travail positionne le SG-DT comme une représentation intermédiaire orientée vers l'agent qui comble le fossé entre le texte statutaire brut et les procédures de décision exécutables et auditables, allant au-delà de l'extraction de composants de surface pour atteindre une modélisation explicite de la portée défaisable.