Résumé technique : Confidantement erroné : Effondrement de la chaîne d'exceptions dans l'évaluation des règles par les LLM frontières

1. Énoncé du problème

L'article identifie un mode de défaillance spécifique et systématique des grands modèles de langage (LLM) frontières, nommé « effondrement de la chaîne d'exceptions ». Cela se produit lors de tâches d'évaluation d'éligibilité impliquant des règles conditionnelles imbriquées de la forme : « A est requis À MOINS QUE B ne s'applique, À MOINS QUE C n'annule B. »

Bien que les LLM frontières soient performants sur des logiques à trajets multiples simples (par exemple, le simple embranchement par OU), leurs performances se dégradent considérablement lorsqu'ils doivent évaluer des chaînes d'exceptions à plusieurs niveaux (spécifiquement trois niveaux de profondeur). L'article documente deux modèles de défaillance distincts :

1. Ancrage de l'exemption (Exemption Anchoring) : Le modèle traite les exemptions comme secondaires au trajet principal. Si le trajet principal échoue, le modèle s'« ancre » sur cet échec et ne parvient pas à évaluer de manière indépendante les autres voies d'exemption valides.
2. Effondrement de la chaîne d'exceptions (Exception Chain Collapse) : Le modèle ne parvient pas à imbriquer correctement la logique À MOINS QUE à plusieurs niveaux, confondant souvent des voies d'exemption indépendantes (par exemple, traiter une exemption de « vétéran » comme dépendante d'une exemption d'« âge »).

L'instabilité centrale : Une conclusion critique est que la précision des modèles frontières sur ces tâches est une « frontière de conformité mouvante ». Entre mars et avril 2026, des cellules d'échec spécifiques dans les benchmarks se sont fermées silencieusement sous le même alias de modèle (par exemple, GPT-5.4 et Claude Opus 4.6) sans changement de version. Cela rend les affirmations de précision lors des benchmarks peu fiables pour les flux de travail réglementés où la cohérence est obligatoire.

2. Méthodologie

Les auteurs proposent et évaluent le Module d'Éligibilité Aethis, une architecture neuro-symbolique conçue pour séparer l'élaboration des règles de leur exécution.

L'architecture

• Phase 1 : Rédaction automatisée des règles (LLM) : Un LLM lit les sources juridiques faisant autorité (législation, directives de politique) et génère des règles sous forme de code structuré dans un langage spécifique au domaine (DSL) contraint. Cette phase inclut une chaîne de provenance où chaque règle générée est liée à des citations de sources spécifiques (ID du document, chemin de section, citation directe).
• Phase 2 : Le Module d'Éligibilité (Moteur déterministe) : Le DSL généré est compilé en contraintes de satisfaction de la théorie (SMT). Un solveur SMT évalue ensuite ces contraintes par rapport aux données structurées du demandeur.
  • Mécanisme clé : Le moteur traite chaque voie d'éligibilité comme une branche booléenne formellement indépendante combinée par disjonction (OU). Il évalue ces branches de manière déterministe, indépendamment de la dérive du modèle, de l'effort de raisonnement ou du format du prompt.

Conception du benchmark

Les auteurs ont construit un benchmark de 225 scénarios répartis sur quatre domaines :

1. Life in the UK : Législation réelle sur l'immigration britannique (British Nationality Act 1981).
2. Maîtrise de la langue anglaise : Directives réelles sur l'immigration au Royaume-Uni.
3. Certification de l'engin spatial : Un statut synthétique modélisé sur la structure législative du Royaume-Uni avec des chaînes d'exceptions à trois niveaux.
4. Assurance construction : Formulation de police synthétique modélisée sur les clauses DE3/DE5 du marché de Londres avec des chaînes d'exceptions à cinq niveaux.

Le benchmark a été évalué contre huit LLM (quatre frontières, quatre de niveau production) d'Anthropic et d'OpenAI, comparant leurs performances au module d'éligibilité déterministe.

3. Contributions clés

1. Taxonomie des modèles de défaillance

L'article caractérise formellement l'« effondrement de la chaîne d'exceptions » et l'« ancrage de l'exemption » comme des erreurs systématiques dans l'évaluation des chaînes d'exceptions imbriquées. Ces défaillances sont montrées comme étant :

• Compositionnelles : Elles proviennent de la profondeur de la logique (trois niveaux) plutôt que d'un manque de connaissances juridiques.
• Robustes au prompting : L'amélioration du prompting (par exemple, « réfléchissez étape par étape », « évaluez les exemptions indépendamment ») ne parvient pas à corriger le problème ; elle échange plutôt des faux négatifs contre des faux positifs, réduisant la précision nette.
• Instables : Les points de défaillance spécifiques se déplacent silencieusement entre les mises à jour de modèles, rendant les modèles frontières peu fiables pour les décisions à enjeux élevés et critiques pour l'audit.

2. Le Module d'Éligibilité Aethis

L'article présente un système neuro-symbolique qui déplace l'incertitude de la frontière d'inférence (où elle est silencieuse et continue dans les LLM) vers la frontière de spécification (où elle est délibérée et auditée).

• Garantie : La couche d'exécution fournit des sémantiques mathématiquement définies. Si le paquet de règles est correctement formalisé, l'exécution est 100 % cohérente avec la spécification.
• Auditabilité : Chaque détermination inclut une chaîne de provenance liant le résultat directement à la clause législative spécifique et au chemin logique suivi.

3. Preuves empiriques

• Résultats du benchmark : Le Module d'Éligibilité a atteint 100 % de précision sur l'ensemble des 225 scénarios.
• Performance des LLM : Les modèles frontières ont montré une dégradation significative sur les tâches de chaîne d'exceptions. Par exemple, dans l'instantané de mars 2026, Claude Opus 4.6 a obtenu 89,7 % sur la section de l'engin spatial (61/68), avec 7 scénarios spécifiques échouant 0/3 fois sur des exécutions indépendantes.
• Extension adversaire : Dans une extension adversaire v3.8 (20 nouveaux scénarios d'assurance construction), le moteur déterministe a obtenu un score de 20/20. Alors que certains modèles frontières atteignaient 100 % sur la suite originale, ils ont échoué sur les cas adverses plus profonds (par exemple, Claude Opus 4.7 a échoué 2/20, GPT-5.4 par défaut a échoué 1/20).
• Validation externe : Sur 949 cas testés sur neuf tâches de LegalBench, le Module d'Éligibilité était nettement plus précis que trois modèles frontières (McNemar's $p \le 0,003$ combiné), avec les marges les plus importantes (+41 points de pourcentage) sur les tâches d'application de règles à multiples branches.

4. Signification et revendications

L'article ne prétend pas que les LLM sont généralement peu fiables ou qu'ils ne peuvent pas être utilisés pour le raisonnement juridique. Il formule plutôt une revendication modeste et spécifique :

• Relocalisation de l'incertitude : La principale contribution est architecturale. En utilisant les LLM pour l'élaboration (où leur fluidité est un atout) et les solveurs SMT pour l'exécution (où le déterminisme est requis), le système rend l'incertitude traitable. L'incertitude est déplacée vers l'étape de formalisation des règles (Niveau 2), qui peut être gérée via une validation pilotée par les tests et une revue par des experts métier, plutôt que de rester dans l'étape d'inférence (Niveau 3), où elle est silencieuse et inobservable.
• Défendabilité réglementaire : Pour les domaines à enjeux élevés (immigration, assurance, certification de sécurité) où les faux négatifs privent de droits et où l'explicabilité est obligatoire, la couche d'exécution déterministe offre une propriété que les LLM frontières ne peuvent pas garantir : l'invariance. Un paquet de règles compilé produit le même résultat aujourd'hui que dans six mois, indépendamment des changements silencieux des poids du modèle sous-jacent.
• Limites : Les auteurs précisent explicitement que le système garantit la correction de l'exécution d'une spécification, et non la correction de la spécification elle-même. La qualité du paquet de règles dépend de la capacité du LLM à formaliser le texte source (Niveau 2), ce qui est atténué mais non éliminé par la validation pilotée par les tests. Le système nécessite actuellement des entrées structurées et ne gère pas l'extraction de documents non structurés.

En résumé, l'article soutient que pour l'évaluation des chaînes d'exceptions imbriquées dans les flux de travail réglementés, l'exécution formelle déterministe est une condition nécessaire à la confiance, et que les architectures neuro-symboliques offrent une voie viable pour y parvenir sans sacrifier l'utilité des LLM pour l'extraction de règles.