Résumé technique : Raisonnement déontique avec harnais agentiques (DAR)

Énoncé du problème

Le raisonnement déontique consiste à répondre à des questions en appliquant des règles et des politiques explicites à des faits spécifiques à un cas, une capacité cruciale pour les domaines à enjeux élevés tels que le calcul de l'impôt, les appels d'immigration et la conformité aux politiques. Le principal défi technique dans ce domaine réside dans la nature des ensembles de règles : les lois sont souvent longues, fortement référencées entre elles et contiennent des dispositions où la plupart sont non pertinentes pour un cas spécifique, tandis que les obligations sont qualifiées par des définitions et des exceptions situées ailleurs dans le texte.

Les paradigmes d'évaluation actuels placent généralement l'ensemble de la loi, les faits du cas et la question dans un seul prompt, exigeant que le modèle identifie et applique les règles pertinentes en une seule passe. Cependant, des travaux récents sur la recherche agentique suggèrent que les modèles gèrent plus efficacement les corpus longs lorsqu'ils peuvent les rechercher à l'aide d'outils à usage général (par exemple, grep, sed, commandes shell) plutôt que de les recevoir comme un contexte statique. Il reste une question ouverte pour savoir si cet avantage de la « recherche agentique » s'étend au raisonnement déontique, où la tâche ne consiste pas seulement à la récupération, mais au raisonnement fondé sur les règles récupérées.

Méthodologie

Les auteurs introduisent le Raisonnement Agentique Déontique (DAR), un cadre où la loi n'est pas fournie comme un contexte statique mais est placée à la place d'un fichier (statute.txt) au sein d'un environnement de harnais. Le modèle interagit avec ce fichier à la demande en utilisant des outils à usage général.

Configuration expérimentale

• Jeux de données : L'évaluation est menée sur les sous-ensembles difficiles de DeonticBench, couvrant quatre tâches :
  • SARA (Numérique) : Calcul numérique de la responsabilité fiscale (impôt fédéral américain).
  • SARA (Binaire) : Classification binaire d'implication statutaire.
  • Airline : Application des politiques de frais de bagages.
  • USCIS-AAO : Prédiction de l'issue d'un appel d'immigration.
• Modèles : L'étude évalue neuf modèles, incluant des modèles propriétaires de pointe (GPT-5.1, GPT-5.2, Claude Sonnet 4.5) et des modèles open-source (famille Qwen3.5, Qwen3-Coder, Kimi K2).
• Harnais : Les auteurs comparent la Résolution Directe (contexte statique) à deux harnais agentiques orchestrés par le framework Harbor :
  • Terminus-2 : Un harnais d'agent basé sur un terminal où le modèle opère de manière autonome dans un bac à sable via une session tmux interactive.
  • Terminus-KIRA : Un harnais amélioré construit sur Terminus-2, conçu pour atténuer des modes de défaillance spécifiques observés chez les modèles de pointe, tels que la soumission prématurée, les signaux de complétion erronés et la fragilité de l'ajustement de plan.

Résultats clés

Les expériences révèlent une divergence marquée de performance basée sur la capacité du modèle :

1. Les modèles de pointe en bénéficient : Les modèles propriétaires (GPT-5.2, Claude Sonnet 4.5, GPT-5.1) montrent des améliorations significatives sous les harnais agentiques, particulièrement sur les tâches numériques.

   • Sur SARA-Numeric, GPT-5.2 est passé de 30 % (Direct) à 60 % (Terminus-KIRA).
   • Claude Sonnet 4.5 est passé de 36 % à 54 %.
   • Ces modèles exploitent le harnais pour effectuer une récupération auto-dirigée et se rétablir des erreurs intermédiaires, débloquant ainsi les capacités latentes de lecture de lois.

2. Les modèles open-source déclinent : L'échafaudage même qui aide les modèles de pointe provoque une dégradation significative des performances des modèles open-source, surtout sur les tâches numériques.

   • Qwen3.5-35B est tombé de 34 % à 11 % sur SARA-Numeric sous Terminus-KIRA.
   • Qwen3.5-122B est tombé de 37 % à 20 %.
   • Sur la tâche Airline, chaque modèle open-source s'est effondré vers une précision proche de zéro sous Terminus-2 et Terminus-KIRA, malgré des bases non négligeables en résolution directe.

3. Consommation de tokens et modes d'erreur :

   • Les harnais agentiques augmentent considérablement la consommation de tokens. Les modèles open-source sous Terminus-2 ont consommé jusqu'à 4 fois plus de tokens par essai que les modèles de pointe (par exemple, Qwen3.5-122B a consommé en moyenne 401k tokens contre environ 100k pour les modèles de pointe).
   • Au lieu d'un arrêt intelligent, les modèles plus faibles semblent utiliser les tours supplémentaires pour générer des réponses plus longues, plus assurées, mais incorrectes.
   • L'analyse des erreurs montre que les modèles open-source souffrent principalement de délais d'attente dépassés (exédant le budget de 10 minutes) et d'échecs d'analyse syntaxique, tandis que les modèles de pointe restent largement exempts d'erreurs à travers les harnais.

Contributions

Le papier présente trois contributions principales :

1. Cadre DAR : L'introduction du Raisonnement Agentique Déontique, une configuration où les agents accèdent aux lois à la demande via un harnais plutôt qu'en tant que contexte statique.
2. Comparaison systématique : Une évaluation complète de DAR par rapport au prompting direct à travers un spectre de modèles de pointe et open-source sur DeonticBench.
3. Effets dépendants de la capacité : La démonstration que l'efficacité des harnais agentiques n'est pas uniforme ; ils agissent comme des amplificateurs de capacité pour les modèles de pointe mais peuvent dégrader les performances des modèles plus faibles tout en gonflant les coûts de calcul.

Signification et affirmations

Le papier affirme que les harnais agentiques repoussent les limites sur les tâches de raisonnement déontique les plus difficiles mais ne constituent pas une solution universelle. Les conclusions soutiennent l'« Hypothèse des Génies Mal Gérés », suggérant que les modèles capables possèdent des capacités latentes pour naviguer dans des règles complexes qui ne sont débloquées que lorsqu'ils disposent d'un accès interactif aux outils. Inversement, pour les modèles plus faibles, le harnais agit comme un « amplificateur de confiance », menant à des sorties plus verbeuses mais moins précises.

Les auteurs mettent en garde contre l'hypothèse selon laquelle fournir un accès aux outils améliore uniformément les performances. Ils soulignent que pour les modèles plus faibles, les harnais peuvent produire des erreurs confiantes tout en consommant substantiellement plus de calcul. Par conséquent, ils déconseillent le déploiement des LLM actuels, avec ou sans harnais agentiques, en tant que décideurs autonomes dans des contextes juridiques ou fiscaux à enjeux élevés, notant que même les modèles de pointe n'atteignent qu'une précision partielle sur ces tâches.

L'étude est limitée au domaine de DeonticBench (fiscalité américaine, immigration, politiques aériennes) et aux implémentations spécifiques de harnais. Les auteurs notent que pour des ensembles de règles substantiellement plus longs (par exemple, l'intégralité du Code des impôts des États-Unis), l'approche actuelle basée sur les fichiers pourrait ne pas passer à l'échelle efficacement sans coupler DAR avec des systèmes de recherche plus avancés.