Reason Less, Verify More: Deterministic Gates Recover a Silent Policy-Violation Failure Mode in Tool-Using LLM Agents

Résumé Technique : Raisonner Moins, Vérifier Plus

Problème : Échecs de violation de politique silencieux
L'article identifie un mode de défaillance spécifique et à enjeux élevés dans les agents de modèles de langage (LLM) utilisant des outils : les violations de politique silencieuses. Dans de nombreux environnements réalistes (plus précisément le domaine aérien de $\tau^2$-bench), les outils sont « permissifs vis-à-vis de la politique ». Cela signifie qu'un outil exécutera n'importe quel appel syntaxiquement valide, même si l'action viole les politiques du domaine (par exemple, annuler un billet non remboursable ou modifier un nombre de passagers immuable).

Contrairement aux erreurs « bruyantes » où un outil rejette un appel et renvoie une exception, ces violations entraînent un état erroné silencieux. La base de données est corrompue, la tâche échoue, mais l'agent ne reçoit aucun signal d'erreur et peut rapporter le succès avec assurance. Comme la trace interne de l'agent ne contient aucune indication de la violation, il ne peut pas s'auto-corriger. Les auteurs soutiennent qu'il s'agit principalement d'un problème de confiance et de fiabilité plutôt que d'un pur déficit de capacité ; l'agent ne parvient pas à appliquer les règles de politique avant de muter l'état, et l'environnement ne parvient pas à les faire respecter.

Méthodologie : Portes de pré-exécution déterministes
Pour remédier à cela, les auteurs proposent une intervention légère : des portes de pré-exécution déterministes en lecture seule.

• Mécanisme : Avant qu'un appel d'outil de mutation ne soit exécuté, une porte inspecte les arguments proposés et l'état actuel de la base de données par rapport à un codage explicite et déterministe d'une règle de politique de domaine.
• Fonctionnement : La porte est une fonction pure (sans appels LLM, sans écritures) qui renvoie soit autoriser (allow) soit rejeter (reject) avec une raison structurée. Si elle est rejetée, l'appel de l'outil est interrompu, et l'agent reçoit un message de rejet structuré, forçant une replanification.
• Portée : Les portes opèrent sur des politiques décidables par l'état (règles exprimables sous forme de prédicats déterministes sur l'état actuel et les arguments). Elles ne tentent pas de résoudre l'ambiguïté ou d'interpréter des documents de politique en langage naturel au moment de l'exécution ; elles appliquent des règles déjà encodées dans le code.
• Implémentation : Les auteurs ont implémenté une suite de quatre portes pour le domaine aérien :
  1. cancellation_eligibility (éligibilité à l'annulation) : vérifie la classe tarifaire, le délai, l'assurance et les segments volés.
  2. baggage_allowance (autorisation de bagages) : valide les mises à jour de bagages par rapport aux règles de cabine/adhésion.
  3. passenger_count (nombre de passagers) : bloque les tentatives de modification du nombre de passagers (immuable).
  4. must_read_before_write (doit lire avant d'écrire) : garantit qu'un agent a lu un enregistrement avant d'écrire dedans.

Configuration Expérimentale

• Benchmark : Le domaine aérien $\tau^2$-bench (50 tâches).
• Modèles :
  • Niveau Budget : gpt-4o-mini (5 essais par tâche, 250 essais au total).
  • Niveau Frontière : gpt-5.2 (raisonnement par défaut, 5 essais par tâche, non répliqué).
• Contrôles : Les contrôles négatifs incluaient un domaine de vente au détail (où les outils sont auto-protecteurs) et le benchmark BFCL (où les erreurs sont typiquement bruyantes ou basées sur le schéma).
• Métriques : pass1 (succès moyen) et pass_k (probabilité que tous les $k$ essais indépendants réussissent, mesurant la fiabilité). La signification statistique a été évaluée via un rééchantillonnage bootstrap apparié.

Résultats Clés

1. Amélioration Globale : Sur le modèle à budget (gpt-4o-mini), la suite des quatre portes a augmenté le succès pass1 de 29,6 % à 42,0 % (+12,4 points de pourcentage). Cette amélioration était statistiquement significative ($P=0,0012$).
2. Réplication : L'augmentation a été reproduite sur un ensemble de réplication disjoint de 15 graines (+12,3 pp, $P=0,0008$), confirmant que le résultat n'est pas un bruit d'échantillonnage.
3. Concentration de l'Effet : L'amélioration est concentrée là où les portes s'activent réellement. Sur les 26 tâches où les portes se sont activées, le succès a augmenté de +19,2 pp. Sur les 24 tâches où les portes ne se sont jamais activées, l'amélioration était négligeable (+5,0 pp, l'intervalle de confiance inclut zéro).
4. Fiabilité (pass_k) : Les portes ont considérablement amélioré la cohérence. Alors que le pass5 vanilla (succès sur les 5 essais) est tombé à 8,0 %, la version avec portes a maintenu 26,0 % (plus de 3 fois le taux vanilla).
5. Preuve de la Frontière : Sur gpt-5.2, les mêmes portes ont amélioré le succès de 61,2 % à 71,6 % (+10,4 pp). Cependant, les auteurs notent qu'il s'agit d'une preuve suggestive uniquement (non répliquée, $n=5$), bien que cela confirme que le mode de défaillance persiste dans les modèles plus puissants.
6. Contrôles Négatifs :
   • Domaine Retail : Les portes n'ont apporté aucun bénéfice (et une légère estimation négative) car les outils de vente au détail imposent déjà les préconditions, rendant la classe de « état erroné silencieux » inexistante.
   • BFCL : Les portes se sont activées zéro fois, car les erreurs étaient typiquement des décalages de schéma bruyants plutôt que des violations de politique silencieuses.

Contributions et Revendications
L'article présente quatre contributions spécifiques :

1. Caractérisation de la Défaillance : Identifie les « violations de politique silencieuses sur des outils permissifs vis-à-vis de la politique » comme une défaillance de confiance distincte où l'agent viole la politique, l'outil exécute, et aucun signal d'erreur n'est généré.
2. Intervention Déterministe : Implémente et évalue des portes de pré-exécution en lecture seule qui vérifient les appels de mutation par rapport à des prédicats décidables par l'état.
3. Résultat Empirique Répliqué : Démontre une augmentation reproductible du succès des tâches sur le domaine aérien $\tau^2$-bench en utilisant une suite de quatre portes.
4. Analyse des Limites : Montre que le mécanisme n'est efficace que lorsque les outils sont permissifs vis-à-vis de la politique et que les politiques sont décidables par l'état. Il n'apporte que peu de valeur là où les outils s'auto-imposent ou là où les tâches n'induisent pas de violations de politique.

Signification et Limites
Les auteurs présentent cela comme un résultat d'évaluation et de fiabilité borné, et non comme une solution générale à la sécurité des agents.

• Signification : Ce travail démontre que dans les environnements permissifs vis-à-vis de la politique, la vérification déterministe à la frontière de l'action peut récupérer une fraction mesurable des échecs silencieux, transformant une corruption silencieuse en un rejet explicite dont l'agent peut potentiellement se remettre. Il souligne que le succès de la tâche et la sécurité ne sont pas toujours en tension ; bloquer une écriture interdite peut améliorer l'état final de la tâche.
• Limites :
  • Le résultat est basé sur un seul domaine positif (aérien) ; la généralité est une conjecture soutenue par des contrôles négatifs.
  • Les portes ne garantissent pas la récupération de la tâche ; un agent peut boucler ou échouer à trouver un plan conforme après un rejet.
  • La qualité des portes est inégale ; une porte (cancellation_eligibility) a porté la majeure partie de l'augmentation, tandis que les autres avaient une précision plus faible.
  • La méthode nécessite que les politiques soient décidables par l'état ; elle ne peut pas gérer des règles nécessitant une interprétation juridique ou un jugement humain.
  • Les résultats du modèle de frontière sont non répliqués et doivent être traités comme une preuve de soutien plutôt que comme un ancrage statistique.

L'article conclut que les benchmarks et les harnais de déploiement doivent distinguer les erreurs « bruyantes » des états erronés « silencieux », et que la vérification déterministe reste une couche précieuse même à mesure que les capacités des modèles s'améliorent.