Résumé technique : DRIP-R

Énoncé du problème

Alors que les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines à haut risque tels que le commerce de détail, la santé et la finance, les benchmarks existants échouent à évaluer leurs performances dans des conditions d'ambiguïté réelle des politiques. Les évaluations actuelles des agents reposent généralement sur des politiques « clairement spécifiées », étroites et sans ambiguïté, conçues spécifiquement pour le benchmark. Cependant, les politiques de domaine réelles (par exemple, la politique de retour d'Amazon) sont souvent incomplètes, contiennent des hypothèses implicites et admettent plusieurs interprétations valides.

Ce fossé crée un angle mort critique dans l'évaluation : lorsque des valeurs légitimes entrent en conflit (par exemple, la satisfaction client par rapport à la conformité réglementaire), aucune résolution unique « correcte » n'existe. Les organisations humaines naviguent dans cette situation grâce à des garde-fous institutionnels (discrétion, escalade, précédents), mais les agents LLM peuvent manquer de mécanismes comparables, exploitant potentiellement des failles ou produisant des résultats non intentionnels tout en apparaissant conformes à la politique. L'article postule que l'ambiguïté constitue un défi systématique pour la prise de décision des LLM que les benchmarks actuels ne capturent pas.

Méthodologie

Construction du benchmark (DRIP-R)

Les auteurs introduisent DRIP-R (Decision-making and Reasoning In ambiguous Policy for Retail), un benchmark ancré dans la politique de retour publiquement disponible d'Amazon. Le processus de construction implique :

1. Extraction de l'ambiguïté : Utilisation de LLM (GPT-4.1) et d'experts humains pour identifier et vérifier les ambiguïtés de la politique selon une taxonomie incluant la vaguité, l'ambiguïté sémantique, l'ambiguïté référentielle, l'incomplétude et l'ambiguïté de coordination.
2. Génération de tâches : Création de 40 tâches uniques de « Retour de commande » dont la résolution dépend d'au moins une clause de politique ambiguë. Chaque tâche implique des détails spécifiques sur le produit, des délais et des circonstances client.
3. Intégration de personae :
   • Personae utilisateurs : 10 personae distincts dérivés de l'ensemble de données Persona-Hub, enrichis de traits de personnalité Big Five, de styles de communication (direct/indirect, rapport/rapport) et de styles linguistiques.
   • Personae agents : 5 personae d'agents distincts (Direct, Équitable, Agréable, Serviable, Très serviable) basés sur le cadre Big Five pour tester comment la disposition de l'agent influence les résultats.
4. Environnement de simulation : Une simulation conversationnelle full-duplex modélisée comme un processus de décision de Markov partiellement observable décentralisé (Dec-POMDP). L'agent interagit avec un utilisateur simulé, utilisant des capacités d'appel d'outils (par exemple, get_order_details) pour rassembler des faits avant de prendre des décisions. La conversation se termine une fois la résolution obtenue, en cas d'abandon par l'utilisateur ou à l'atteinte d'une limite de tours (20 tours).

Cadre d'évaluation

DRIP-R remplace les métriques de succès binaires par un cadre d'évaluation multidimensionnel utilisant une approche « LLM-as-a-Judge ». Cinq juges parallèles (utilisant GPT-5) évaluent les conversations selon quatre dimensions principales, chacune comportant des sous-métriques :

1. Conformité à la politique : Mesure si les messages de l'agent et la résolution finale sont ancrés dans le texte de la politique fourni (justifiables, pas nécessairement « corrects »). Comprend une justification par tour et un soutien du résultat de la résolution.
2. Qualité du dialogue : Évalue la compétence conversationnelle, y compris la cohérence, la progression logique vers la résolution et la verbosité.
3. Alignement comportemental : Évalue si les agents et les utilisateurs agissent de manière cohérente avec leurs personae assignés et leurs valeurs implicites (basées sur la théorie des valeurs de Schwartz : Conformité, Bienveillance, Auto-direction, Sécurité, Universalisme, Pouvoir).
4. Résolution de la tâche et alignement des intérêts :
   • Résolution de la tâche : Le résultat répond-il à la demande spécifique de l'utilisateur et aux contraintes ?
   • Alignement des intérêts : Mesure l'équilibre entre la satisfaction des objectifs du client et la protection des intérêts de l'entreprise.

Calibration : Les juges sont calibrés par rapport à des annotations humaines (3 experts) en utilisant l'échantillonnage Few-Shot préservant la distribution (DPFS) et G-Eval afin de minimiser les biais et maximiser l'accord adjacent (accord à un point près sur une échelle de 5 points).

Contributions clés

1. Benchmark DRIP-R : Le premier benchmark open-source spécifiquement conçu pour évaluer les agents LLM dans des scénarios réalistes de retours en commerce de détail caractérisés par une ambiguïté de politique. Il utilise des politiques réelles multi-documents à haute complexité linguistique (niveau scolaire Flesch-Kincaid ~11,89), contrairement aux benchmarks antérieurs qui utilisent des règles simplifiées sur un seul document.
2. Infrastructure d'évaluation multidimensionnelle : Une nouvelle pipeline de simulation et d'évaluation qui évalue les agents non seulement sur l'accomplissement de la tâche, mais aussi sur la conformité à la politique, l'alignement comportemental avec les personae et les compromis entre les intérêts du client et ceux de l'entreprise.
3. Analyse empirique de l'ambiguïté : Une étude systématique révélant comment différents LLM raisonnent, interagissent et prennent des décisions dans l'ambiguïté, soulignant que l'ambiguïté est un défi réel et systématique.

Résultats

Les auteurs ont évalué quatre modèles (deux open-source : gpt-oss-120b, Qwen3-35B-A3B ; deux uniquement via API : gpt-5, gpt-4.1) sur 400 scénarios (40 tâches × 10 personae).

• Désaccord fondamental : Les modèles de pointe sont fondamentalement en désaccord sur des scénarios ambigus identiques. Seuls 4,2 % des scénarios ont abouti à un accord total (tous les modèles convergeant vers la même résolution), tandis que 13,3 % ont abouti à un désaccord total (chaque modèle produisant un résultat distinct).
• Trajectoires de conformité à la politique : La conformité à la politique est généralement élevée au début des conversations mais diverge à mesure que la conversation progresse. Des modèles comme Qwen3-35B et gpt-oss-120b ont montré une divergence significative entre leur raisonnement déclaré et leurs résolutions finales, en particulier dans les résultats accordant un remboursement. GPT-5 a maintenu une conformité uniformément élevée, quel que soit le résultat.
• Impact des personae :
  • Personae utilisateurs : Les personae utilisateurs très extravertis et névrosés étaient associés à des résultats favorisant les objectifs du client par rapport aux intérêts de l'entreprise. Des personae plus agréables étaient corrélés à un meilleur alignement avec les intérêts de l'entreprise.
  • Personae agents : Les personae d'agents ancraient de manière fiable les résultats. Les agents DIRECT ont systématiquement produit les taux de refus les plus élevés, tandis que les agents VERY_HELPFUL ont produit les plus faibles. Cependant, l'alternative spécifique au refus (par exemple, remboursement intégral par rapport à l'escalade) variait selon le modèle.
• Types d'ambiguïté : Différents types d'ambiguïté (par exemple, l'ambiguïté de coordination) orientent systématiquement les agents vers des stratégies différentes. L'ambiguïté de coordination s'est révélée particulièrement difficile pour les agents à résoudre de manière cohérente avec leur raisonnement déclaré.

Importance et affirmations

L'article affirme que DRIP-R établit une fondation pour la construction de systèmes d'IA responsables opérant dans l'ambiguïté inhérente des politiques réelles. En démontrant que les modèles de pointe actuels manquent de consensus sur des tâches ambiguës, les auteurs soutiennent que l'ambiguïté n'est pas un cas limite mineur, mais une difficulté centrale dans le déploiement d'agents.

Le travail met en évidence que :

• Les benchmarks actuels abstraient la « difficulté centrale » du déploiement réel.
• L'ambiguïté entraîne des défis systématiques dans la prise de décision, où les agents peuvent produire des résultats techniquement valides mais non intentionnels.
• L'évaluation des agents nécessite de dépasser le succès binaire pour comprendre comment ils interprètent l'ambiguïté, justifient leurs décisions et équilibrent les intérêts concurrents des parties prenantes.

Les auteurs notent modestement des limites, notamment l'accent actuel mis sur le domaine du commerce de détail (bien que le cadre soit généralisable) et la dépendance à un document de politique principal. Ils identifient l'extension du benchmark à d'autres domaines à haut risque (compagnies aériennes, santé, juridique) et les tests sur un ensemble plus large de modèles comme des voies directes pour les travaux futurs.