Résumé technique : Apprendre à faire confiance : Adaptation bayésienne à la fiabilité variable des conseillers dans la prise de décision séquentielle

Énoncé du problème

Les agents autonomes opérant dans des tâches de prise de décision séquentielle sous incertitude bénéficient souvent de suggestions d'actions externes fournies par des humains ou des systèmes automatisés. Cependant, la fiabilité de ces conseillers est rarement statique ; elle fluctue en raison de facteurs tels que la fatigue humaine, la dégradation des capteurs ou l'évolution des conditions environnementales. Les méthodes existantes pour intégrer des conseils supposent généralement que les paramètres de qualité des conseillers sont connus et statiques, une limitation qui entrave le déploiement pratique dans des scénarios réels dynamiques. De plus, les approches antérieures manquent souvent de mécanismes permettant aux agents de décider proactivement quand solliciter une guidance, laissant le moment de l'acquisition d'informations entièrement entre les mains du conseiller. Cet article aborde le défi de l'inférence dynamique de la fiabilité des conseillers et de la gestion stratégique des demandes de suggestions dans des environnements partiellement observables.

Méthodologie

Les auteurs proposent un cadre unifié basé sur les Processus de Décision Markoviens Partiellement Observables (POMDP) et les Processus de Décision Markoviens à Observabilité Mixte (MOMDP) pour gérer l'incertitude des suggestions.

1. Intégration de la fiabilité du conseiller dans les états de croyance

La contribution méthodologique centrale est le traitement de la fiabilité du conseiller comme une variable d'état cachée au sein de la représentation de croyance de l'agent.

• Extension de l'espace d'états : L'espace d'états est étendu à $S \times T$, où $S$ représente l'état environnemental et $T$ représente un ensemble discret de types de conseillers (par exemple, des coefficients de rationalité $\lambda$ variables).
• Modèle de rationalité bruitée : Le cadre utilise un modèle de rationalité bruitée où la probabilité d'une suggestion $\sigma$ étant donné l'état $s$ et le type $\lambda$ est $p(\sigma | s, \lambda) \propto \exp(\lambda Q(s, \sigma))$. Ici, $\lambda$ caractérise la qualité du conseiller, allant du hasard ($\lambda=0$) à une rationalité élevée.
• Inférence bayésienne : Les agents mettent à jour les croyances sur les états environnementaux et les types de conseillers simultanément en utilisant la règle de Bayes. La mise à jour de la croyance intègre à la fois les observations propres de l'agent et les suggestions reçues.
• Transitions dynamiques : Pour modéliser l'évolution de la fiabilité (par exemple, la fatigue de l'opérateur), les auteurs introduisent un modèle de conseiller dynamique où le type de conseiller peut transitionner entre des états avec une probabilité $t_p$. Cela permet à l'agent de réévaluer continuellement la fiabilité plutôt que de supposer un type fixe.
• Formulation MOMDP : Pour atténuer la complexité computationnelle de l'espace d'états étendu, le problème est formulé comme un MOMDP. Les types de conseillers sont placés dans le composant caché ($Y$), tandis que les états directement observables restent dans le composant entièrement observable ($X$).

2. Action stratégique « Demander »

Le cadre introduit une action explicite « Demander » ($a_{ask}$) qui permet à l'agent de solliciter activement des suggestions.

• Mécanisme : L'exécution de $a_{ask}$ provoque une suggestion du modèle de conseiller mais engendre un coût (soit une pénalité directe de récompense, soit une limite sur le nombre total de demandes autorisées).
• Implémentation : L'espace d'observations est étendu pour inclure des suggestions correspondant aux actions réalisables. L'agent utilise les valeurs état-action précalculées ($Q$) du POMDP de base pour paramétrer le modèle d'observation des suggestions.
• Contraintes : Pour prévenir une sur-dépendance ou une surcharge du conseiller, le cadre prend en charge deux contraintes : un coût direct dans la fonction de récompense et une limite stricte du nombre de demandes par essai (modélisée comme un compteur dans l'espace d'états observable).

Contributions clés

1. Inférence dynamique de la fiabilité : L'article intègre directement la fiabilité du conseiller dans l'état de croyance de l'agent, permettant une inférence continue et un calibrage adaptatif de la confiance sans supposer une qualité de conseiller statique.
2. Collecte proactive d'informations : L'introduction d'une action explicite « Demander » permet aux agents d'équilibrer stratégiquement la valeur informationnelle d'une suggestion contre son coût d'acquisition, dépassant la réception passive des conseils.
3. Robustesse face aux conditions dynamiques : En modélisant les transitions entre les types de conseillers, le cadre permet aux agents de s'adapter à une fiabilité changeante, réduisant la surconfiance envers des conseillers en dégradation.
4. Cadre unifié : L'approche combine l'inférence de fiabilité et la gestion des requêtes au sein d'un seul cadre de prise de décision séquentielle, comblant une lacune où les méthodes précédentes traitaient ces aspects comme des problèmes séparés ou statiques.

Résultats expérimentaux

Le cadre a été évalué dans les domaines Tag et RockSample en utilisant l'algorithme SARSOP.

• Conseillers statiques : Les agents maintenant des croyances sur plusieurs types de conseillers (agents Multi-Type ou MT) ont atteint des performances comparables à celles d'agents disposant d'une connaissance parfaite de la rationalité réelle du conseiller ($\lambda^*$). En revanche, les agents naïfs (ceux ne modélisant pas la fiabilité) ont subi une dégradation significative des performances lorsque la qualité du conseiller était faible.
• Conseillers dynamiques : Dans des scénarios où $\lambda^*$ changeait au fil du temps, les agents MT ont démontré une adaptation robuste. Plus précisément, les agents modélisant des transitions dynamiques ($t_p = 0,05$) ont ajusté leurs croyances et récupéré des performances proches de l'optimum significativement plus rapidement que les agents MT statiques ($t_p = 0,00$) après une dégradation de la qualité d'un conseiller.
• Demande stratégique :
  • Dans le domaine Tag avec des demandes illimitées, les agents MT ont efficacement réduit la fréquence des demandes lors de l'interaction avec des conseillers de faible qualité (par exemple, des conseillers aléatoires), ne posant des questions que lors des incertitudes initiales.
  • Dans RockSample avec un coût par demande, les agents se sont abstenus de demander des suggestions à des sources de faible qualité ($\lambda < 2$) lorsque le coût dépassait le gain informationnel.
  • Sous des contraintes strictes (une demande par essai), les agents MT se sont mieux adaptés que les agents à type fixe, bien que les performances soient restées inférieures à celles d'un agent disposant d'une connaissance parfaite.
• Conseillers heuristiques : Le cadre a exploité avec succès un conseiller basé sur des heuristiques (simulant des données de capteurs partielles) qui ne respectait pas strictement le modèle de rationalité bruitée, démontrant une robustesse face aux écarts par rapport aux mécanismes générateurs supposés.

Importance et affirmations

Les auteurs affirment que ce travail fournit une fondation pour la collaboration adaptative humain-agent en abordant l'incertitude des suggestions dans des environnements incertains. L'importance réside dans :

• Applicabilité pratique : Dépasser l'hypothèse d'une qualité de conseiller statique et connue pour gérer la nature dynamique et imprévisible de la guidance dans le monde réel.
• Autonomie stratégique : Permettre aux agents de prendre des décisions fondées sur des principes concernant quand demander de l'aide, en équilibrant le gain d'information et les coûts, ce qui est crucial pour la gestion de la charge de travail humaine et l'efficacité du système.
• Robustesse : Démontrer que les agents peuvent maintenir de hautes performances même lorsque la fiabilité des conseillers fluctue ou lorsque les suggestions proviennent de sources non rationnelles et heuristiques.

L'article conclut que bien que la discrétisation de la fiabilité et l'utilisation d'un modèle de transition uniforme soient des simplifications, le cadre représente une avancée significative vers des systèmes de prise de décision collaborative plus réalistes et robustes. Des travaux futurs sont suggérés pour explorer des modèles de transition pilotés par des événements qui corrèlent les changements de fiabilité avec des événements environnementaux ou opérationnels spécifiques.