$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Résumé Technique : Flip-Team : Jeux de Prise de Contrôle Coopératifs avec Reprise de Contrôle Humaine Stochastique

Énoncé du Problème
Les systèmes d'autonomie partagée, critiques dans des domaines tels que la conduite autonome et la robotique d'assistance, nécessitent des mécanismes fondés sur des principes pour le transfert de contrôle entre les humains et les agents autonomes. Les approches existantes reposent souvent sur le mélange de commandes ou des règles de commutation heuristiques qui manquent de garanties théoriques et ne parvent pas à rendre compte de la dynamique du transfert d'autorité. De plus, de nombreux cadres actuels supposent des rôles symétriques ou nécessitent une connaissance complète de l'utilité humaine, ce qui est souvent irréaliste. Un écart spécifique existe dans la modélisation du changement d'autorité où les humains conservent une capacité de « reprise de contrôle » asymétrique (la capacité d'intervenir même lorsque l'agent est en contrôle) sous des conditions stochastiques, tandis que les deux agents poursuivent un objectif de mission commun. Ce document traite de la nécessité d'un cadre coopératif qui détermine des politiques de commutation optimales sans dépendre de règles ad hoc ou d'un engagement humain continu.

Méthodologie
Les auteurs proposent Flip-Team, un cadre de théorie des jeux coopératifs formulé comme un jeu dynamique à intérêts identiques. L'innovation centrale est l'intégration de la décision de commutation directement dans la dynamique du système plutôt que de la traiter comme un mécanisme d'arbitrage externe.

1. Formulation du Jeu :

   • Espace d'États : L'état du système $x_k$ évolue soit sous le contrôle humain ($\alpha_k = H$), soit sous le contrôle autonome ($\alpha_k = A$).
   • État FlipDyn : Un état discret $\alpha_k$ suit qui détient l'autorité. Les transitions sont régies par les actions des agents : « idle » (conserver le contrôle) ou « takeover/request » (reprise de contrôle/requête).
   • Reprise de Contrôle Stochastique : Une caractéristique clé est la reprise de contrôle humaine stochastique. Lorsque l'agent autonome est en contrôle ($\alpha_k = A$) et que l'humain tente d'intervenir ($\pi^H_k = 1$) alors que l'agent ne demande pas de passage de relais, la reprise de contrôle réussit avec une probabilité $p_k$. Cela capture la latence de l'interface et les mécanismes d'arbitrage où l'autorité humaine est supérieure mais non garantie.
   • Fonction de Coût : Les agents minimisent conjointement un coût total $J$ comprenant les coûts d'état (erreur de suivi, énergie) et les coûts de prise de contrôle (charge cognitive, risque de transition). Les coûts sont asymétriques ($g^H \neq g^A$, $h \neq a$) pour refléter l'efficacité de contrôle et les charges de commutation différentes.

2. Analyse du Système Général :

   • Le problème est résolu à l'aide de la programmation dynamique. Les auteurs définissent des fonctions de valeur et des matrices de coût de l'état futur pour les deux états FlipDyn ($H$ et $A$).
   • Théorème 1 établit l'existence de politiques de commutation optimales pour l'équipe dans les stratégies pures. Il dérive des conditions explicites de seuil pour le transfert d'autorité basées sur la différence des fonctions de valeur futures ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) mises à l'échelle par les coûts de prise de contrôle et la probabilité de reprise de contrôle $p_k$.

3. Extension Linéaire-Quadratique (LQ) :

   • Pour les systèmes linéaires à coûts quadratiques, les auteurs dérivent le Corollaire 1, fournissant des récursions en forme close pour les politiques de commutation optimales et les paramètres de la fonction de valeur ($P^H_k, P^A_k$).
   • Crucialement, cette formulation permet aux seuils de commutation d'être calculés hors ligne et de rester indépendants de l'état continu $x$ dans le cas scalaire, ou de dépendre de l'état uniquement via une forme quadratique dans le cas multidimensionnel. Cela garantit une efficacité de calcul indépendante de la cardinalité de l'espace d'état continu.

Contributions Clés

1. Formulation de la Prise de Contrôle Coopérative : Le papier formule le problème de la prise de contrôle homme-autonomie comme un jeu dynamique à intérêts identiques où les décisions de commutation sont intégrées dans la dynamique du système. Ce cadre unifié capture l'autorité asymétrique, la reprise de contrôle humaine stochastique et les coûts dépendants de l'état.
2. Caractérisation de la Commutation Optimale : Les auteurs établissent l'existence de politiques optimales pour l'équipe et les caractérisent via des conditions de seuil explicites. Ces conditions déterminent quand les transferts d'autorité se produisent en fonction de l'arbitrage entre les différences de coûts futurs et le coût probabiliste de la commutation.
3. Solutions Analytiques pour les Systèmes LQ : Pour les systèmes linéaires-quadratiques, le papier dérive des récursions en forme close pour les politiques et fonctions de valeur optimales. Cela permet un calcul efficace des stratégies de prise de contrôle coopérative dans des espaces d'états continus, avec des seuils de commutation qui sont indépendants de l'état continu (dans les cas scalaires) ou définis par des inégalités matricielles (dans les cas multidimensionnels).

Résultats
Le cadre a été validé sur des systèmes linéaires scalaires et multidimensionnels :

• Système LTI Scalaire : Les simulations sur un horizon fini ($L=40$) ont démontré que le comportement de commutation est hautement sensible à la probabilité de reprise de contrôle $p$. Un seuil critique $p^* = H/(H+A)$ a été identifié ; en dessous de cette valeur, une reprise de contrôle humaine unilatérale n'est jamais optimale. À mesure que $p$ augmente, la fréquence des reprises de contrôle optimales augmente, montrant une évolution de politique non monotone dans les régimes intermédiaires.
• Régulation Latérale de Véhicule (2D) : Dans une tâche de suivi de voie de véhicule en 2D, la politique Flip-Team a réduit le coût maximal de 18,65 % par rapport à une base « toujours autonome » et a surpassé les stratégies de commutation à intervalles fixes.
• Dimensionnalité de l'État : Les résultats ont mis en évidence une différence structurelle fondamentale entre les systèmes scalaires et multidimensionnels. Dans les systèmes scalaires, la commutation est indépendante de l'état. Dans les dimensions supérieures, la condition de commutation implique des inégalités matricielles ($\tilde{P}_{k+1} \succeq H/p$), ce qui signifie qu'une reprise de contrôle peut être optimale pour des états alignés avec des vecteurs propres spécifiques de la matrice de différence de valeur, mais pas pour d'autres.

Signification et Revendications
Le papier affirme que fonder l'autonomie partagée dans la théorie des jeux coopératifs fournit une alternative fondée sur des principes au mélange heuristique ou à l'arbitrage. En traitant l'humain et l'autonomie comme une équipe unifiée avec un objectif commun mais des rôles distincts, Flip-Team produit des politiques de commutation optimales qui s'adaptent à la dynamique du système, aux structures de coûts et à la fiabilité de l'intervention humaine. Le cadre traite explicitement les compromis entre l'adaptabilité humaine et l'efficacité autonome.

Les auteurs notent des limites : le cadre suppose des intérêts identiques (objectifs alignés), traite la probabilité de reprise de contrôle comme étant connue (nécessitant une estimation lors du déploiement), et restreint les résultats en forme close aux systèmes LQ. Des travaux futurs sont proposés pour étendre le cadre aux jeux bayésiens à information privée, à l'apprentissage en ligne des probabilités de reprise de contrôle, et à la validation physique avec des expériences humain-dans-la-boucle.