Résumé Technique : Commutation d'Autorité Fondée sur des Principes pour l'Autonomie Partagée dans les Équipes Homme-Robot

Énoncé du Problème

L'autonomie partagée dans les systèmes cyber-physiques (CPS) nécessite des mécanismes pour allouer dynamiquement le contrôle entre les humains et les agents autonomes. Les approches existantes reposent souvent sur le mélange d'entrées de commande ou sur des règles de commutation heuristiques. Ces méthodes souffrent d'un manque de garanties théoriques, d'une dépendance à la prédiction précise de l'intention et de l'imposition de charges cognitives continues sur les opérateurs humains (nécessitant une entrée constante). De plus, elles échouent fréquemment à prendre en compte la probabilité réelle d'intervention de l'humain (propension à l'intervention/override), ce qui conduit à une coordination sous-optimale dans les domaines critiques pour la sécurité tels que la conduite autonome et la téléopération.

Le défi central abordé est la manière de formuler la commutation d'autorité comme un problème de décision coopératif et optimal pour l'équipe, qui modélise explicitement la capacité de l'humain à intervenir et les coûts associés au changement de contrôle, plutôt que de s'appuyer sur des règles ad hoc.

Méthodologie : Le Cadre Flip-Team

Les auteurs proposent Flip-Team, un cadre coopératif qui modélise la commutation d'autorité comme un jeu dynamique à intérêts identiques. Le système fonctionne selon un paradigme de « l'humain dans la boucle » (human-on-the-loop), où le système autonome fonctionne indépendamment, et l'humain conserve l'autorité de supervision et d'intervention.

1. Dynamique du Système et État

Le système est modélisé comme un système dynamique à temps discret où l'autorité de contrôle à l'instant $k$ est notée par un état FlipDyn $\alpha_k \in \{H, A\}$ (Humain ou Autonome).

• Contrôle Humain : $x_{k+1} = F^H_k(x_k, u_k)$
• Contrôle Autonome : $x_{k+1} = F^A_k(x_k, w_k)$
• Actions de Reprise de Contrôle : Les agents prennent des actions $\pi^j_k \in \{0, 1\}$ (inactif ou demande de reprise de contrôle).
• Logique de Transition : Les transitions sont mutuellement exclusives. Crucialement, lorsque l'agent autonome est en contrôle, une tentative d'intervention humaine réussit avec une probabilité $p_k$ (la propension de l'humain à l'intervention) si l'agent autonome ne demande pas de transfert de contrôle. Si l'agent autonome demande un transfert, la transition est déterministe.

2. Structure de Coût

L'objectif est de minimiser une fonction de coût total $J$ sur un horizon fini $L$ :
$$J = g_{L+1}(x_{L+1}, \alpha_{L+1}) + \sum_{t=1}^{L} \left( g_t(x_t, \alpha_t) + \pi^H_t h_t(x_t) + \pi^A_t a_t(x_t) \right)$$

• Coût d'État ($g_t$) : Représente les métriques de performance (ex: erreur de suivi, énergie) qui diffèrent entre le contrôle humain et autonome ($g^H_t \neq g^A_t$).
• Coûts de Commutation ($h_t, a_t$) : Représentent la charge cognitive, le changement d'attention ou le risque de transition pour l'humain et l'agent autonome, respectivement.

3. Politique de Commutation Optimale (Cas Linéaire-Quadratique)

Pour des dynamiques linéaires avec des coûts quadratiques (systèmes LQ), les auteurs dérivent des solutions en forme close en utilisant la programmation dynamique.

• Fonctions de Valeur : La valeur du coût restant est représentée par des fonctions de valeur quadratiques $V^H_k(x) = x^\top P^H_k x$ et $V^A_k(x) = x^\top P^A_k x$.
• Récursions : Les matrices $P^H_k$ et $P^A_k$ sont calculées via une récursion vers l'arrière.
• Théorème 1 (Conditions de Commutation) : La politique optimale est déterminée en comparant l'avantage de coût relatif du contrôle humain versus autonome (quantifié par $\tilde{P}_{k+1}$) par rapport aux coûts de commutation et à la probabilité d'intervention $p_k$.
  • Lorsque l'Humain est en Contrôle : Il conserve le contrôle si l'avantage de coût du contrôle humain plus les coûts de commutation est favorable ; sinon, un transfert coordonné vers l'autonomie se produit.
  • Lorsque l'Autonome est en Contrôle : Trois régimes émergent basés sur $p_k$ :
    1. Maintenir : Si l'avantage de coût du contrôle humain est insuffisant par rapport à $p_k$.
    2. Intervention (Override) : Si l'avantage de coût est significatif et que $p_k$ est suffisamment élevé, l'humain prend le contrôle unilatéralement.
    3. Transfert Coordonné : Si l'avantage de coût est important, les deux agents conviennent de transférer le contrôle.

4. Seuil d'Intervention et Estimation

• Théorème 2 (Seuil Critique) : L'article dérive un seuil critique $p^*_k(x)$ qui détermine quand l'intervention humaine est rentable. Pour des coûts de commutation isotropes, cela se simplifie en un ratio indépendant de l'état : $p^* = h / (h + a)$.
  • Si la propension réelle de l'humain $p_k < p^*$, l'intervention n'est probablement pas rentable.
  • Si $p_k > p^*$, l'intervention est justifiée.
• Estimation en Ligne : Puisque $p_k$ est inconnu en pratique, les auteurs proposent une méthode d'estimation en ligne. Cela implique de suivre la fréquence des interventions humaines lors de conditions spécifiques (contrôle autonome, pas de demande de transfert) à travers les épisodes ou d'utiliser un lissage exponentiel au sein d'un épisode pour estimer de manière adaptative $\hat{p}_k$.

Contributions Clés

1. Cadre de Commutation Fondé sur des Principes : Formulation de la commutation d'autorité comme un jeu coopératif avec des coûts asymétriques et une capacité d'intervention humaine, produisant des politiques optimales sans réglage heuristique.
2. Dérivation du Seuil d'Intervention : Dérivation d'un seuil critique $p^*_k$ qui dicte quand une reprise de contrôle par l'humain est rentable, fournissant des directives de conception interprétables.
3. Solutions en Forme Close : Pour les systèmes linéaires-quadratiques, la dérivation de conditions de commutation en forme close et de récursions de fonctions de valeur permettant un calcul efficace indépendant de la dimension continue de l'état.
4. Estimation Adaptative : Une méthode proposée pour estimer la propension d'intervention en ligne à partir des interventions observées, permettant une commutation adaptative sans calibration préalable.

Évaluation et Résultats

Le cadre a été évalué sur une tâche de régulation d'altitude d'un quadrotor 1D (dynamique de double intégrateur) avec un horizon de 30 étapes.

• Baselines (Référentiels) : La politique Flip-Team a été comparée à :
  1. Toujours autonome.
  2. Toujours humain.
  3. Une heuristique de seuil de performance (commutation basée uniquement sur l'erreur de suivi).
• Métriques : Coût total, nombre de commutations, et pourcentage de temps sous contrôle humain.
• Résultats :
  • Flip-Team a obtenu le coût total le plus bas (40,5), surpassant la baseline toujours humaine (43,2) de 6 % et la baseline toujours autonome (45,6) de 11 %.
  • La baseline de seuil de performance a engendré le coût le plus élevé (55,3), démontant que la commutation réactive basée uniquement sur l'erreur, sans considérer la propension ou les coûts de commutation, dégrade les performances.
  • Flip-Team a obtenu ces résultats avec seulement 1,8 commutation d'autorité en moyenne, l'humain étant en contrôle 56 % du temps.
  • La politique optimale a anticipé avec succès les phases où l'intervention humaine était à la fois probable (haute $p_k$) et bénéfique (avantage de coût), évitant les commutations inutiles durant les phases de faible engagement.

Signification et Revendications

L'article affirme que Flip-Team fournit un mécanisme fondé sur des principes pour l'autonomie partagée qui équilibre l'adaptabilité humaine et l'efficacité autonome. En modélisant explicitement la propension d'intervention de l'humain et les coûts de commutation, le cadre évite les pièges des règles heuristiques qui soit surchargent l'humain, soit échouent à intervenir quand nécessaire.

Les auteurs soulignent que le seuil critique dérivé offre des directives de conception exploitables :

• Les concepteurs peuvent ajuster les coûts de commutation ($H_k, A_k$) pour façonner le paysage d'engagement.
• Les praticiens peuvent moduler la propension de l'humain (via des alertes ou la calibration de la confiance) pour s'assurer qu'elle reste au-dessus du seuil critique lorsque l'intervention est nécessaire.

Le travail est modeste dans sa portée actuelle, notant que l'évaluation repose sur un modèle humain simulé avec un profil de propension fabriqué à la main et une tâche 1D. Les auteurs déclarent que les travaux futurs valideront le cadre avec des expériences homme-dans-la-boucle, étendront l'estimation de la propension dépendante de l'état, et appliqueront le cadre à des systèmes de plus haute dimension et non linéaires.