A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

Résumé Technique : Un Jeu de Surveillance à Bandits Contextuels avec Asymétrie d'Information Bilatérale

1. Énoncé du Problème

L'article traite du défi de calibrer l'intervention humaine dans les systèmes autonomes (robotiques ou logiciels) lorsqu'une asymétrie d'information bilatérale existe. Contrairement aux modèles standards où une seule partie détient une information privée, ce cadre pose :

• Information Privée Humaine ($\theta$) : L'humain superviseur connaît en privé sa fonction de récompense (préférences, tolérance au risque et évaluation des résultats).
• Information Privée de l'IA ($\omega$) : L'agent IA connaît en privé la « qualité » ou les modes de défaillance de son action proposée, dérivés d'observations (par exemple, données de capteurs, inspection de code) inaccessibles à l'humain.

Le problème central est de déterminer le protocole d'interaction au moment de l'exécution optimal (une interface « jouer/demander/faire confiance/surveiller ») où l'IA choisit de différer (demander) et l'humain choisit de passer outre (surveiller). Les auteurs soutiennent que les cadres existants ne parviennent pas à capturer cette dualité spécifique : le modèle de l'Apprentissage par Renforcement Inverse Coopératif (CIRL) modélise l'incertitude sur les préférences unidirectionnelles mais manque de l'interface de différé au moment de l'exécution et de la qualité de proposition privée de l'IA ; le Jeu de Surveillance (Oversight Game) modélise l'interface mais suppose une information complète.

2. Méthodologie

Pour obtenir des caractérisations exactes qui restent conjecturales dans les cadres complets de Processus de Décision Markovien Partiellement Observable (POMDP), les auteurs adoptent un cadre de Bandit Contextuel (Contextual-Bandit). Cela élimine les transitions d'état physique ($S \to S'$), isolant ainsi la valeur de l'information et de la correction des dynamiques d'état, tout en conservant la croyance commune comme un état contrôlé dynamiquement à travers les tours.

Le Modèle (Jeu CB-Oversight-CIRL) :

• Structure : Un jeu à horizon fini (ou à horizon infini actualisé) avec des contextes i.i.d. $s_t$.
• Types : $\theta \in \Theta$ (type de récompense humaine) et $\omega \in \Omega$ (type de modèle d'observation de l'IA).
• Gain Bilinéaire : Le gain de l'équipe est défini par $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$, où $O_\omega$ est la distribution des résultats donnés le type privé de l'IA, et $R_\theta$ est la fonction de récompense de l'humain. Cette factorisation sépare la connaissance de l'IA sur ce qui arrive de la connaissance de l'humain sur ce qui importe.
• Interface :
  1. L'IA propose une action $a_\sigma$.
  2. L'IA sélectionne une méta-action : jouer ou demander.
  3. Si demander, l'Humain sélectionne une méta-action : faire confiance ou surveiller.
  4. Surveiller déclenche une correction (par exemple, un arrêt) basée sur la croyance de l'humain.
• Coûts : $c_{ask}$ (coût du différé) et $c_{ov}$ (coût de l'intervention).

3. Principales Contributions

L'article présente trois contributions majeures :

1. Définition Formelle du Jeu : Un jeu d'équipe à bandit contextuel (Définition 1) qui intègre l'interface du Jeu de Surveillance avec une asymétrie d'information bilatérale, récupérant les variantes du CIRL et de l'Off-Switch Game comme cas limites.
2. Caractérisations à un Seul Tour (One-Shot) : Deux solutions distinctes pour un seul tour ($T=1$) :
   • Optimum de l'Équipe : Un coordinateur global optimise conjointement les politiques des deux agents. La politique optimale est une paire déterministe d'ensembles $(B, C)$ où $B \subseteq \Omega$ sont les types d'IA qui demandent, et $C \subseteq \Theta$ sont les types d'humains qui surveillent.
   • Règle Myope : Une règle comportementalement naturelle où l'humain traite la « demande » de l'IA comme non informative (non signalante) et agit sur la base de sa croyance a priori.
3. Analyse de la Résolution Dynamique : Une analyse partielle multi-tour démontrant comment l'écart entre les politiques myopes et optimales de l'équipe se réduit au fil du temps via l'apprentissage passif (l'humain met à jour sa croyance à partir des résultats observés) et le signalement actif (l'IA utilise la « demande » comme un signal crédible).

4. Résultats Clés

La « Plaque » de Dommage Évitable (Analyse à un Seul Tour)
L'article identifie une région critique de défaillance appelée la « plaque » (slab) dans l'espace des a priori $(b, q)$, où $b$ est la probabilité que l'humain soit un type à « enjeux élevés » ($\theta_1$) et $q$ est la probabilité qu'une action soit nuisible ($\omega_H$).

• Optimum de l'Équipe : Demande si $b > b^*$, où $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$. Crucialement, ce seuil est indépendant de $q$. Si l'IA demande, l'humain met à jour sa croyance vers le postérieur post-demande (sachant $\omega = \omega_H$) et procède à l'arrêt.
• Règle Myope : Demande uniquement si $b > b^*$ ET $q > q^*$, où $q^*$ est un seuil dérivé du gain attendu sous l'a priori.
• L'Écart : La région $\{b > b^*, q \le q^*\}$ représente la « plaque ». Ici, l'IA sait que l'action est nuisible et qu'un arrêt serait bénéfique, mais l'humain myope, faisant confiance à son a priori selon lequel l'action est probablement sûre ($q$ est faible), refuse de surveiller. Par conséquent, l'IA ne demande pas, et l'action nuisible est exécutée.
• Interprétation Économique : L'écart est le « prix de la communication de surveillance non crédible ». Si la demande est un signal crédible, l'a priori $q$ de l'humain devient non pertinent pour la décision de surveiller ; si elle ne l'est pas, l'a priori $q$ agit comme une barrière à l'intervention.

Dynamique Multi-Tour
L'article analyse comment le système sort de la « plaque » au fil de tours répétés :

1. Apprentissage Passif : Même sans signalement, si l'IA joue la proposition, l'humain observe les résultats. Sous l'Hypothèse 2 (propositions informatives), la croyance $q_n$ de l'humain converge vers 1 presque sûrement. Le temps attendu pour sortir du régime de défaillance est borné par des inégalités de type Wald impliquant la divergence de KL ($\eta$) entre les distributions de résultats.
2. Signalement Actif : Si l'IA adopte une politique de séparation (demande si et seulement si $\omega = \omega_H$), la croyance de l'humain bondit à 1 immédiatement lors de l'observation d'une « demande ». Cependant, sous une réponse myope avec un retard d'un tour (où l'humain ne peut pas réagir à la demande dans le même tour), ce signalement n'est bénéfique que si $b > b^{**} = b^*/\gamma$. L'IA paie le coût $c_{ask}$ dans le tour actuel pour garantir une surveillance efficace dans tous les tours futurs.

5. Signification et Portée

L'article affirme que sa principale importance réside dans la formalisation de l'asymétrie d'information bilatérale inhérente aux systèmes autonomes où les agents possèdent une connaissance privée des modes de défaillance.

• Contribution Théorique : Il fournit des caractérisations exactes, sous forme fermée, des politiques de différé optimales dans un cadre qui nécessiterait autrement une analyse complexe de POMDP.
• Aperçu Pratique : Il démontre que les canaux de communication « non crédibles » (où la demande d'aide d'une IA n'est pas perçue comme un signal de danger) créent une région spécifique de dommages évitables. La solution n'est pas nécessairement une meilleure IA ou de meilleurs humains, mais une conception d'interface qui rend la « demande » un signal crédible, réduisant ainsi la région de défaillance myope.
• Limites : Les auteurs déclarent explicitement que leurs résultats reposent sur une structure de bandit contextuel (pas de transitions d'état) et des a priori de mesure produit. La politique optimale multi-tour, les effets de croyances corrélées et l'extension aux POMDP complets avec une dynamique de Markov restent des problèmes ouverts. L'analyse de la dynamique multi-tour est partielle, comparant des mécanismes spécifiques (passif vs actif) plutôt que de caractériser l'optimum global.