A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

Resumen Técnico: Un Juego de Supervisión de Bandidos Contextuales con Asimetría de Información de Dos Lados

1. Planteamiento del Problema

El artículo aborda el desafío de calibrar la intervención humana en sistemas autónomos (robóticos o de software) cuando existe una asimetría de información de dos lados. A diferencia de los modelos estándar donde solo una parte posee información privada, este entorno plantea:

• Información Privada Humana ($\theta$): El supervisor humano conoce privadamente su función de recompensa (preferencias, tolerancia al riesgo y valoración de resultados).
• Información Privada de la IA ($\omega$): El agente de IA conoce privadamente la "calidad" o los modos de fallo de su acción propuesta, derivados de observaciones (por ejemplo, datos de sensores, inspección de código) inaccesibles para el humano.

El problema central es determinar el protocolo de interacción óptimo en tiempo de ejecución (una interfaz de "jugar/preguntar/confiar/supervisar") donde la IA decide si delegar (preguntar) y el humano decide si intervenir (supervisar). Los autores argumentan que los marcos existentes no logran capturar esta dualidad específica: el Aprendizaje por Refuerzo Inverso Cooperativo (CIRL) modela la incertidumbre de preferencia de un solo lado, pero carece de la interfaz de delegación en tiempo de ejecución y de la calidad de la propuesta privada de la IA; el Juego de Supervisión (Oversight Game) modela la interfaz, pero asume información completa.

2. Metodología

Para lograr caracterizaciones exactas que resultan conjeturales en entornos completos de Procesos de Decisión de Markov Parcialmente Observables (POMDP), los autores adoptan un marco de Bandido Contextual (Contextual-Bandit). Esto elimina las transiciones de estado físico ($S \to S'$), aislando el valor de la información y la corrección de la dinámica de estados, mientras se retiene la creencia común como un estado controlado dinámicamente a través de las rondas.

El Modelo (Juego CB-Oversight-CIRL):

• Estructura: Un juego de horizonte finito (o de horizonte infinito con descuento) con contextos i.i.d. $s_t$.
• Tipos: $\theta \in \Theta$ (tipo de recompensa humana) y $\omega \in \Omega$ (tipo de modelo de observación de la IA).
• Pago Bilineal: El pago del equipo se define como $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$, donde $O_\omega$ es la distribución de los resultados dado el tipo privado de la IA, y $R_\theta$ es la función de recompensa del humano. Esta factorización separa el conocimiento de la IA sobre qué sucede del conocimiento del humano sobre qué es importante.
• Interfaz:
  1. La IA propone una acción $a_\sigma$.
  2. La IA selecciona una meta-acción: jugar (play) o preguntar (ask).
  3. Si pregunta, el Humano selecciona una meta-acción: confiar (trust) o supervisar (oversee).
  4. Supervisar activa una corrección (por ejemplo, un apagado) basada en la creencia del humano.
• Costos: $c_{ask}$ (costo de delegar) y $c_{ov}$ (costo de intervenir).

3. Contribuciones Clave

El artículo presenta tres contribuciones principales:

1. Definición Formal del Juego: Un juego de equipo de bandido contextual (Definición 1) que integra la interfaz del Juego de Supervisión con asimetría de información de dos lados, recuperando los casos límite de CIRL y las variantes de Juego de Apagado (Off-Switch Game).
2. Caracterizaciones de un Solo Paso (One-Shot): Dos soluciones distintas para una sola ronda ($T=1$):
   • Óptimo del Equipo: Un coordinador global optimiza conjuntamente las políticas de ambos agentes. La política óptima es un par determinista de conjuntos $(B, C)$ donde $B \subseteq \Omega$ son los tipos de IA que preguntan, y $C \subseteq \Theta$ son los tipos de humanos que supervisan.
   • Regla Miópica: Una regla conductualmente natural donde el humano trata la "pregunta" de la IA como no informativa (no señalizadora) y actúa basándose en su creencia previa.
3. Análisis de Resolución Dinámica: Un análisis parcial de múltiples rondas que demuestra cómo la brecha entre las políticas miópica y la óptima del equipo se reduce con el tiempo mediante el aprendizaje pasivo (el humano actualiza su creencia a partir de los resultados observados) y la señalización activa (la IA utiliza la "pregunta" como una señal creíble).

4. Resultados Clave

La "Losa" de Daño Evitable (Análisis de un Solo Paso)
El artículo identifica una región crítica de fallo denominada "losa" (slab) en el espacio de las distribuciones a priori $(b, q)$, donde $b$ es la probabilidad de que el humano sea un tipo de "alto riesgo" ($\theta_1$) y $q$ es la probabilidad de que la acción sea perjudicial ($\omega_H$).

• Óptimo del Equipo: Pregunta si $b > b^*$, donde $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$. Crucialmente, este umbral es independiente de $q$. Si la IA pregunta, el humano actualiza a la posterior post-pregunta (sabiendo que $\omega = \omega_H$) y apaga el sistema.
• Regla Miópica: Pregunta solo si $b > b^*$ Y $q > q^*$, donde $q^*$ es un umbral derivado del pago esperado bajo la distribución a priori.
• La Brecha: La región $\{b > b^*, q \le q^*\}$ representa la "losa". Aquí, la IA sabe que la acción es perjudicial y que un apagado sería beneficioso, pero el humano miópico, confiando en su creencia previa de que la acción es probablemente segura ($q$ es bajo), declina supervisar. En consecuencia, la IA no pregunta, y la acción perjudicial se ejecuta.
• Interpretación Económica: La brecha es el "precio de la comunicación de supervisión no creíble". Si la pregunta es una señal creíble, la creencia previa $q$ del humano se vuelve irrelevante para la decisión de supervisar; si no lo es, la creencia previa $q$ actúa como una barrera para la intervención.

Dinámica de Múltiples Rondas
El artículo analiza cómo el sistema escapa de la "losa" a lo largo de rondas repetidas:

1. Aprendizaje Pasivo: Incluso sin señalización, si la IA ejecuta la propuesta, el humano observa los resultados. Bajo la Asunción 2 (propuestas informativas), la creencia $q_n$ del humano converge a 1 casi seguramente. El tiempo esperado para salir del régimen de fallo está acotado por desigualdades de tipo Wald que involucran la divergencia KL ($\eta$) entre las distribiones de los resultados.
2. Señalización Activa: Si la IA adopta una política de separación (pregunta si y solo si $\omega = \omega_H$), la creencia del humano salta a 1 inmediatamente al observar una "pregunta". Sin embargo, bajo una respuesta miópica con desfase de un periodo (donde el humano no puede reaccionar a la pregunta en la misma ronda), esta señalización solo es beneficiosa si $b > b^{**} = b^*/\gamma$. La IA paga el costo $c_{ask}$ en la ronda actual para asegurar una supervisión efectiva en todas las rondas futuras.

5. Significado y Alcance

El artículo afirma que su principal significancia radica en formalizar la asimetría de información de dos lados inherente a los sistemas autónomos donde los agentes poseen conocimiento privado de los modos de fallo.

• Contribución Teórica: Proporciona caracterizaciones exactas de forma cerrada para las políticas de delegación óptimas en un entorno que, de otro modo, requeriría un análisis intratable de POMDP.
• Perspectiva Práctica: Demuestra que los canales de comunicación "no creíbles" (donde la solicitud de ayuda de una IA no se confía como una señal de peligro) crean una región específica de daño evitable. La solución no es necesariamente una mejor IA o mejores humanos, sino un diseño de interfaz que haga que la "pregunta" sea una señal creíble, colapsando así la región de fallo miópico.
• Limitaciones: Los autores declaran explícitamente que sus resultados dependen de una estructura de bandido contextual (sin transiciones de estado) y de distribuciones a priori de medida producto. La política óptima de múltiples rondas, los efectos de las creencias correlacionadas y la extensión a POMDPs completos con dinámica de Markov siguen siendo problemas abiertos. El análisis de la dinámica de múltiples rondas es parcial, comparando mecanismos específicos (pasivo vs. activo) en lugar de caracterizar el óptimo global.