A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

Resumo Técnico: Um Jogo de Supervisão de Bandido Contextual com Assimetria Informacional de Dois Lados

1. Enunciado do Problema

O artigo aborda o desafio de calibrar a intervenção humana em sistemas autônomos (robóticos ou de software) quando existe uma assimetria informacional de dois lados. Diferente dos modelos padrão, onde apenas uma parte detém informação privada, este cenário postula:

• Informação Privada Humana ($\theta$): O supervisor humano conhece privadamente sua função de recompensa (preferências, tolerância ao risco e valoração de resultados).
• Informação Privada da IA ($\omega$): O agente de IA conhece privadamente a "qualidade" ou os modos de falha de sua ação proposta, derivados de observações (ex: dados de sensores, inspeção de código) inacessíveis ao humano.

O problema central é determinar o protocolo de interação em tempo de execução ideal (uma interface "jogar/perguntar/confiar/supervisionar") onde a IA escolhe se deve deferir (perguntar) e o humano escolhe se deve intervir (supervisionar). Os autores argumentam que os frameworks existentes falham em capturar essa dualidade específica: o Modelo de Aprendizado por Reforço Inverso Cooperativo (CIRL) modela a incerteza de preferência de um lado, mas carece da interface de deferimento em tempo de execução e da qualidade de proposta privada da IA; o Jogo de Supervisão (Oversight Game) modela a interface, mas assume informação completa.

2. Metodologia

Para alcançar caracterizações exatas que permanecem conjecturais em configurações completas de Processos de Decisão de Markov Parcialmente Observáveis (POMDP), os autores adotam um framework de Bandido Contextual (Contextual-Bandit). Isso remove as transições de estado físico ($S \to S'$), isolando o valor da informação e da correção da dinâmica de estado, enquanto retém a crença comum como um estado controlado dinamicamente através das rodadas.

O Modelo (Jogo CB-Oversight-CIRL):

• Estrutura: Um jogo de horizonte finito (ou de horizonte infinito com desconto) com contextos i.i.d. $s_t$.
• Tipos: $\theta \in \Theta$ (tipo de recompensa humana) e $\omega \in \Omega$ (tipo de modelo de observação da IA).
• Payoff Bilinear: O payoff da equipe é definido como $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$, onde $O_\omega$ é a distribuição dos resultados dado o tipo privado da IA, e $R_\theta$ é a função de recompensa do humano. Essa fatoração separa o conhecimento da IA sobre o que acontece do conhecimento do humano sobre o que importa.
• Interface:
  1. A IA propõe uma ação $a_\sigma$.
  2. A IA seleciona uma meta-ação: jogar (play) ou perguntar (ask).
  3. Se perguntar, o Humano seleciona uma meta-ação: confiar (trust) ou supervisionar (oversee).
  4. Supervisionar aciona uma correção (ex: desligamento) baseada na crença do humano.
• Custos: $c_{ask}$ (custo de deferir) e $c_{ov}$ (custo de intervir).

3. Principais Contribuições

O artigo fornece três contribuições primárias:

1. Definição Formal do Jogo: Um jogo de equipe de bandido contextual (Definição 1) que integra a interface do Jogo de Supervisão com assimetria de informação de dois lados, recuperando variantes de CIRL e de Jogo de Interruptor (Off-Switch Game) como casos limite.
2. Caracterizações de Passo Único (One-Shot): Duas soluções distintas para uma única rodada ($T=1$):
   • Ótimo da Equipe: Um coordenador global otimiza as políticas de ambos os agentes conjuntamente. A política ótima é um par determinístico de conjuntos $(B, C)$, onde $B \subseteq \Omega$ são tipos de IA que perguntam, e $C \subseteq \Theta$ são tipos humanos que supervisionam.
   • Regra Miópica: Uma regra comportamentalmente natural onde o humano trata o "perguntar" da IA como não informativo (não-sinalizador) e age com base em sua crença a priori.
3. Análise de Resolução Dinâmica: Uma análise parcial de múltiplas rodadas demonstrando como a lacuna entre as políticas miópica e ótima da equipe diminui ao longo do tempo via aprendizado passivo (o humano atualiza a crença a partir dos resultados observados) e sinalização ativa (a IA usa o "perguntar" como um sinal crível).

4. Resultados Principais

A "Placa" de Dano Evitável (Análise de Passo Único)
O artigo identifica uma região crítica de falha denominada "placa" (slab) no espaço de priors $(b, q)$, onde $b$ é a probabilidade de o humano ser um tipo de "alto risco" ($\theta_1$) e $q$ é a probabilidade de a ação ser prejudicial ($\omega_H$).

• Ótimo da Equipe: Pergunta se $b > b^*$, onde $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$. Crucialmente, este limiar é independente de $q$. Se a IA perguntar, o humano atualiza para a posterior pós-pergunta (sabendo que $\omega = \omega_H$) e desliga o sistema.
• Regra Miópica: Pergunta apenas se $b > b^*$ E $q > q^*$, onde $q^*$ é um limiar derivado do payoff esperado sob a priori.
• A Lacuna (The Gap): A região $\{b > b^*, q \le q^*\}$ representa a "placa". Aqui, a IA sabe que a ação é prejudicial e o desligamento seria benéfico, mas o humano miópico, confiando em sua priori de que a ação é provavelmente segura ($q$ é baixo), declina a supervisionar. Consequentemente, a IA não pergunta, e a ação prejudicial é executada.
• Interpretação Econômica: A lacuna é o "preço da comunicação de supervisão não crível". Se o "perguntar" for um sinal crível, a priori $q$ do humano torna-se irrelevante para a decisão de supervisionar; se não for, a priori $q$ atua como uma barreira à intervenção.

Dinâmica de Múltiplas Rodadas
O artigo analisa como o sistema escapa da "placa" ao longo de rodadas repetidas:

1. Aprendizado Passivo: Mesmo sem sinalização, se a IA joga a proposta, o humano observa os resultados. Sob a Assunção 2 (propostas informativas), a crença $q_n$ do humano converge para 1 quase certamente. O tempo esperado para sair do regime de falha é limitado por desigualdades do tipo Wald envolvendo a divergência KL ($\eta$) entre as distribuições de resultados.
2. Sinalização Ativa: Se a IA adotar uma política separadora (perguntar se e somente se $\omega = \omega_H$), a crença do humano salta para 1 imediatamente ao observar um "perguntar". No entanto, sob uma resposta miópica com atraso de um período (onde o humano não consegue reagir ao "perguntar" na mesma rodada), esta sinalização só é benéfica se $b > b^{**} = b^*/\gamma$. A IA paga o custo $c_{ask}$ na rodada atual para garantir supervisão eficaz em todas as rodadas futuras.

5. Significância e Escopo

O artigo afirma que sua principal significância reside na formalização da assimetria informacional de dois lados inerente aos sistemas autônomos onde os agentes possuem conhecimento privado de modos de falha.

• Contribuição Teórica: Fornece caracterizações exatas e em forma fechada de políticas de deferimento ideais em um cenário que, de outra forma, exigiria uma análise intratável de POMDP.
• Insight Prático: Demonstra que canais de comunicação "não críveis" (onde um pedido de ajuda da IA não é confiado como um sinal de perigo) criam uma região específica de dano evitável. A solução não é necessariamente uma IA melhor ou humanos melhores, mas um design de interface que torne o "perguntar" um sinal crível, colapsando assim a região de falha miópica.
• Limitações: Os autores declaram explicitamente que seus resultados dependem de uma estrutura de bandido contextual (sem transições de estado) e de priors de medida de produto. A política ótima de múltiplas rodadas, os efeitos de crenças correlacionadas e a extensão para POMDPs completos com dinâmica de Markov permanecem como problemas abertos. A análise da dinâmica de múltiplas rodadas é parcial, comparando mecanismos específicos (passivo vs. ativo) em vez de caracterizar o ótimo global.