A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

Sintesi Tecnica: Un Gioco di Oversight a Banditi Contestuali con Asimmetria Informativa Bidirezionale

1. Definizione del Problema

Il documento affronta la sfida di calibrare l'intervento umano nei sistemi autonomi (robotici o software) quando esiste un'asimmetria informativa bidirezionale. A differenza dei modelli standard in cui solo una parte detiene informazioni private, questo scenario postula che:

• Informazione Privata dell'Umano ($\theta$): L'umano supervisore conosce privatamente la propria funzione di ricompensa (preferenze, tolleranza al rischio e valutazione degli esiti).
• Informazione Privata dell'IA ($\omega$): L'agente IA conosce privatamente la "qualità" o le modalità di fallimento della propria azione proposta, derivata da osservazioni (ad esempio, dati sensoriali, ispezione del codice) inaccessibili all'umano.

Il problema centrale è determinare il protocollo di interazione ottimale a runtime (un'interfaccia "gioca/chiedi/fidati/sovraintavola") dove l'IA sceglie se differire (chiedere) e l'umano sceglie se intervenire (sovraintavolare). Gli autori sostengono che gli framework esistenti non riescono a catturare questa specifica dualità: il modello Cooperative Inverse Reinforcement Learning (CIRL) modella l'incertezza sulle preferenze monodirezionale ma manca dell'interfaccia di differimento a runtime e della qualità della proposta privata dell'IA; l'Oversight Game modella l'interfaccia ma assume informazione completa.

2. Metodologia

Per ottenere caratterizzazioni esatte che rimangono congetturali nei setting completi di POMDP (Processo Decisionale di Markov Parzialmente Osservabile), gli autori adottano un framework di Banditi Contestuali (Contextual-Bandit). Questo rimuove le transizioni di stato fisico ($S \to S'$), isolando il valore dell'informazione e della correzione dalla dinamica dello stato, pur mantenendo la credenza comune come uno stato controllato dinamicamente attraverso i round.

Il Modello (Gioco CB-Oversight-CIRL):

• Struttura: Un gioco a orizzonte finito (o a orizzonte infinito scontato) con contesti i.i.d. $s_t$.
• Tipi: $\theta \in \Theta$ (tipo di ricompensa dell'umano) e $\omega \in \Omega$ (tipo di modello di osservazione dell'IA).
• Payoff Bilineare: Il payoff del team è definito come $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$, dove $O_\omega$ è la distribuzione degli esiti dato il tipo privato dell'IA, e $R_\theta$ è la funzione di ricompensa dell'umano. Questa fattorizzazione separa la conoscenza dell'IA su cosa accade dalla conoscenza dell'umano su cosa è importante.
• Interfaccia:
  1. L'IA propone un'azione $a_\sigma$.
  2. L'IA seleziona una meta-azione: gioca (play) o chiedi (ask).
  3. Se chiedi (ask), l'umano seleziona una meta-azione: fidati (trust) o sovraintavola (oversee).
  4. Sovraintavola (oversee) innesca una correzione (ad esempio, uno spegnimento) basata sulla credenza dell'umano.
• Costi: $c_{ask}$ (costo del differimento) e $c_{ov}$ (costo dell'override).

3. Contributi Principali

Il documento fornisce tre contributi primari:

1. Definizione Formale del Gioco: Un gioco di team a banditi contestuali (Definizione 1) che integra l'interfaccia dell'Oversight Game con l'asimmetria informativa bidirezionale, recuperando i casi limite di CIRL e delle varianti dell'Off-Switch Game.
2. Caratterizzazioni One-Shot: Due soluzioni distinte per un singolo round ($T=1$):
   • Ottimo del Team (Team Optimum): Un coordinatore globale ottimizza congiuntamente le policy di entrambi gli agenti. La policy ottimale è una coppia deterministica di insiemi $(B, C)$ dove $B \subseteq \Omega$ sono i tipi di IA che chiedono, e $C \subseteq \Theta$ sono i tipi di umani che sovraintitolano.
   • Regola Miopica (Myopic Rule): Una regola comportamentalmente naturale in cui l'umano tratta la "richiesta" dell'IA come non informativa (non segnalante) e agisce in base alla sua credenza a priori.
3. Analisi della Risoluzione Dinamica: Un'analisi parziale multi-round che dimostra come il divario tra la policy miopica e quella ottimale del team si restringa nel tempo tramite apprendimento passivo (l'umano aggiorna la credenza dagli esiti osservati) e segnalazione attiva (l'IA usa la "richiesta" come segnale credibile).

4. Risultati Chiave

La "Slab" (Lastra) del Danno Evitabile (Analisi One-Shot)
Il documento identifica una regione critica di fallimento chiamata "slab" nello spazio delle priorità $(b, q)$, dove $b$ è la probabilità che l'umano sia un tipo ad "alto rischio" ($\theta_1$) e $q$ è la probabilità che l'azione sia dannosa ($\omega_H$).

• Ottimo del Team: Chiede se $b > b^*$, dove $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$. Crucialmente, questa soglia è indipendente da $q$. Se l'IA chiede, l'umano aggiorna alla posteriore post-richiesta (sapendo che $\omega = \omega_H$) e spegne il sistema.
• Regola Miopica: Chiede solo se $b > b^*$ E $q > q^*$, dove $q^*$ è una soglia derivata dal payoff atteso sotto la prior.
• Il Divario (The Gap): La regione $\{b > b^*, q \le q^*\}$ rappresenta la "slab". Qui l'IA sa che l'azione è dannosa e lo spegnimento sarebbe benefico, ma l'umano miopico, fidandosi della sua prior che l'azione sia probabilmente sicura ($q$ è basso), rifiuta di sovraintitolare. Di conseguenza, l'IA non chiede, e l'azione dannosa viene eseguita.
• Interpretazione Economica: Il divario è il "prezzo della comunicazione di oversight non credibile". Se la richiesta è un segnale credibile, la prior $q$ dell'umano diventa irrilevante per la decisione di spegnimento; se non lo è, la prior $q$ agisce come una barriera all'intervento.

Dinamiche Multi-Round
Il documento analizza come il sistema esca dalla "slab" attraverso round ripetuti:

1. Apprendimento Passivo: Anche senza segnalazione, se l'IA gioca la proposta, l'umano osserva gli esiti. Sotto l'Assunzione 2 (proposte informative), la credenza $q_n$ dell'umano converge a 1 quasi certamente. Il tempo atteso per uscire dal regime di fallimento è limitato da disuguaglianze di tipo Wald che coinvolgono la divergenza KL ($\eta$) tra le distribuzioni degli esiti.
2. Segnalazione Attiva: Se l'IA adotta una policy separatrice (chiede se e solo se $\omega = \omega_H$), la credenza dell'umano salta a 1 immediatamente all'osservazione di una "richiesta". Tuttavia, sotto una risposta miopica con ritardo di un periodo (dove l'umano non può reagire alla richiesta nello stesso round), questa segnalazione è vantaggiosa solo se $b > b^{**} = b^*/\gamma$. L'IA paga il costo $c_{ask}$ nel round corrente per garantire un oversight efficace in tutti i round futuri.

5. Significato e Ambito

Il documento afferma che la sua importanza primaria risiede nella formalizzazione dell'asimmetria informativa bidirezionale intrinseca nei sistemi autonomi in cui gli agenti possiedono conoscenze private sulle modalità di fallimento.

• Contributo Teorico: Fornisce caratterizzazioni esatte e in forma chiusa di policy di deferimento ottimali in un setting che richiederebbe altrimenti un'analisi intratabile di POMDP.
• Approfondimento Pratico: Dimostra che i canali di comunicazione "non credibili" (dove la richiesta di aiuto di un'IA non è fiducia come segnale di pericolo) creano una specifica regione di danno evitabile. La soluzione non è necessariamente un'IA migliore o umani migliori, ma un design dell'interfaccia che renda la "richiesta" un segnale credibile, eliminando così la regione di fallimento miopica.
• Limitazioni: Gli autori dichiarano esplicitamente che i risultati si basano su una struttura di banditi contestuali (senza transizioni di stato) e prior di misura prodotto. La policy ottimale multi-round, gli effetti di credenze correlate e l'estensione a POMDP completi con dinamiche di Markov rimangono problemi aperti. L'analisi delle dinamiche multi-round è parziale, confrontando meccanismi specifici (passivo vs attivo) piuttosto che caratterizzare l'ottimo globale.