A Contextual-Bandit Oversight Game with Two-Sided Informational Asymmetry

Technische Samenvatting: Een Contextual-Bandit Oversight Game met Twee Zijdige Informatie-asymmetrie

1. Probleemstelling

Het artikel behandelt de uitdaging van het kalibreren van menselijke interventie in autonome systemen (robotica of software) wanneer er sprake is van twee zijdige informatie-asymmetrie. In tegenstelling tot standaardmodellen waarbij slechts één partij over privé-informatie beschikt, stelt deze setting het volgende:

• Menselijke Privé-informatie ($\theta$): De menselijke supervisor kent privé hun beloningsfunctie (voorkeuren, risicotolerantie en waardering van uitkomsten).
• AI Privé-informatie ($\omega$): De AI-agent kent privé de "kwaliteit" of faalmodi van zijn voorgestelde actie, afgeleid van observaties (bijv. sensordata, code-inspectie) die voor de mens ontoegankelijk zijn.

De kern van het probleem is het bepalen van het optimale runtime-interactieprotocol (een "play/ask/trust/oversee"-interface) waarbij de AI kiest of hij uitstelt (vraagt/ask) en de mens kiest of zij ingrijpt (overzien/oversee). De auteurs stellen dat bestaande kaders falen om deze specifieke dualiteit te vatten: Cooperative Inverse Reinforcement Learning (CIRL) modelert een eenzijdige onzekerheid over voorkeuren, maar mist de runtime-uitstelinterface en de AI-privé voorstelkwaliteit; de Oversight Game modelleert de interface, maar gaat uit van volledige informatie.

2. Methodologie

Om exacte karakteriseringen te bereiken die in volledige Partially Observable Markov Decision Process (POMDP) settings vermoedelijk onoplosbaar zijn, hanteren de auteurs een Contextual-Bandit kader. Dit elimineert fysieke toestandsveranderingen ($S \to S'$), waardoor de waarde van informatie en correctie wordt geïsoleerd van de dynamiek van de toestand, terwijl de gemeenschappelijke overtuiging (common belief) als een dynamisch gecontroleerde toestand over rondes heen behouden blijft.

Het Model (CB-Oversight-CIRL Game):

• Structuur: Een spel met een eindige horizon (of een gedisconteerde oneindige horizon) met i.i.d. contexten $s_t$.
• Typen: $\theta \in \Theta$ (menselijke belonings-type) en $\omega \in \Omega$ (AI-observatiemodel-type).
• Bilinaire Payoff: De team-payoff wordt gedefinieerd als $f(\theta, \omega) = \langle O_\omega, R_\theta \rangle$, waarbij $O_\omega$ de distributie van uitkomsten is gegeven het privé-type van de AI, en $R_\theta$ de beloningsfunctie van de mens is. Deze factorisatie scheidt de kennis van de AI over wat er gebeurt van de kennis van de mens over wat ertoe doet.
• Interface:
  1. AI stelt actie $a_\sigma$ voor.
  2. AI selecteert meta-actie: play (spelen) of ask (vragen).
  3. Indien ask, selecteert Mens meta-actie: trust (vertrouwen) of oversee (overzien).
  4. Oversee triggert een correctie (bijv. shutdown) gebaseerd op de overtuiging van de mens.
• Kosten: $c_{ask}$ (kosten van uitstel) en $c_{ov}$ (kosten van overzien).

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Formele Game Definitie: Een contextual-bandit teamspel (Definitie 1) dat de Oversight Game interface integreert met twee zijdige asymmetrische informatie, waarbij CIRL en Off-Switch Game varianten als limietgevallen worden teruggewonnen.
2. One-Shot Karakteriseringen: Twee verschillende oplossingen voor een enkele ronde ($T=1$):
   • Team Optimum: Een globale coördinator optimaliseert de policies van beide agenten gezamenlijk. De optimale policy is een deterministisch paar van verzamelingen $(B, C)$ waarbij $B \subseteq \Omega$ de AI-typen zijn die vragen, en $C \subseteq \Theta$ de menselijke typen zijn die overzien.
   • Myopic Rule (Mijnopische Regel): Een gedragsmatig natuurlijke regel waarbij de mens de "ask" van de AI als niet-informatief (niet-signalerend) behandelt en handelt op basis van haar prior-overtuiging.
3. Dynamische Resolutie Analyse: Een gedeelde multi-ronde analyse die aantoont hoe het gat tussen de mijnopische en de team-optimale policies nauwer wordt over de tijd via passieve leerprocessen (de mens update de overtuiging vanuit geobserveerde uitkomsten) en actieve signalering (de AI gebruikt "ask" als een geloofwaardig signaal).

4. Belangrijkste Resultaten

De "Slab" van Vermijdbare Schade (One-Shot Analyse)
Het artikel identificeert een kritieke regio van falen, de "slab" genoemd, in de ruimte van priors $(b, q)$, waarbij $b$ de waarschijnlijkheid is dat de mens een "high-stakes" type ($\theta_1$) is en $q$ de waarschijnlijkheid dat de actie schadelijk is ($\omega_H$).

• Team Optimum: Vraagt als $b > b^*$, waarbij $b^* = \frac{c_{ask}}{|f_{1H}| - c_{ov}}$. Cruciaal is dat deze drempel onafhankelijk is van $q$. Als de AI vraagt, update de mens naar de post-ask posterior (wetende dat $\omega = \omega_H$) en sluit af.
• Myopic Rule: Vraagt alleen als $b > b^*$ EN $q > q^*$, waarbij $q^*$ een drempel is afgeleid van de verwachte payoff onder de prior.
• Het Gat (The Gap): De regio $\{b > b^*, q \le q^*\}$ vertegenwoordigt de "slab". Hier weet de AI dat de actie schadelijk is en dat shutdown voordelig zou zijn, maar de mijnopische mens, die vertrouwt op haar prior dat de actie waarschijnlijk veilig is ($q$ is laag), weigert te overzien. Bijgevolg vraagt de AI niet, en wordt de schadelijke actie uitgevoerd.
• Economische Interpretatie: Het gat is de "prijs van niet-geloofwaardige oversight-communicatie". Als de "ask" een geloofwaardig signaal is, wordt de prior $q$ van de mens irrelevant voor de beslissing om te overzien; als dit niet het geval is, fungeert de prior $q$ als een barrière voor interventie.

Multi-Round Dynamiek
Het artikel analyseert hoe het systeem de "slab" verlaat over opeenvolgende rondes:

1. Passieve Leerprocessen: Zelfs zonder signalering, als de AI het voorstel uitvoert (play), observeert de mens de uitkomsten. Onder Aanname 2 (informatieve voorstellen), convergeert de overtuiging $q_n$ van de mens bijna zeker naar 1. De verwachte tijd om de faalregime te verlaten wordt begrensd door Wald-type ongelijkheden met betrekking tot de KL-divergentie ($\eta$) tussen de distributies van de uitkomsten.
2. Actieve Signalering: Als de AI een scheidende policy adopteert (vraag enkel als $\omega = \omega_H$), springt de overtuiging van de mens onmiddellijk naar 1 bij het observeren van een "ask". Echter, onder een one-period-lagged myopic response (waarbij de mens niet in dezelfde ronde kan reageren op de "ask"), is deze signalering alleen gunstig als $b > b^{**} = b^*/\gamma$. De AI betaalt de kosten $c_{ask}$ in de huidige ronde om effectieve oversight in alle toekomstige rondes te verzekeren.

5. Betekenis en Reikwijdte

Het artikel stelt dat de primaire betekenis ligt in het formaliseren van de twee zijdige informatie-asymmetrie die inherent is aan autonome systemen waarbij agenten beschikken over privé-kennis van faalmodi.

• Theoretische Bijdrage: Het biedt exacte, gesloten vorm karakteriseringen van optimale uitstel-policies in een setting die anders onhandelbare POMDP-analyses zou vereisen.
• Praktisch Inzicht: Het demonstreert dat "niet-geloofwaardige" communicatiekanalen (waarbij een verzoek van een AI om hulp niet wordt vertrouwd als een signaal van gevaar) specifieke regio's van vermijdbare schade creëren. De oplossing is niet noodzakelijkerwijs een betere AI of betere mensen, maar een interface-ontwerp dat de "ask" een geloofwaardig signaal maakt, waardoor de mijnopische faalregio wordt geëlimineerd.
• Beperkingen: De auteurs geven expliciet aan dat de resultaten steunen op een contextual-bandit structuur (geen toestandsveranderingen) en product-maat priors. De optimale multi-round policy, de effecten van gecorreleerde overtuigingen, en de uitbreiding naar volledige POMDP's met Markov-dynamiek blijven openstaande problemen. De analyse van multi-round dynamiek is gedeeltelijk en vergelijkt specifieke mechanismen (passief vs. actief) in plaats van een globale optimum te karakteriseren.