$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Technische Samenvatting: Flip-Team: Coöperatieve Overname-spellen met Stochastische Menselijke Override

Probleemstelling
Systemen voor gedeelde autonomie, die cruciaal zijn in domeinen zoals autonoom rijden en assistieve robotica, vereisen principiële mechanismen voor de overdracht van controle tussen mensen en autonome agenten. Bestaande benaderingen vertrouwen vaak op controle-blending of heuristische schakelregels die een gebrek hebben aan theoretische garanties en geen rekening houden met de dynamiek van autoriteitsverdracht. Bovendien gaan veel huidige frameworks uit van symmetrische rollen of vereisen ze volledige kennis van de menselijke nutfunctie, wat vaak onrealistisch is. Er bestaat een specifste kloof in het modelleren van autoriteitsschakeling waarbij mensen een asymmetische "override"-capaciteit behouden (het vermogen om in te grijpen zelfs wanneer de agent de controle heeft) onder stochastische condities, terwijl beide agenten een gemeenschappelijk missiedoel nastreven. Dit artikel adresseert de behoefte aan een coöperatief framework dat optimale schakelbeleid bepaalt zonder afhankelijk te zijn van ad-hoc regels of continue menselijke betrokkenheid.

Methodologie
De auteurs stellen Flip-Team voor, een coöperatief speltheoretisch framework geformuleerd als een identical-interest dynamisch spel. De kerninnovatie is het inbedden van de schakelbeslissing direct in de systeemdynamica, in plaats van het te behandelen als een extern arbitrage-mechanisme.

1. Spelformulering:

   • Toestandsruimte: De systeemtoestand $x_k$ evolueert onder menselijke controle ($\alpha_k = H$) of autonome controle ($\alpha_k = A$).
   • FlipDyn Toestand: Een discrete toestand $\alpha_k$ houdt bij wie de autoriteit heeft. Transities worden gestuurd door agent-acties: "idle" (controle behouden) of "takeover/request" (overname/verzoek).
   • Stochastische Override: Een belangrijk kenmerk is de stochastische menselijke override. Wanneer de autonome agent de controle heeft ($\alpha_k = A$) en de mens probeert in te grijpen ($\pi^H_k = 1$) terwijl de agent geen overdracht verzoekt, slaagt de overname met waarschijnlijkheid $p_k$. Dit vangt interface-latentie en arbitrage-mechanismen op waarbij menselijke autoriteit superieur maar niet gegarandeerd is.
   • Kostenfunctie: De agenten minimaliseren gezamenlijk een totale kostenfunctie $J$ bestaande uit staatskosten (volgfout, energie) en overnamekosten (cognitieve belasting, transitierisico). De kosten zijn asymmetrisch ($g^H \neq g^A$, $h \neq a$) om verschillende effectiviteit van de controle en schakelbelasting te reflecteren.

2. Algemene Systeemanalyse:

   • Het probleem wordt opgelost met behulp van dynamische programmering. De auteurs definiëren waardefuncties en cost-to-go matrices voor beide FlipDyn-toestanden ($H$ en $A$).
   • Theorem 1 stelt de existentie vast van team-optimale schakelbeleid in zuivere strategieën. Het leidt expliciete drempelvoorwaarden af voor autoriteitsverdracht op basis van het verschil in toekomstige waardefuncties ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$), geschaald door overnamekosten en de override-waarschijnlijkheid $p_k$.

3. Lineair-Quadratische (LQ) Extensie:

   • Voor lineaire systemen met kwadratische kosten leiden de auteurs Corollary 1 af, die gesloten vorm recursies biedt voor de optimale schakelbeleid en waardefunctieparameters ($P^H_k, P^A_k$).
   • Cruciaal is dat deze formulering mogelijk maakt dat de schakeldrempels offline berekend kunnen worden en onafhankelijk blijven van de continue toestand $x$ in het scalaire geval, of alleen afhankelijk zijn van de toestand via een kwadratische vorm in het meerdimensionale geval. Dit garandeert computationele efficiëntie onafhankelijk van de cardinaliteit van de continue toestandsruimte.

Belangrijkste Bijdragen

1. Coöperatieve Overnameformulering: Het artikel formuleert het mens-autonomie overnameprobleem als een identical-interest dynamisch spel waarbij schakelbeslissingen in de systeemdynamica zijn ingebed. Dit verenigde framework vangt asymmetrische autoriteit, stochastische menselijke override en toestand-afhankelijke kosten op.
2. Karakterisering van Optimale Schakeling: De auteurs stellen de existentie van team-optimale beleid vast en karakteriseren deze via expliciete drempelvoorwaarden. Deze voorwaarden bepalen wanneer autoriteitsoverdrachten plaatsvinden op basis van de afweging tussen toekomstige kostenverschillen en de probabilistische kosten van schakelen.
3. Analytische Oplossingen voor LQ-systemen: Voor lineair-kwadratische systemen leidt het artikel gesloten vorm recursies af voor optimale beleid en waardefuncties. Dit maakt efficiënte berekening van coöperatieve overname-strategieën in continue toestandsruimtes mogelijk, waarbij schakeldrempels onafhankelijk zijn van de continue toestand (in scalaire gevallen) of gedefinieerd worden door matrix-ongelijkheden (in meerdimensionale gevallen).

Resultaten
Het framework werd gevalideerd op scalaire en meerdimensionale lineaire systemen:

• Scalair LTI-systeem: Simulaties over een eindige horizon ($L=40$) toonden aan dat het schakelgedrag zeer gevoelig is voor de override-waarschijnlijkheid $p$. Een kritische drempel $p^* = H/(H+A)$ werd geïdentificeerd; onder deze waarde is unilaterale menselijke override nooit optimaal. Naarmate $p$ toeneemt, neemt de frequentie van optimale overrides toe, wat een niet-monotoon beleidsevolutie laat zien in intermediaire regimes.
• Voertuig Laterale Regeling (2D): In een 2D voertuig-rijstrookvolgtaken verminderde het Flip-Team beleid de worst-case kosten met 18,65% vergeleken met een "altijd-autonome" baseline en presteerde het beter dan fixed-interval schakelstrategieën.
• Toestandsdimensie: De resultaten benadrukten een fundamenteel structureel verschil tussen scalaire en meerdimensionale systemen. In scalaire systemen is schakelen toestand-onafhankelijk. In hogere dimensies betreft de schakelvoorwaarde matrix-ongelijkheden ($\tilde{P}_{k+1} \succeq H/p$), wat betekent dat een override optimaal kan zijn voor toestanden die uitgelijnd zijn met specifieke eigenvectoren van de waardeververschil-matrix, maar niet voor andere.

Betekenis en Claims
Het artikel claimt dat het funderen van gedeelde autonomie in coöperatieve speltheorie een principieel alternatief biedt voor heuristische blending of arbitrage. Door de mens en de autonomie te behandelen als één verenigd team met een gemeenschappelijk doel maar verschillende rollen, levert Flip-Team optimale schakelbeleid die zich aanpast aan systeemdynamica, kostenstructuren en de betrouwbaarheid van menselijke interventie. Het framework adresseert expliciet de afwegingen tussen menselijke aanpasbaarheid en autonome efficiëntie.

De auteurs merken beperkingen op: het framework gaat uit van identieke belangen (uitgelijnde doelstellingen), behandelt de override-waarschijnlijkheid als bekend (wat schatting tijdens implementatie vereist) en beperkt gesloten vorm resultaten tot LQ-systemen. Toekomstig werk wordt voorgesteld om het framework uit te breiden naar Bayesiaanse spellen met private informatie, online leren van override-waarschijnlijkheden en fysieke validatie met human-in-the-loop experimenten.