$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Technisches Resümee: Flip-Team: Kooperative Übernahmespiele mit stochastischer menschlicher Übersteuerung

Problemstellung
Systeme der geteilten Autonomie (Shared Autonomy), die in Bereichen wie dem autonomen Fahren und der assistiven Robotik von entscheidender Bedeutung sind, erfordern prinzipielle Mechanismen für die Übertragung der Kontrolle zwischen Menschen und autonomen Agenten. Bestehende Ansätze verlassen sich oft auf die Mischung von Steuerungen (Control Blending) oder heuristische Schaltregeln, denen es an theoretischen Garantien mangelt und die die Dynamik der Autoritätsübertragung nicht berücksichtigen. Zudem setzen viele aktuelle Frameworks symmetrische Rollen voraus oder erfordern die vollständige Kenntnis des menschlichen Nutzens, was oft unrealistisch ist. Eine spezifische Lücke besteht in der Modellierung des Autoritätswechsels, bei dem Menschen eine asymmetrische „Übersteuerungsfähigkeit“ (die Fähigkeit einzugreifen, selbst wenn der Agent die Kontrolle innehat) unter stochastischen Bedingungen behalten, während beide Agenten ein gemeinsames Missionsziel verfolgen. Dieses Paper adressiert die Notwendigkeit eines kooperativen Frameworks, das optimale Schaltstrategien bestimmt, ohne auf Ad-hoc-Regeln oder kontinuierliches menschliches Engagement angewiesen zu sein.

Methodik
Die Autoren schlagen Flip-Team vor, ein kooperatives spieltheoretisches Framework, das als ein dynamisches Spiel mit identischen Interessen formuliert ist. Die zentrale Innovation besteht darin, die Schaltentscheidung direkt in die Systemdynamik einzubetten, anstatt sie als einen externen Schlichtungsmechanismus zu behandeln.

1. Spielformulierung:

   • Zustandsraum: Der Systemzustand $x_k$ entwickelt sich entweder unter menschlicher Kontrolle ($\alpha_k = H$) oder autonomer Kontrolle ($\alpha_k = A$).
   • FlipDyn-Zustand: Ein diskreter Zustand $\alpha_k$ verfolgt, wer die Autorität hält. Übergänge werden durch Agentenaktionen gesteuert: „idle“ (Kontrolle behalten) oder „takeover/request“ (Übernahme/Anfrage).
   • Stochastische Übersteuerung: Ein Schlüsselmerkmal ist die stochastische menschliche Übersteuerung. Wenn der autonome Agent die Kontrolle hat ($\alpha_k = A$) und der Mensch versucht einzugreifen ($\pi^H_k = 1$), während der Agent keine Übergabe anfordert, erfolgt die Übernahme mit der Wahrscheinlichkeit $p_k$. Dies bildet Latenzen in der Schnittstelle und Schlichtungsmechanismen ab, bei denen die menschliche Autorität überlegen, aber nicht garantiert ist.
   • Kostenfunktion: Die Agenten minimieren gemeinsam eine Gesamtkostenfunktion $J$, die sich aus Zustandskosten (Folgefehler, Energie) und Übernahmekosten (kognitive Belastung, Übergangsrisiko) zusammensetzt. Die Kosten sind asymmetrisch ($g^H \neq g^A$, $h \neq a$), um unterschiedliche Kontrolleffektivität und Schaltbelastungen widerzuspiegeln.

2. Allgemeine Systemanalyse:

   • Das Problem wird mittels dynamischer Programmierung gelöst. Die Autoren definieren Wertfunktionen und Kosten-zu-gehen-Matrizen für beide FlipDyn-Zustände ($H$ und $A$).
   • Theorem 1 etabliert die Existenz von teamoptimalen Schaltstrategien in reinen Strategien. Es leitet explizite Schwellenbedingungen für den Autoritätstransfer basierend auf der Differenz der zukünftigen Wertfunktionen ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) ab, skaliert durch Übernahmekosten und die Wahrscheinlichkeit der Übersteuerung $p_k$.

3. Linear-Quadratic (LQ) Erweiterung:

   • Für lineare Systeme mit quadratischen Kosten leiten die Autoren Korollar 1 her, welches geschlossene Rekursionen für die optimalen Schaltstrategien und die Parameter der Wertfunktion ($P^H_k, P^A_k$) liefert.
   • Entscheidend ist, dass diese Formulierung es ermöglicht, die Schaltschwellen offline zu berechnen, sodass sie im Skalarfall unabhängig vom kontinuierlichen Zustand $x$ bleiben oder im mehrdimensionalen Fall nur durch eine quadratische Form vom Zustand abhängen. Dies gewährleistet eine rechnerische Effizienz, die unabhängig von der Kardinalität des kontinuierlichen Zustandsraums ist.

Wesentliche Beiträge

1. Kooperative Übernahmeformulierung: Das Paper formuliert das Problem der menschlich-autonomen Übernahme als ein dynamisches Spiel mit identischen Interessen, bei dem die Schaltentscheidungen in die Systemdynamik eingebettet sind. Dieses vereinheitlichte Framework erfasst asymmetrische Autorität, stochastische menschliche Übersteuerung und zustandsabhängige Kosten.
2. Charakterisierung optimaler Schaltung: Die Autoren etablieren die Existenz teamoptimaler Strategien und charakterisieren diese über explizite Schwellenbedingungen. Diese Bedingungen bestimmen, wann Autoritätswechsel erfolgen, basierend auf dem Kompromiss zwischen zukünftigen Kostendifferenzen und den probabilistischen Kosten des Schaltens.
3. Analytische Lösungen für LQ-Systeme: Für linear-quadratische Systeme leitet das Paper geschlossene Rekursionen für optimale Strategien und Wertfunktionen ab. Dies ermöglicht die effiziente Berechnung kooperativer Übernahmestrategien in kontinuierlichen Zustandsräumen, wobei die Schaltschwellen im Skalarfall zustandsunabhängig sind oder durch Matrixungleichungen (im mehrdimensionalen Fall) definiert werden.

Ergebnisse
Das Framework wurde an skalaren und mehrdimensionalen linearen Systemen validiert:

• Skalares LTI-System: Simulationen über einen endlichen Horizont ($L=40$) zeigten, dass das Schaltverhalten hochsensibel gegenüber der Übersteuerungswahrscheinlichkeit $p$ ist. Ein kritischer Schwellenwert $p^* = H/(H+A)$ wurde identifiziert; unter diesem Wert ist eine einseitige menschliche Übersteuerung niemals optimal. Mit steigendem $p$ nimmt die Häufigkeit optimaler Übersteuerungen zu, was eine nicht-monotone Strategieentwicklung in intermediären Regimen zeigt.
• Fahrzeug-Lateralregelung (2D): In einer 2D-Spurhalteaufgabe für Fahrzeuge reduzierte die Flip-Team-Strategie die Worst-Case-Kosten um 18,65 % im Vergleich zu einer „immer-autonomen“ Baseline und übertraf festintervallbasierte Schaltstrategien.
• Zustandsdimensionalität: Die Ergebnisse verdeutlichten einen fundamentalen strukturellen Unterschied zwischen skalaren und mehrdimensionalen Systemen. In skalaren Systemen ist das Schalten zustandsunabhängig. In höheren Dimensionen beinhaltet die Schaltbedingung Matrixungleichungen ($\tilde{P}_{k+1} \succeq H/p$), was bedeutet, dass eine Übersteuerung für Zustände, die mit bestimmten Eigenvektoren der Wertdifferenzmatrix ausgerichtet sind, optimal sein kann, für andere jedoch nicht.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Fundierung der geteilten Autonomie in der kooperativen Spieltheorie eine prinzipielle Alternative zu heuristischen Mischverfahren oder Schlichtungsmechanismen bietet. Indem Mensch und Autonomie als ein vereintes Team mit einem gemeinsamen Ziel, aber unterschiedlichen Rollen behandelt werden, liefert Flip-Team optimale Schaltstrategien, die sich an die Systemdynamik, die Kostenstrukturen und die Zuverlässigkeit menschlicher Intervention anpassen. Das Framework adresset explizit die Kompromisse zwischen menschlicher Anpassungsfähigkeit und autonomer Effizienz.

Die Autoren weisen auf Limitationen hin: Das Framework setzt identische Interessen (ausgerichtete Ziele) voraus, behandelt die Übersteuerungswahrscheinlichkeit als bekannt (was eine Schätzung beim Einsatz erfordert) und beschränkt die geschlossenen Ergebnisse auf LQ-Systeme. Zukünftige Arbeiten schlagen vor, das Framework auf Bayesianische Spiele mit privater Information, Online-Lernen von Übersteuerungswahrscheinlichkeiten und die physische Validierung durch Human-in-the-Loop-Experimente auszuweiten.