Irrational pursuit-evasion differential games: A cumulative prospect theory approach

1. Problemstellung

Das Paper adressiert ein grundlegendes Problem in der Theorie der Differentialspiele: Die Modellierung von Pursuit-Evasion (PE)-Spielen (Verfolgungs- und Ausweichspielen), bei denen die Akteure (Verfolger und Fliehender) nicht als vollständig rational angenommen werden.

• Kontext: In realen Mensch-Maschine-Systemen (z. B. Drohnen-Schwärme, autonomes Fahren) treffen Akteure Entscheidungen unter Unsicherheit. Herkömmliche Modelle gehen von rationalen Spielern aus, die Wahrscheinlichkeitsverteilungen exakt wahrnehmen und den Erwartungswert optimieren.
• Lücke: In der Praxis zeigen Menschen jedoch irrationales Verhalten, gekennzeichnet durch:
  • Risikovermeidung (Risk Aversion): Die Tendenz, Verluste stärker zu gewichten als Gewinne.
  • Wahrscheinlichkeitsverzerrung (Probability Sensitivity): Die Tendenz, kleine Wahrscheinlichkeiten zu überschätzen und große zu unterschätzen.
• Ziel: Die Untersuchung, wie diese irrationalen Wahrnehmungen die Einfangbarkeit (Capturability) und die Existenz von Nash-Gleichgewichten in PE-Differentialspielen beeinflussen, insbesondere in einem bayesianischen Rahmen, wo Unsicherheiten in den Gewichtungsmatrizen der Kostenfunktion durch Wahrscheinlichkeitsverteilungen modelliert werden.

2. Methodik

Die Autoren entwickeln einen neuen theoretischen Rahmen, der die Cumulative Prospect Theory (CPT) in das klassische Differentialspiel integriert.

• Modellierung der Irrationalität:
  • Anstelle der klassischen Kostenfunktion $J$ wird ein Prospektwert $C_i(J)$ für jeden Spieler $i$ (Verfolger $i=1$, Fliehender $i=2$) definiert.
  • Dieser Wert wird durch eine CPT-Funktion berechnet, die zwei Komponenten trennt:
    1. Gewinnbereich ($C^+$): Bewertung von Ergebnissen, die besser als ein Referenzpunkt (hier der rationale Erwartungswert $J_r$) sind.
    2. Verlustbereich ($C^-$): Bewertung von Ergebnissen, die schlechter als der Referenzpunkt sind.
  • Die Funktion nutzt nichtlineare Wertfunktionen (mit Parametern $\alpha, \beta$ für Empfindlichkeit) und Wahrscheinlichkeitsgewichtungsfunktionen (mit Parametern $\gamma$ für Verzerrung und $\epsilon$ für den Verlustmultiplikator).
• Bayesianischer Rahmen:
  • Die Unsicherheit wird durch eine zufällige Störung der Zustandsbewertungsmatrix $Q$ modelliert ($Q = Q_r + \Sigma_Q$), wobei $\Sigma_Q$ normalverteilt ist.
  • Die Spieler optimieren nicht den Erwartungswert $E[J]$, sondern ihren subjektiven CPT-basierten Wert $J_i = J_r \pm C_i(J)$.
• Analysewerkzeuge:
  • Gekoppelte Riccati-Gleichungen: Die Optimierung führt zu einem System gekoppelter algebraischer Riccati-Gleichungen (AREs), die von den irrationalen Parametern abhängen.
  • Brouwer'scher Fixpunktsatz: Um die Existenz einer Lösung für diese gekoppelten Gleichungen (und damit eines CPT-Nash-Gleichgewichts) nachzuweisen, wird der Fixpunktsatz von Brouwer angewendet.
  • Lyapunov-Analyse: Die Stabilität des geschlossenen Regelkreises und die Bedingung für den erfolgreichen Einfang ($x(t) \to 0$) werden über Lyapunov-Funktionen analysiert.

3. Wichtige Beiträge

1. Erste Integration von CPT in PE-Differentialspiele: Das Paper ist der erste Versuch, subjektive Wahrnehmungsfehler (Risikovermeidung und Wahrscheinlichkeitsverzerrung) systematisch in den Rahmen von Differentialspielen einzubetten.
2. Theoretische Bedingungen für Einfangbarkeit: Es werden hinreichende Bedingungen für die Einfangbarkeit in drei verschiedenen Szenarien hergeleitet, abhängig von den relativen Kontrollfähigkeiten der Spieler:
   • Szenario 1: Der Verfolger hat mehr Kontrollkraft ($R^{-1} > \Pi^{-1}$).
   • Szenario 2: Der Fliehende hat mehr Kontrollkraft ($R^{-1} < \Pi^{-1}$).
   • Szenario 3: Gleiche Kontrollkraft ($R^{-1} = \Pi^{-1}$).
3. Existenz des CPT-Nash-Gleichgewichts: Es wird rigoros bewiesen, dass unter bestimmten Bedingungen an die Systemparameter und die irrationalen CPT-Parameter ein Nash-Gleichgewicht existiert.
4. Analyse des irrationalen Einflusses: Das Paper zeigt, dass Irrationalität nicht immer nachteilig ist. Je nach Szenario und Parametern kann irrationales Verhalten dem Verfolger oder dem Fliehenden vorteilhaft sein.

4. Ergebnisse

Die numerischen Simulationen und theoretischen Analysen ergeben folgende Schlüsselerkenntnisse:

• Überwindung rationaler Grenzen: Bestimmte Einfangsituationen, die unter rationalen Annahmen unmöglich sind (z. B. wenn der Fliehende eine höhere Kontrollkraft hat), können durch spezifische Konfigurationen irrationaler Parameter erreicht werden.
• Einfluss der Parameter:
  • Verfolger: Eine geringere Gewinnempfindlichkeit ($\alpha_1$), höhere Verlustempfindlichkeit ($\beta_1$) und ein höherer Verlustmultiplikator ($\epsilon_1$) begünstigen in Szenario 1 den Einfang.
  • Fliehender: In Szenario 2 (wo der Fliehende eigentlich dominieren würde) kann eine spezifische Kombination aus irrationalen Parametern des Verfolgers (z. B. hohe Gewinnempfindlichkeit) dazu führen, dass der Verfolger dennoch gewinnt.
• Szenario 3 (Gleichstand): Selbst wenn beide Spieler gleiche Kontrollkraft haben und der Verfolger rational keinen Erfolg hätte, kann ein Gleichgewicht und ein erfolgreicher Einfang erreicht werden, wenn die Differenz der irrationalen Terme ($\Psi_1 - \Psi_2$) die Unsicherheit kompensiert.
• Numerische Validierung: Die Simulationen bestätigen, dass die hergeleiteten Bedingungen (Gleichungen 28–36) die Grenzen zwischen erfolgreichen und gescheiterten Einfängen genau beschreiben.

5. Bedeutung und Ausblick

• Theoretische Grundlage: Das Paper schließt eine signifikante Lücke zwischen der verhaltensökonomischen Theorie (CPT) und der regelungstechnischen Spieltheorie. Es bietet einen rigorosen mathematischen Rahmen für die Analyse von Mensch-Maschine-Systemen, in denen menschliche Fehler oder Verzerrungen eine Rolle spielen.
• Praktische Relevanz: Die Ergebnisse sind entscheidend für das Design von autonomen Systemen, die mit menschlichen Operatoren interagieren (z. B. in der Luftfahrt oder beim autonomen Fahren). Ein System, das menschliche Irrationalität ignoriert, könnte in kritischen Situationen versagen.
• Zukünftige Arbeiten: Die Autoren planen, den Rahmen auf multi-Player-Szenarien in vernetzten Systemen zu erweitern, um zu untersuchen, wie sich Irrationalität in komplexen Agentennetzwerken ausbreitet und koppelt.

Zusammenfassend demonstriert das Paper, dass die Berücksichtigung menschlicher Irrationalität nicht nur notwendig ist, um reale Phänomene zu erklären, sondern auch neue strategische Möglichkeiten eröffnet, die unter der Annahme vollständiger Rationalität unsichtbar bleiben.