$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Resumen Técnico: Flip-Team: Juegos de Toma de Control Cooperativa con Anulación Humana Estocástica

Planteamiento del Problema
Los sistemas de autonomía compartida, críticos en dominios como la conducción autónoma y la robótica asistencial, requieren mecanismos fundamentados para la transferencia de control entre humanos y agentes autónomos. Los enfoques existentes suelen depender de la mezcla de control o de reglas de conmutación heurísticas que carecen de garantías teóricas y no tienen en cuenta la dinámica de la transferencia de autoridad. Además, muchos marcos actuales asumen roles simétricos o requieren el conocimiento total de la utilidad humana, lo cual es a menudo poco realista. Existe una brecha específica en la modelización de la conmutación de autoridad donde los humanos conservan una capacidad de "anulación" (override) asimétrica (la capacidad de intervenir incluso cuando el agente tiene el control) bajo condiciones estocásticas, mientras ambos agentes persiguen un objetivo de misión común. Este artículo aborda la necesidad de un marco cooperativo que determine políticas de conmutación óptimas sin depender de reglas ad hoc o de la participación humana continua.

Metodología
Los autores proponen Flip-Team, un marco de teoría de juegos cooperativos formulado como un juego dinámico de interés idéntico. La innovación central es la integración de la decisión de conmutación directamente en la dinámica del sistema, en lugar de tratarla como un mecanismo de arbitraje externo.

1. Formulación del Juego:

   • Espacio de Estados: El estado del sistema $x_k$ evoluciona bajo control humano ($\alpha_k = H$) o control autónomo ($\alpha_k = A$).
   • Estado FlipDyn: Un estado discreto $\alpha_k$ rastrea quién posee la autoridad. Las transiciones están gobernadas por las acciones de los agentes: "inactivo" (mantener el control) o "toma de control/solicitud".
   • Anulación Estocástica (Stochastic Override): Una característica clave es la anulación humana estocástica. Cuando el agente autónomo tiene el control ($\alpha_k = A$) y el humano intenta intervenir ($\pi^H_k = 1$) mientras el agente no solicita un traspaso, la toma de control tiene éxito con una probabilidad $p_k$. Esto captura la latencia de la interfaz y los mecanismos de arbitraje donde la autoridad humana es superior pero no garantizada.
   • Función de Costo: Los agentes minimizan conjuntamente un costo total $J$ que comprende costos de estado (error de seguimiento, energía) y costos de toma de control (carga cognitiva, riesgo de transición). Los costos son asimétricos ($g^H \neq g^A$, $h \neq a$) para reflejar la diferencia en la efectividad del control y las cargas de conmutación.

2. Análisis del Sistema General:

   • El problema se resuelve mediante programación dinámica. Los autores definen funciones de valor y matrices de costo de llegada para ambos estados FlipDyn ($H$ y $A$).
   • Teorema 1 establece la existencia de políticas de conmutación óptimas para el equipo en estrategias puras. Deriva condiciones de umbral explícitas para la transferencia de autoridad basadas en la diferencia de los valores futuros ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) escaladas por los costos de toma de control y la probabilidad de anulación $p_k$.

3. Extensión Lineal-Cuadrática (LQ):

   • Para sistemas lineales con costos cuadráticos, los autores derivan la Corolario 1, proporcionando recursiones de forma cerrada para las políticas de conmutación óptimas y los parámetros de la función de valor ($P^H_k, P^A_k$).
   • Crucialmente, esta formulación permite que los umbrales de conmutación se calculen offline y permanezcan independientes del estado continuo $x$ en el caso escalar, o dependan del estado solo a través de una forma cuadrática en el caso multidimensional. Esto asegura la eficiencia computacional independientemente de la cardinalidad del espacio de estado continuo.

Contribuciones Clave

1. Formulación de Toma de Control Cooperativa: El artículo formula el problema de la toma de control humano-autonomía como un juego dinámico de interés idéntico donde las decisiones de conmutación están integradas en la dinámica del sistema. Este marco unificado captura la autoridad asimétrica, la anulación humana estocástica y los costos dependientes del estado.
2. Caracterización de la Conmutación Óptima: Los autores establecen la existencia de políticas óptimas para el equipo y las caracterizan mediante condiciones de umbral explícitas. Estas condiciones determinan cuándo ocurren las transferencias de autoridad basándose en el compromiso entre la diferencia de costos futuros y el costo probabilístico de la conmutación.
3. Soluciones Analíticas para Sistemas LQ: Para sistemas lineales-cuadráticos, el artículo deriva recursiones de forma cerrada para las políticas óptimas y las funciones de valor. Esto permite el cálculo eficiente de estrategias de toma de control cooperativa en espacios de estado continuos, con umbrales de conmutación que son independientes del estado continuo (en casos escalares) o definidos por desigualdades matriciales (en casos multidimensionales).

Resultados
El marco fue validado en sistemas lineales escalares y multidimensionales:

• Sistema LTI Escalar: Las simulaciones sobre un horizonte finito ($L=40$) demostraron que el comportamiento de conmutación es altamente sensible a la probabilidad de anulación $p$. Se identificó un umbral crítico $p^* = H/(H+A)$; por debajo de este valor, la anulación humana unilateral nunca es óptima. A medida que $p$ aumenta, la frecuencia de las anulaciones óptimas aumenta, mostrando una evolución de política no monótona en regímenes intermedios.
• Regulación Lateral de Vehículo (2D): En una tarea de seguimiento de carril de vehículo en 2D, la política Flip-Team redujo el costo del peor caso en un 18.65% en comparación con una línea base de "siempre autónoma" y superó a las estrategias de conmutación de intervalo fijo.
• Dimensionalidad del Estado: Los resultados destacaron una diferencia estructural fundamental entre sistemas escalares y multidimensionales. En sistemas escalares, la conmutación es independiente del estado. En dimensiones superiores, la condición de conmutación implica desigualdades matriciales ($\tilde{P}_{k+1} \succeq H/p$), lo que significa que la anulación puede ser óptima para estados alineados con ciertos autovectores de la matriz de diferencia de valor, pero no para otros.

Significancia y Reivindicaciones
El artículo sostiene que fundamentar la autonomía compartida en la teoría de juegos cooperativos proporciona una alternativa con principios frente a la mezcla heurística o el arbitraje. Al tratar al humano y a la autonomía como un equipo unificado con un objetivo común pero roles distintos, Flip-Team produce políticas de conmutación óptimas que se adaptan a la dinámica del sistema, las estructuras de costos y la fiabilidad de la intervención humana. El marco aborda explícitamente los compromisos entre la adaptabilidad humana y la eficiencia autónoma.

Los autores señalan las limitaciones: el marco asume intereses idénticos (objetivos alineados), trata la probabilidad de anulación como conocida (lo que requiere estimación en el despliegue) y restringe los resultados de forma cerrada a sistemas LQ. Se propone trabajo futuro para extender el marco a juegos bayesianos con información privada, aprendizaje en línea de las probabilidades de anulación y validación física con experimentos de humano en el bucle (human-in-the-loop).