$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Resumo Técnico: Flip-Team: Jogos de Cooperação de Assunção de Controle com Sobrescrita Humana Estocástica

Definição do Problema
Sistemas de autonomia compartilhada, críticos em domínios como condução autônoma e robótica assistiva, requerem mecanismos fundamentados para a transferência de controle entre humanos e agentes autônomos. As abordagens existentes frequentemente dependem de mistura de controle ou regras de alternância heurísticas que carecem de garantias teóricas e falham em considerar a dinâmica da transferência de autoridade. Além disso, muitos frameworks atuais assumem papéis simétricos ou exigem conhecimento total da utilidade humana, o que é muitas vezes irrealista. Existe uma lacuna específica na modelagem da alternância de autoridade onde os humanos retêm uma capacidade de "sobrescrita" assimétrica (a capacidade de intervir mesmo quando o agente está no controle) sob condições estocásticas, enquanto ambos os agentes buscam um objetivo de missão comum. Este artigo aborda a necessidade de um framework cooperativo que determine políticas de alternância ótimas sem depender de regras ad hoc ou engajamento humano contínuo.

Metodologia
Os autores propõem o Flip-Team, um framework de teoria de jogos cooperativos formulado como um jogo dinâmico de interesse idêntico. A inovação central é incorporar a decisão de alternância diretamente na dinâmica do sistema, em vez de tratá-la como um mecanismo de arbitragem externo.

1. Formulação do Jogo:

   • Espaço de Estados: O estado do sistema $x_k$ evolui sob controle humano ($\alpha_k = H$) ou controle autônomo ($\alpha_k = A$).
   • Estado FlipDyn: Um estado discreto $\alpha_k$ rastreia quem detém a autoridade. As transições são governadas pelas ações dos agentes: "ocioso" (manter o controle) ou "assunção de controle/solicitação".
   • Sobrescrita Estocástica: Uma característica fundamental é a sobrescrita humana estocástica. Quando o agente autônomo está no controle ($\alpha_k = A$) e o humano tenta intervir ($\pi^H_k = 1$) enquanto o agente não solicita uma passagem de comando, a assunção de controle ocorre com probabilidade $p_k$. Isso captura a latência da interface e mecanismos de arbitragem onde a autoridade humana é superior, mas não garantida.
   • Função de Custo: Os agentes minimizam conjuntamente um custo total $J$ que compreende custos de estado (erro de rastreamento, energia) e custos de assunção de controle (carga cognitiva, risco de transição). Os custos são assimétricos ($g^H \neq g^A$, $h \neq a$) para refletir a eficácia de controle e os encargos de alternância distintos.

2. Análise do Sistema Geral:

   • O problema é resolvido usando programação dinâmica. Os autores definem funções de valor e matrizes de custo-para-ir para ambos os estados FlipDyn ($H$ e $A$).
   • O Teorema 1 estabelece a existência de políticas de alternância ótimas para a equipe em estratégias puras. Eles derivam condições de limiar explícitas para a transferência de autoridade baseadas na diferença de valores futuros ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) escalonadas pelos custos de assunção de controle e pela probabilidade de sobrescrita $p_k$.

3. Extensão Linear-Quadrática (LQ):

   • Para sistemas lineares com custos quadráticos, os autores derivam o Corolário 1, fornecendo recursões de forma fechada para as políticas de alternância ótimas e parâmetros da função de valor ($P^H_k, P^A_k$).
   • Crucialmente, esta formulação permite que os limiares de alternância sejam computados offline e permaneçam independentes do estado contínuo $x$ no caso escalar, ou dependam do estado apenas através de uma forma quadrática no caso multidimensional. Isso garante eficiência computacional independente da cardinalidade do espaço de estados contínuos.

Principais Contribuições

1. Formulação de Assunção de Controle Cooperativa: O artigo formula o problema de assunção de controle humano-autonomia como um jogo dinâmico de interesse idêntico onde as decisões de alternância estão incorporadas na dinâmica do sistema. Este framework unificado captura autoridade assimétrica, sobrescrita humana estocástica e custos dependentes do estado.
2. Caracterização da Alternância Ótima: Os autores estabelecem a existência de políticas ótimas para a equipe e as caracterizam via condições de limiar explícitas. Estas condições determinam quando ocorrem as transferências de autoridade com base no compromisso entre a diferença de custos futuros e o custo probabilístico de alternância.
3. Soluções Analíticas para Sistemas LQ: Para sistemas lineares-quadráticos, o artigo deriva recursões de forma fechada para políticas ótimas e funções de valor. Isso permite a computação eficiente de estratégias de assunção de controle cooperativo em espaços de estados contínuos, com limiares de alternância que são independentes do estado contínuo (em casos escalares) ou definidos por desigualdades matriciais (em casos multidimensionais).

Resultados
O framework foi validado em sistemas lineares escalares e multidimensionais:

• Sistema LTI Escalar: Simulações em um horizonte finito ($L=40$) demonstraram que o comportamento de alternância é altamente sensível à probabilidade de sobrescrita $p$. Um limiar crítico $p^* = H/(H+A)$ foi identificado; abaixo deste valor, a sobrescrita unilateral humana nunca é ótima. À medida que $p$ aumenta, a frequência das sobrescritas ótimas aumenta, mostrando uma evolução de política não monotônica em regimes intermediários.
• Regulação Lateral de Veículo (2D): Em uma tarefa de rastreamento de faixa de veículo 2D, a política Flip-Team reduziu o custo do pior caso em 18,65% em comparação com uma linha de base "sempre autônoma" e superou estratégias de alternância de intervalo fixo.
• Dimensionalidade do Estado: Os resultados destacaram uma diferença estrutural fundamental entre sistemas escalares e multidimensionais. Em sistemas escalares, a alternância é independente do estado. Em dimensões superiores, a condição de alternância envolve desigualdades matriciais ($\tilde{P}_{k+1} \succeq H/p$), o que significa que a sobrescrita pode ser ótima para estados alinhados com autovetores específicos da matriz de diferença de valor, mas não para outros.

Significância e Alegações
O artigo afirma que fundamentar a autonomia compartilhada na teoria de jogos cooperativos fornece uma alternativa principiada à mistura heurística ou arbitragem. Ao tratar o humano e a autonomia como uma equipe unificada com um objetivo comum, mas papéis distintos, o Flip-Team produz políticas de alternância ótimas que se adaptam à dinâmica do sistema, estruturas de custo e confiabilidade da intervenção humana. O framework aborda explicitamente os compromissos entre a adaptabilidade humana e a eficiência autônoma.

Os autores observam limitações: o framework assume interesses idênticos (objetivos alinhados), trata a probabilidade de sobrescrita como conhecida (exigindo estimativa em implantação) e restringe os resultados de forma fechada a sistemas LQ. Trabalhos futuros são propostos para estender o framework para jogos bayesianos com informação privada, aprendizado online de probabilidades de sobrescrita e validação física com experimentos de humano-no-circuito (human-in-the-loop).