$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

기술 요약: Flip-Team: 확률적 인간 개입(Stochastic Human Override)을 포함한 협력적 제어권 전환 게임

문제 정의
자율 주행 및 보조 로봇 공학과 같은 분야에서 핵심적인 공유 자율성(shared autonomy) 시스템은 인간과 자율 에이전트 간의 제어권 전송을 위한 원칙적인 메커니즘을 필요로 한다. 기존의 접근 방식은 제어 블렌딩(control blending)이나 휴리스틱 스위칭 규칙에 의존하는 경우가 많으며, 이는 이론적 보장이 부족하고 권한 전송의 역학을 충분히 고려하지 못한다. 또한, 많은 현재 프레임워크는 대칭적인 역할을 가정하거나 인간의 효용에 대한 완전한 지식을 요구하는데, 이는 현실적이지 않은 경우가 많다. 특히, 인간이 비대칭적인 "개입(override)" 능력(에이전트가 제어 중일 때도 개입할 수 있는 능력)을 보유하고 확률적인 조건 하에서 작동하는 상황에서, 두 에이전트가 공통의 미션 목표를 추구할 때 발생하는 권한 전환 모델링에는 구체적인 공백이 존재한다. 본 논문은 임의적인 규칙이나 지속적인 인간의 참여에 의존하지 않고 최적의 스위칭 정책을 결정하는 협력적 프레임워크의 필요성을 다룬다.

방법론
저자들은 동일 목적 게임(identical-interest dynamic game)으로 정식화된 협력적 게임 이론 프레임워크인 Flip-Team을 제안한다. 핵심 혁신은 스위칭 결정을 외부 중재 메커니즘으로 취급하는 대신, 스위칭 결정을 시스템 역학(system dynamics) 내에 직접 내장시킨 것이다.

1. 게임 정식화:

   • 상태 공간: 시스템 상태 $x_k$는 인간 제어($\alpha_k = H$) 또는 자율 제어($\alpha_k = A$) 하에서 진화한다.
   • FlipDyn 상태: 이산 상태 $\alpha_k$는 누가 권한을 보유하는지 추적한다. 전이는 에이전트의 행동인 "유지(idle)"(제어 유지) 또는 "테이크오버/요청(takeover/request)"에 의해 결정된다.
   • 확률적 개입(Stochastic Override): 핵심 특징은 확률적인 인간 개입이다. 자율 에이전트가 제어 중($\alpha_k = A$)이고 인간이 개입을 시도($\pi^H_k = 1$)하며 에이전트가 핸드오프를 요청하지 않을 때, 테이크오버는 확률 $p_k$로 성공한다. 이는 인터페이스 지연 시간과 인간의 권한이 우월하지만 보장되지는 않는 중재 메커니즘을 포착한다.
   • 비용 함수: 에이전트들은 상태 비용(추적 오차, 에너지)과 테이크오버 비용(인지 부하, 전환 위험)을 포함하는 총 비용 $J$를 공동으로 최소화한다. 비용은 서로 다른 제어 효율성과 스위칭 부담을 반영하기 위해 비대칭적($g^H \neq g^A$, $h \neq a$)이다.

2. 일반 시스템 분석:

   • 문제는 동적 계획법(dynamic programming)을 사용하여 해결된다. 저자들은 FlipDyn 상태($H$ 및 $A$)에 대한 가치 함수와 비용-투-고(cost-to-go) 행렬을 정의한다.
   • **정리 1(Theorem 1)**은 순수 전략(pure strategies)에서의 팀 최적 스위칭 정책의 존재를 확립한다. 이는 테이크오버 비용과 개입 확률 $p_k$에 의해 스케일링된 미래 가치 함수의 차이($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$)를 기반으로 한 권한 전송의 명시적 임계 조건을 도출한다.

3. 선형-이차(LQ) 확장:

   • 선형 시스템 및 이차 비용을 위해, 저자들은 **따름정리 1(Corollary 1)**을 도출하여 최적의 스위칭 정책과 가치 함수 파라미터($P^H_k, P^A_k$)에 대한 폐쇄형 재귀식을 제공한다.
   • 결정적으로, 이 정식화는 스칼라 케이스의 경우 스위칭 임계값이 연속 상태 $x$와 독립적으로 계산될 수 있게 하거나, 다차원 케이스의 경우 상태에 대해 이차 형식(quadratic form)으로만 의존하게 함으로써 계산 효율성을 보장한다. 이는 연속 상태 공간의 카디널리티와 무관하게 계산 효율성을 확보한다.

주요 기여

1. 협력적 테이크오버 정식화: 본 논문은 인간-자율성 테이크오버 문제를 스위칭 결정이 시스템 역학에 내장된 동일 목적 동적 게임으로 정식화한다. 이 통합된 프레임워크는 비대칭적 권한, 확률적 인간 개입, 그리고 상태 의존적 비용을 포착한다.
2. 최적 스위칭의 특성화: 저자들은 팀 최적 정책의 존재를 확립하고 이를 명시적 임계 조건으로 특성화한다. 이 조건은 미래 비용 차이와 확률적 스위칭 비용 사이의 절충안을 바탕으로 권한 전이가 발생하는 시점을 결정한다.
3. LQ 시스템에 대한 해석적 해법: 선형-이차 시스템에 대해, 본 논문은 최적 정책과 가치 함수에 대한 폐쇄형 재귀식을 도출한다. 이를 통해 연속 상태 공간에서도 효율적인 협력적 테이크오버 전략을 계산할 수 있으며, 스위칭 임계값은 스칼라 케이스에서는 상태와 독립적이거나 다차원 케이스에서는 행렬 부등식에 의해 정의된다.

결과
프레임워크는 스칼라 및 다차원 선형 시스템을 통해 검증되었다:

• 스칼라 LTI 시스템: 유한 호라이즌($L=40$)에서의 시뮬레이션 결과, 스위칭 동작은 개입 확률 $p$에 매우 민감함을 보여주었다. 임계값 $p^* = H/(H+A)$가 식별되었는데, 이 값보다 낮으면 일방적인 인간 개입은 최적이 될 수 없다. $p$가 증가함에 따라 최적 개입 빈도가 증가하며, 중간 영역에서는 비단조적인(non-monotonic) 정책 진화를 보인다.
• 차량 횡방향 제어(2D): 2D 차량 차선 추적 작업에서, Flip-Team 정책은 "항상 자율 주행" 베이스라인 대비 최악의 비용을 18.65% 감소시켰으며, 고정 간격 스위칭 전략보다 우수한 성능을 보였다.
• 상태 차원: 결과는 스칼라 시스템과 다차원 시스템 사이의 근본적인 구조적 차이를 강조했다. 스칼라 시스템에서 스위칭은 상태 독립적이다. 반면 고차원 시스템에서 스위칭 조건은 행렬 부등식($\tilde{P}_{k+1} \succeq H/p$)을 포함하므로, 특정 가치 차이 행렬의 특정 고유벡터와 정렬된 상태에서는 개입이 최적일 수 있으나 그렇지 않은 상태에서는 아닐 수 있다.

의의 및 주장
본 논문은 공유 자율성을 협력적 게임 이론에 근거하는 것이 휴리스틱한 블렌딩이나 중재에 대한 원칙적인 대안을 제공한다고 주장한다. 인간과 자율성을 공통의 목표를 가지되 역할이 다른 하나의 통합된 팀으로 취급함으로써, Flip-Team은 시스템 역학, 비용 구조 및 인간 개입의 신뢰성에 적응하는 최적의 스위칭 정책을 산출한다. 이 프레임워크는 인간의 적응성과 자율적 효율성 사이의 절충안을 명시적으로 다룬다.

저자들은 한계점도 언급하였다: 프레임워크는 동일한 이익(정렬된 목표)을 가정하며, 개입 확률을 알려진 것으로 간주(배포 시 추정 필요)하고, 폐쇄형 해법을 LQ 시스템으로 제한한다. 향후 연구로는 베이지안 게임(사적 정보 포함), 개입 확률의 온라인 학습, 그리고 인간 참여형 실험을 통한 물리적 검증으로의 확장을 제안하였다.