기술 요약: 인간-로봇 팀의 공유 자율성을 위한 원칙 기반 권한 전환

문제 정의

사이버 물리 시스템(CPS)에서의 공유 자율성은 인간과 자율 에이전트 간의 제어 할당을 동적으로 결정하는 메커즘을 필요로 한다. 기존의 접근 방식은 제어 입력을 혼합하거나 휴리스틱 전환 규칙에 의존하는 경우가 많다. 이러한 방법들은 이론적 보장이 부족하고, 정확한 의도 예측에 의존하며, 인간 운영자에게 지속적인 인지적 부담(지속적인 입력 요구)을 지운다는 단점이 있다. 또한, 자율 주행 및 원격 제어와 같은 안전 필수 영역에서 인간의 실제 개입 가능성(오버라이드 성향, override propensity)을 고려하지 못해 협업 효율이 저하되는 경우가 빈번하다.

본 연구가 다루는 핵심 과제는, 단순한 임시방편적 규칙에 의존하는 대신, 인간의 오버라이드 능력과 전환에 따른 비용을 명시적으로 모델링하여 권한 전환을 협력적이고 팀 최적화된 결정 문제로 정식화하는 것이다.

방법론: Flip-Team 프레임워크

저자들은 권한 전환을 동일 이익 게임(identical-interest dynamic game)으로 모델링하는 협력 프레임워크인 Flip-Team을 제안한다. 이 시스템은 "human-on-the-loop" 패러다임 하에서 작동하며, 자율 시스템은 독립적으로 작동하되 인간은 감독적 오버라이드 권한을 보유한다.

1. 시스템 역학 및 상태

시스템은 이산 시간 동역학 시스템으로 모델링되며, 시점 $k$에서의 제어 권한은 FlipDyn 상태 $\alpha_k \in \{H, A\}$ (Human 또는 Autonomous)로 표시된다.

• 인간 제어 (Human Control): $x_{k+1} = F^H_k(x_k, u_k)$
• 자율 제어 (Autonomous Control): $x_{k+1} = F^A_k(x_k, w_k)$
• 테이크오버 동작 (Takeover Actions): 에이전트들은 행동 $\pi^j_k \in \{0, 1\}$ (대기 또는 테이크오버 요청)을 취한다.
• 전환 로직 (Transition Logic): 전환은 상호 배타적이다. 결정적으로, 자율 에이전트가 제어 중일 때, 자율 에이전트가 핸드오프를 요청하지 않는다면 인간의 오버라이드 시도는 확률 $p_k$(인간의 오버라이드 성향)로 성공한다. 만약 자율 에이전트가 핸드오프를 요청하면, 전환은 결정론적으로 이루어진다.

2. 비용 구조

목표는 유한 호라이즌 $L$ 동안 총 비용 함수 $J$를 최소화하는 것이다.
$$J = g_{L+1}(x_{L+1}, \alpha_{L+1}) + \sum_{t=1}^{L} \left( g_t(x_t, \alpha_t) + \pi^H_t h_t(x_t) + \pi^A_t a_t(x_t) \right)$$

• 상태 비용 ($g_t$): 성능 지표(예: 추적 오차, 에너지)를 나타내며, 인간 제어와 자율 제어 간에 서로 다를 수 있다 ($g^H_t \neq g^A_t$).
• 전환 비용 ($h_t, a_t$): 인간과 자율 에이전트 각각의 인지 부하, 주의 전환 또는 전환 위험을 나타낸다.

3. 최적 전환 정책 (선형-이차 케이스)

선형 역학 및 이차 비용(LQ 시스템)에 대해, 저자들은 동적 계획법을 사용하여 폐쇄형 해(closed-form solutions)를 도출한다.

• 가치 함수 (Value Functions): 가치 함수는 이차 가치 함수 $V^H_k(x) = x^\top P^H_k x$ 및 $V^A_k(x) = x^\top P^A_k x$로 표현된다.
• 재귀식 (Recursions): 행렬 $P^H_k$와 $P^A_k$는 역방향 재귀를 통해 계산된다.
• 정리 1 (전환 조건): 최적 정책은 전환 비용 및 오버라이드 확률 $p_k$와 비교하여 인간 대 자율 제어의 상대적 비용 이점($\tilde{P}_{k+1}$으로 정량화됨)에 의해 결정된다.
  • 인간이 제어 중일 때: 인간 제어의 비용 이점과 전환 비용이 유리할 경우 제어를 유지한다. 그렇지 않으면 자율 제어로의 협력적 핸드오프가 발생한다.
  • 자율 제어 중일 때: $p_k$에 따라 세 가지 체제가 나타난다.
    1. 유지 (Retain): 인간 제어의 비용 이점이 $p_k$에 비해 불충분할 경우.
    2. 오버라이드 (Override): 비용 이점이 크고 $p_k$가 충분히 높을 경우, 인간이 일방적으로 제어권을 가져온다.
    3. 협력적 핸드오프 (Coordinated Handoff): 비용 이점이 매우 클 경우, 두 에이전트가 합의하여 제어권을 이전한다.

4. 오버라이드 임계값 및 추정

• 정리 2 (임계값): 본 논문은 인간의 개입이 비용 효율적인 시점을 결정하는 임계값 $p^*_k(x)$를 도출한다. 등방성(isotropic) 전환 비용의 경우, 이는 상태 독립적인 비율 $p^* = h / (h + a)$로 단순화된다.
  • 만약 실제 성향 $p_k < p^*$라면, 개입은 비용 효율적이지 않을 가능성이 높다.
  • 만약 $p_k > p^*$라면, 개입이 정당화된다.
• 온라인 추정: $p_k$는 실제 환경에서 알 수 없으므로, 저자들은 온라인 추정 방법을 제안한다. 이는 특정 조건(자율 제어 중, 핸드오프 요청 없음) 하에서 발생하는 에피소드 간의 인간 오버라이드 빈도를 추적하거나, 에피소드 내에서 지수 평활법(exponential smoothing)을 사용하여 $\hat{p}_k$를 적응적으로 추정하는 방식을 포함한다.

주요 기여

1. 원칙 기반의 전환 프레임워크: 비대칭 비용과 인간의 오버라이드 능력을 가진 협력 게임으로 권한 전환을 정식화하여, 휴리스틱 튜닝 없이 최적의 정책을 제공한다.
2. 오버라이드 임계값 도출: 인간의 테이크오버가 비용 효율적인지를 결정하는 임계값 $p^*_k$를 도출하여 해석 가능한 설계 가이드라인을 제공한다.
3. 폐쇄형 해 (Closed-Form Solutions): 선형-이차 시스템에 대해, 연속적인 상태 차원에 독립적으로 효율적인 계산을 가능하게 하는 폐쇄형 전환 조건 및 가치 함수 재귀식을 도출하였다.
4. 적응형 추정: 관찰된 개입으로부터 오버라이드 성향을 온라인으로 추정하는 방법을 제안하여, 사전 캘리브레이션 없이도 적응형 전환을 가능하게 한다.

평가 및 결과

프레임워크는 30 스텝의 호라이즌을 가진 1D 쿼드로터 고도 조절 작업(이중 적분 역학)을 통해 평가되었다.

• 베이스라인: Flip-Team 정책을 다음 모델들과 비교하였다:
  1. 항상 자율 (Always-autonomous)
  2. 항상 인간 (Always-human)
  3. 성능 임계값 휴리스틱 (추적 오차만을 기준으로 전환하는 방식)
• 지표: 총 비용, 전환 횟수, 인간 제어 하의 시간 비율.
• 결과:
  • Flip-Team은 가장 낮은 총 비용(40.5)을 달성하였으며, 이는 항상 인간 베이스라인(43.2)보다 6%, 항상 자율 베이스라인(45.6)보다 11% 우수한 성능이다.
  • 성능 임계값 베이스라인은 **가장 높은 비용(55.3)**을 기록하였는데, 이는 성향이나 전환 비용을 고려하지 않고 오로로 오차에 기반해 반응적으로 전환하는 것이 성능을 저하시킨다는 것을 보여준다.
  • Flip-Team은 평균 1.8회의 권한 전환만으로 이러한 결과를 달 achieved 했으며, 인간이 제어권을 가진 시간은 **56%**였다.
  • 최적 정책은 인간의 개입이 가능성이 높고(높은 $p_k$) 유익한(비용 이점) 단계들을 성공적으로 예측하여, 불필요한 전환을 피했다.

의의 및 주장

본 논문은 Flip-Team이 인간의 적응성과 자율 시스템의 효율성 사이의 균형을 맞추는 원칙적인 메커니즘을 제공한다고 주장한다. 인간의 오버라이드 성향과 전환 비용을 명시적으로 모델링함으로써, 이 프레임워크는 인간에게 과도한 부담을 주거나 필요한 순간에 개입하지 못하는 휴리스틱 규칙의 함정을 피한다.

저자들은 도출된 임계값이 실행 가능한 설계 가이드라인을 제공함을 강조한다:

• 설계자는 전환 비용($H_k, A_k$)을 조정하여 참여 환경을 형성할 수 있다.
• 실무자는 경고나 신뢰 캘리브레이션을 통해 인간의 성향을 조절함으로써, 개입이 필요한 시점에 성향이 임계값 위에 머물도록 관리할 수 있다.

본 연구는 현재 범위 내에서 다소 제한적임을 인정하며, 평가가 수동으로 제작된 성향 프로필을 가진 시뮬레이션된 인간 모델과 1D 작업에 의존하고 있음을 언급한다. 저자들은 향อน 연구로서 인간 참여 실험(human-in-the-loop)을 통한 검증, 상태 의존적 성향 추정 확장, 그리고 고차원 및 비선형 시스템에 대한 적용을 제시하였다.