기술 요약: 협업 및 경쟁 중 인간의 목표를 드러내기 위해 인간에게 영향을 미치는 로봇

문제 정의

공유된 환경에서 작동하는 로봇은 효율적으로 행동하기 위해 인간의 고차원적인 의도나 목표를 추론해야 한다. 그러나 목표 추론은 부분 관측성, 노이즈가 있는 센싱, 그리고 가장 결정적으로, 많은 서로 다른 인간의 목표들이 중첩된 초기 행동 시퀀스를 공유한다는 점 때문에 매우 까다롭다. 베이지안 신념 업데이트(Bayesian belief updates)와 같은 표준적인 수동적 관찰 방식은 이러한 조건 하에서 수렴 속도가 너무 느려, 상호작용의 상당 부분 동안 로봇을 불확inc한 상태로 남겨두는 경우가 많다. 또한, 언어적 의사소통에 의존하는 것은 물리적 제약, 작업 복잡성 또는 인간에게 가해지는 부담으로 인해 실질적으로 불가능할 때가 많다. 본 논문은 협업과 경쟁 시나리오 모두에 적용 가능하며, 로봇이 인간의 행동에 능동적으로 영향을 미쳐 상호작용 초기에 목표를 드러낼 수 있도록 하는 통합된 전략의 필요성을 다룬다.

방법론

저자들은 **결정적 결정 지점(Critical Decision Points, CDPs)**과 **재귀적 수평 계획법(Receding-Horizon Planning, RHP)**을 중심으로 하는 통합 프레임워크를 제안한다.

1. 결정적 결정 지점 (CDPs)

CDP는 공유된 환경 내의 상태로서, 경쟁하는 인간의 전략(서로 다른 후보 목표와 관련된 정책)들이 유의미하게 다른 즉각적인 행동을 규정하는 상태로 정의된다.

• 정식화: 저자들은 목표 조건부 정책 발산 측정치인 $M(s, H)$를 사용하여 상태 $s$의 "정보성(informativeness)"을 정량화한다. 이 측정치는 서로 다른 후보 목표 $g \in G$에 대한 정책들에 의해 유도된 행동 분포 간의 모든 쌍별 불일치를 계산한다.
• 식별: 상태 $s$의 발산값 $M(s, H)$가 임계값 $\theta$를 초과할 경우 해당 상태를 CDP로 식별한다. CDP에서 인간의 행동을 관찰하는 것은 경쟁하는 목표들을 구별하는 데 최대의 정보를 제공한다.

2. 재귀적 수평 계획법 (RHP) 전략

상호작용을 CDP로 능동적으로 유도하기 위해, 로봇은 RHP 접근 방식을 채택한다. 로봇은 인간이 CDP에 도달하기를 수동적으로 기다리는 대신, 작업 진행과 균형을 맞추면서 인간을 이러한 상태로 유도하기 위한 일련의 행동을 계획한다.

• 트리 확장: 로봇은 로봇의 행동 브랜치와 인간의 반응 브랜치를 교대로 탐색하는 깊이 $D_H$의 탐색 트리를 확장한다. 인간의 반응은 로봇의 현재 인간 목표에 대한 신념에 대응하는 정책 뱅크 $\bar{\pi}_g$로부터 샘플링된다.
• 비용 함수: 플래너는 가중치 비용 함수 $J$를 사용하여 리프 노드를 평가한다:
  $$J = \lambda_1 C_{task} + \lambda_2 M_{informativeness}$$
  • 작업 비용 ($C_{task}$): 로봇의 행동이 작업(예: 협업 시 일반적인 행동 선택 또는 경쟁 시 거리 최소화)을 지원하도록 보장한다.
  • 정보성 비용 ($M_{informativeness}$): 리프 상태에서의 목표 조건부 정책의 발산을 측정한다. 협업 설정에서는 이력을 바탕으로 한 목표에 대한 신념과 미래 시퀀스를 바탕으로 한 신념 사이의 비유사성으로 계산된다. 경쟁 설정에서는 가장 가까운 사전 계산된 CDP까지의 거리이다.
• 실행: 로봇은 $J$를 최소화하는 경로의 첫 번째 행동을 실행하고, 인간의 반응을 관찰하며, 베이즈 규칙을 통해 신념을 업데이트하고, 다시 계획(replanning)을 수행한다.

3. 적용 시나리오

본 프레임워크는 두 가지 뚜렷한 설정에서 검증되었다.

• 시나리오 1: 협업 요리 (완전 관측 가능): 인간과 로봇이 30가지 레시피 중 하나를 준비하며 차례를 주고받는다. 많은 레시피가 초기 단계(예: 물 모으기, 섞기)를 공유한다. 로봇은 RHP를 사용하여 옵션을 열어두는 동시에 특정 재료(CDP)로 인간을 밀어붙여 레시피를 명확히 하는 일반적인 행동을 선택한다.
• 시나리오 2: 경쟁적 숨바꼭질 (부분 관측 가능): 추격자 로봇이 인간이 조종하는 숨는 자를 잡으려고 시도한다. 숨는 자의 전략은 숨겨져 있다. 로봇은 그리드 월드에서 CDP를 사전 계산하고, RHP를 사용하여 숨는 자를 이러한 상태로 몰아넣음으로써(종종 회피 기동을 유발함으로써) 숨는 자의 기저 정책을 관찰한다.

주요 기여

1. CDP의 식별: 로봇이 상호작용을 높은 정보성을 가진 소수의 상태(경쟁하는 전략들이 서로 다른 행동을 규정하는 상태인 CDP)로 능동적으로 유도한다면, 인간의 의도를 훨씬 더 일찍 밝혀낼 수 있음을 입증하였다.
2. 통합 프레임워크: 저자들은 CDP에 대한 공식적인 목표 조건부 정의와 함께, 작업 진행과 정보 획득 사이의 균형을 맞추는 RHP 플래너를 제공한다. 이는 협력적(완전 관측 가능) 및 경쟁적(부분 관측 가능) 상호작용 모두에서 효과적으로 작동함을 보여준 최초의 통합된 목표 예측 접근 방식이다.
3. 실증적 검증: 이 접근 방식은 시뮬레이션과 실제 로봇(요리에는 UR-5e, 숨바꼭키에는 Turtlebot3) 모두에서 평가되었으며, 추론 속도와 정확도 측면에서 베이스라인보다 우수한 성능을 보였다.

결과

제안된 방법은 베이지안 위임(Bayesian Delegation)(수동적 신념 업데이트 베이스라인) 및 정보 획득 극대화(Information Gain Maximization)(작업 정렬을 고려하지 않고 즉각적인 정보 획득을 극대화하는 능동적 베이스라인)와 비교되었다.

• 협업 요리:
  • 목표 추론 속도: 제안된 방법은 베이스라인들보다 인간의 목표를 훨씬 더 일찍 식별했다. "첫 번째 정답 예측"은 상호작용의 첫 1/3 지점에서 발생했으며, "마지막 오답 예측"은 중간 지점 즈음에 해결된 반면, 베이스라인들은 더 오래 불확실한 상태로 남았다.
  • 효율성: 이 방법은 베이지안 위임(평균 11.0 단계) 및 정보 획득 극대화(7.02 단계)에 비해 가장 적은 "추가 단계"(평균 0.70 단계)를 기록했다.
  • 절제 실험(Ablation): 시간적 이력(Vanilla CDP)이나 작업 진행 항을 제거하면 성능이 저하되어, 이력 인식과 작업 정렬의 필요성을 확인시켜 주었다.
• 경쟁적 숨바꼭질:
  • 포획 시간: 시뮬레이션 및 실제 실험에서, CDP-RHP 전략을 사용하는 추격자는 무작위 탐색자나 단순히 숨는 자와의 거리를 최소화하는 추격자보다 더 빠르게 숨는 자를 잡았다.
  • 전략 추론: 숨는 자를 CDP로 유도함으로써, 추격자는 숨는 자의 기저 정책을 더 빠르게 관찰하여 더 빠른 차단을 가능하게 했다.

의의 및 주장

본 논문은—상호작용을 인간의 전략이 갈라지는 상태로 능동적으로 유도하는 것—이 빠른 목표 추론을 위한 강력한 메커니즘을 제공한다는 핵심 통찰을 주장한다.

• 중첩 극복: 이 방법은 특히 수동적 관찰자를 혼란스럽게 만드는 중첩된 행동 시퀀스의 문제를 해결한다. 안전을 위해 충분히 "일반적"이면서도 결정을 강요할 만큼 "구체적"인 행동을 선택함으로써 로봇은 모호성을 가속화한다.
• 다양성: 이 프레임워크는 고정된 상호작용 모드(협업 대 경쟁)나 관측 수준에 의존하지 않는다는 점에서 중요하다. 비용 함수의 가중치와 CDP 계산 방식(온라인 대 사전 계산)을 변경함으로써 이에 적응한다.
• 능동적 vs 수동적: 저자들은 빠른 목표 추론이 단순히 로봇이 신념을 어떻게 업데이트하느냐뿐만 아니라, 로봇이 정보가 풍부한 증거가 나타날 수 있는 상황으로 상호작용을 유도할 수 있는지에 달려 있다고 주장한다. CDP 프레임워크는 로봇이 미래의 인간 행동을 더욱 진단적으로 만드는 방식으로 행동할 수 있게 한다.

저자들은 현재의 접근 방식이 결정론적 환경, 합리적인 인간 행위자, 턴제 상호작용, 그리고 명시적인 정책 뱅크의 가용성을 가정한다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지한다. 이들은 향후 연구에서 목표 변화, 연속적 상태 공간, 그리고 언어 기반 상호작용의 통합을 다루어야 한다고 제언한다.