Stochastic Decision-Making Framework for Human-Robot Collaboration in Industrial Applications

기술 요약: 산업 응용 분야의 인간-로봇 협업을 위한 확률적 의사결정 프레임워크

문제 정의
협동 로봇(cobot)의 산업 환경 통합은 운영 방식을 고립되고 안전이 제한된 설정에서 로봇과 인간이 작업 공간을 공유하는 협력적인 설정으로 변화시켰습니다. 기존 연구는 인간의 의도를 감지하기 위해 센서(비전, 근접 센서, EMG)를 효과적으로 활용하고 있으나, 인간의 요소, 특히 정서적 상태(동기 및 공격성)와 동적인 행동 단서의 불확실성을 처리하는 데에는 여전히 상당한 과제가 남아 있습니다. 현재의 안전 메커니즘은 종종 정적인 근골격 모델이나 단순한 거리 임계값에 의존하는데, 이는 인간의 행동이 확률적인 개방형 비제한 환경에서는 불충분할 수 있습니다. 본 연구가 다루는 핵심 문제는 인간-로봇 협업(HRC)에서 안전과 효율성을 모두 보장하기 위해 불확실성 하에서 인간의 행동과 감정을 예측할 수 있는 의사결정 프레임워크의 필요성입니다.

방법론
본 논문은 부분 관측 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)에 기반한 확률적 의사결정 프레임워크를 제안합니다. 이 접근 방식은 고정된 인간 모델을 가정하는 것을 넘어, 관찰된 데이터로부터 인간 모델을 학습함으로써 동기 및 공격성과 같은 숨겨진 상태를 처리합니다.

1. 상태 공간 구성: 모델은 다섯 가지 변수 유형을 포함하는 포괄적인 상태 공간($S$)을 정의합니다:

   • 작업 할당 ($\tau$): 우선순위, 지속 시간, 성격(로봇 전용, 인간 전용, 또는 협업형), 그리고 몰입 상태를 포함합니다.
   • 거리 ($d$): 새로운 "트라이 서클(tri-circle)" 안전 방식을 사용하여 모델링됩니다. 세 개의 원은 다음과 같습니다: (1) 인간의 작업 공간, (2) 팔을 완전히 뻗은 상태의 인간(공격적 행위), (3) 넘어지는 인간(사고). 로봇은 맥락에 따라 적절한 안전 원을 동적으로 선택합니다.
   • 인간의 감정 ($e$): 관찰을 통해 추론되는 숨겨진 상태인 동기 수준과 공격성 수준을 포함합니다.
   • 인간의 활동 ($h$) 및 로봇의 활동 ($b$): 두 에이전트의 현재 우선순위와 작업 진행 상황을 나타냅니다.

2. 관찰 및 추론: 감정 상태는 직접 관찰할 수 없으므로, 시스템은 시각 센서 등으로부터 얻은 인간의 신체 위치, 관절 각도, 각속도로 구성된 관찰 공간($O$)을 활용합니다. POMDP 프레임워크는 이러한 관찰을 사용하여 벨리프 상태(belief state, 동기 및 공격성과 같은 숨겨진 상태에 대한 확률 분포)를 업데이트합니다.

3. 의사결정 변수: 로봇의 행동 집합($D$)은 다음을 포함합니다:

   • 정상 작업 모드 ($nw$).
   • 인간에게 단독 작업을 요청하거나($rh1$) 협업을 요청함($rh2$).
   • 인간에게 동기를 부여함 ($mh$).
   • 작업에 전념함 ($ct$).
   • 거리 조절 (거리를 늘리기 위한 $dp$, 줄이기 위한$dm$).
   • 아무것도 하지 않음/유휴 모드 ($dn$).

4. 비용 함수: 목적 함수($J$)는 세 가지 목표 사이의 균형을 맞춥니다: 충돌 회피(공격성 수준에 따른 안전 거리 유지), 작업의 효율적 완료, 그리고 인간의 정서적 상태 존중. 비용 함수는 안전하지 않은 거리, 할당되지 않은 작업, 낮은 동기, 그리고 잘못된 작업 할당에 대해 페널티를 부여합니다.

5. 해결 방법: 저자들은 기저의 MDP를 해결하고 최적의 정책을 도출하기 위해 가치 반복(Value Iteration)을 채택합니다. 부분 관측 가능성을 처리하기 위해, 로봇이 벨리프 상태 분포로부터 가중치를 집계하여 최적일 확률이 가장 높은 행동을 선택하는 휴리스틱 행동 선택 방법을 사용합니다.

주요 기여

• 트라이 서클(Tri-Circle) 안전 모델: 단일 정적 안전 반경에 의존하는 대신, 세 가지 뚜렷한 인간 시나리오(작업 중, 스트레칭 중, 넘어짐)에 따라 로봇의 안전 구역을 동적으로 조정하는 새로운 안전 의사결정 방식입니다.
• 감정 인지형 HRC: 인간의 감정 상태(동기 및 공격성)를 의사결정 루프에 통합하여, 로봇이 자신의 행동을 적응(예: 공격성이 높으면 거리를 늘리고, 참여도가 낮으면 동기를 부여함)할 수 있도록 합니다.
• 양방향 의도 예측: 인간의 의도 탐지에만 집중하는 기존 연구와 달리, 본 프레임워크는 POMDP를 활용하여 양방향 상호작용을 추론하며, 인간의 결정을 외생적 사건으로 취급하는 동시에 로봇은 안전하고 원활한 협업을 촉진하기 위해 자신의 정책을 최적화합니다.
• 통합 프레임워크: 작업 관리, 안전 제약, 그리고 감정적 추론을 단일 확률적 제어 프레임워크 내에 결합하였습니다.

결과
제안된 프레임워크는 인간과 로봇이 포함된 시뮬레이션된 산업 시나리오를 포함하는 수치적 사례 연구를 통해 검증되었습니다. 시뮬레이션은 다양한 우선순위, 지속 시간 및 협업 요구 사항(협업형, 인간 전용, 로봇 전용)을 가진 세 가지 순차적 작업을 도입했습니다.

• 작업 실행: 시스템은 안전을 유지하면서 최단 시간에 작업을 수행하기 위한 최적의 정책을 성공적으로 식별했습니다.
• 동적 적응: 결과는 작업의 성격에 따라 행동을 조정하는 로봇의 능력을 입증했습니다. 협업 작업의 경우, 로봇은 가까운 거리(작은 안전 원)를 유지하고 인간에게 동기를 부여했습니다. 인간 전용 작업의 경우, 로봇은 작업을 할당하기 전에 거리를 넓히고 인간에게 동기를 부여했습니다.
• 안전 관리: 시뮬레이션은 로봇이 인간이 협업 작업에 참여하지 않을 때는 거리를 넓히고, 협업이 필요할 때는 거리를 좁힘으로써 '트라이 서클' 안전 구역을 효과적으로 관리함을 보여주었습니다.
• 벨리프 상태 업데이트: 시스템은 관찰된 인간의 속도를 바탕으로 숨겨진 감정 상태(동기 및 공격성)를 성공적으로 추론하였으며, 의사결정을 유도하기 위해 벨리프 상태를 업데이트했습니다.

의의 및 주장
본 논문은 현재의 HRC 연구가 인간의 의도를 탐지하는 데는 집중하고 있으나, 인간 감정의 확률적 특성과 안전의 동적인 요구 사항을 충분히 고려하지 못하고 있다는 간극을 해결하는 데 주요 의의가 있다고 주장합니다. POMDP를 활용함으로써, 이 프레임워크는 은폐된 인간의 행동과 불완전한 센서 데이터로부터 발생하는 불확실성을 처리할 수 있는 일반화된 접근 방식을 제공합니다. 저자들은 이 접근 방식이 협동 로봇의 안전성과 투명성을 향상시켜, 로봇이 인간의 행동을 예측하고 실시간으로 행동을 적응할 수 있게 한다고 단언합니다. 연구는 로봇 상태와 불확실한 인간의 감정 상태를 하나의 통합된 계층 구조로 포함하는 것이 단순한 충돌 회피를 넘어 선제적이고 감정을 인지하는 협업으로 나아가는 포괄적인 솔루션을 제공한다고 결론짓습니다.