HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

당신이 북적이는 공원을 걷고 있다고 상상해 보세요. 그때 친근한 로봇 한 대가 당신에게 다가옵니다. 이 로봇은 당신이 인사를 할 때까지 멈춰서 기다릴까요, 아니면 당신이 다가오기도 전에 당신의 의도를 파악하고 손을 흔들까요? 이것이 바로 인간-로봇 상호작용(HRI)이라는 분야의 핵심입니다. HRI는 기계가 단순히 움직이는 물체가 아니라, 의도를 가진 '사람'으로서 우리를 이해하도록 가르치는 과학입니다. 이 과정의 핵심 요소는 "예측(anticipation)"입니다. 즉, 인간이 다음에 무엇을 할지 예측하는 능력입니다. 이는 마치 음악이 바뀌기도 전에 다음 스텝을 알고 있는 댄스 파트너와 같습니다. 만약 로봇이 당신이 대화를 나누고 싶어 한다는 것을 미리 예측할 수 있다면, 로봇은 더 도움이 될 수 있고 덜 어색할 것입니다. 하지만 로보가 이 춤을 배우기 위해서는 연습이 필요합니다. 그리고 제대로 연습하기 위해서는 단순히 스튜디오에서 연출된 장면이 아니라, 실제 삶의 방대한 사례들이 담긴 라이브러리가 필요합니다.

이것이 바로 "HUI360" 논문의 연구진들이 구축하고자 했던 목표입니다. 그들은 로봇이 인간과 언제 상호작용하고 싶어 하는지를 추측하는 법을 가르치기 위해, 현재로서는 해당 분야에서 가장 큰 규모인 360도 비디오 데이터 오픈 소스 라이브러리인 HUI360을 제작했습니다. 연구진은 통제된 실험실에서 배우를 사용하는 대신, 이동형 로봇을 카페테리아, 복도, 광장 등 9개의 서로 다른 실제 장소로 보내 몇 달 동안 "야생"에 내보냈습니다. 어안 렌즈와 같은 360도 카메라를 장착한 로봇은 수천 명의 사람들이 지나가는 것을 지켜보았습니다. 어떤 이들은 로봇을 무시했고, 어떤 이들은 스티커를 줍거나 쓰레기를 버리거나 음식을 집어 드는 등의 행동을 했습니다. 연구팀은 스마트한 컴퓨터 비전 도구를 사용하여 모든 사람을 자동으로 추적하고, 신체 움직임을 매핑하며, 그 사람이 로봇을 물리적으로 터치한 정확한 순간을 표시했습니다. 또한 데이터의 오류를 수정하기 위해 수작업으로 데이터를 정제함으로써, 로봇이 배우는 "수업"이 정확하도록 보장했습니다.

또한 이 논문은 로봇의 첫 번째 연습 시험과 같은 "베이스라인(baselines)"을 소개합니다. 연구진은 사람의 움직임을 보고 상호작용이 일어날 것인지를 추측하도록 간단한 컴퓨터 두뇌(Random Forest 및 LSTM 등의 방법 사용)를 훈련시켰습니다. 결과에 따르면, 특히 상세한 신체 맵(얼굴 및 손의 키포인트 등)을 사용할 때 이러한 모델들이 매우 뛰어난 성능을 보였습니다. 그러나 이 논문은 까다로운 현실 또한 강조합니다. 로봇이 본 적 없는 완전히 새로운 환경에서 테스트되거나, 로봇 자체가 변할 때(예: 쓰레기통 로봇을 서비스 로봇으로 교체할 때) 예측이 다소 불분명해진다는 점입니다. 이는 마치 한 교실에서는 수학 시험을 잘 치렀던 학생이 선생님이 다른 방으로 옮기자 당황하는 것과 같습니다. 저자들은 현재의 방식들이 작동하기는 하지만, 실제 세상에서 진정으로 유용해지기 위해서는 새로운 장소와 새로운 로봇 몸체에 적응하는 능력이 훨씬 더 좋아져야 한다고 보여줍니다.

결정적으로, 이 논문은 무엇을 "상호작용"으로 간-주할지에 대해 명확한 선을 긋습니다. 연구진은 누군가가 호기심에 로봇을 빤히 쳐다보거나 미소를 짓는 것과 같이 까다로운 부분은 무시하기로 결정했습니다. 그러한 순간들은 너무 주관적이고 합의하기 어렵기 때문입니다. 대신, 그들은 오직 물리적 상호작용—즉, 사람이 실제로 로봇을 만지거나, 로봇의 통에 무언가를 던지거나, 로봇으로부터 물건을 집어 드는 경우—에 집중했습니다. 이를 통해 데이터의 객관성을 확보하고 검증하기 쉽게 만들었습니다. 그들은 우리가 로봇이 마음을 읽거나 미묘한 시선을 이해하기를 바라지만, 명확한 물리적 행동에서 시작하는 것이 신뢰할 수 있는 학습 토대를 구축하는 유일한 방법이라고 주장합니다.

그래서 그들은 무엇을 발견했을까요? 100만 개 이상의 사람 및 움직임 주석(annotation)을 포함하는 HUI360 데이터셋은 로봇이 물리적 상호작용을 놀라운 정확도로 예측할 수 있음을 입증했습니다. 테스트된 모델들은 상호작용이 일어나기 1~2초 전에 이를 예측할 수 있었으며, 이는 로봇이 고개를 돌리거나 인사를 준비하기에 충분한 시간입니다. 하지만 이 논문은 이것이 시작일 뿐이라고 시사합니다. 모델들은 환경이 급격하게 변할 때 어려움을 겪는데, 이는 미래의 로봇이 실제 세상의 혼돈을 다루기 위해 훨씬 더 유연해져야 함을 나타냅니다. 이 방대한 데이터셋과 이를 만드는 도구를 공개함으로써, 저자들은 과학계 전체에 열쇠를 건네며, 마침내 야생에서 우리와 함께 춤을 출 수 있는 더 나은, 사회적으로 인지 능력이 있는 로봇을 만들어 달라고 요청하고 있습니다.