Dance2Hesitate: A Multi-Modal Dataset of Dancer-Taught Hesitancy for Understandable Robot Motion

이 논문은 로봇의 망설임 동작이 인간의 협업과 안전 판단에 미치는 영향을 이해하기 위해, 프랑카 에미카 판다 로봇과 인간 무용수의 움직임을 동기화하여 수집한 다중 모달 망설임 데이터셋 'Dance2Hesitate'를 공개하고 재현 가능한 벤치마킹을 지원한다는 내용을 담고 있습니다.

핵심

🤖 1. 문제: 로봇이 "아, 망설이는 건가?"라고 말해주지 않아요

우리가 로봇과 함께 일할 때, 로봇이 무언가를 하려다가 멈추거나 천천히 움직인다면 우리는 "아, 로봇이 무언가 고민하고 있구나"라고 생각합니다. 하지만 문제는 로봇의 몸 모양이 사람과 다를 때입니다.

• 인간형 로봇이라면 멈추는 것만 봐도 "아, 망설이는구나"라고 알 수 있지만,
• **팔만 있는 로봇 (산업용 로봇)**이나 바퀴 달린 로봇이 멈추면 사람들은 "고장 난 건가?", "계산이 안 되는 건가?", 아니면 그냥 "느린 건가?"라고 헷갈려합니다.

이처럼 로봇이 **어떤 몸 (Embodiment)**을 가지고 있고, **어떤 상황 (Context)**에 있는지 따라 우리가 그 행동을 해석하는 방식이 완전히 달라집니다. 그래서 연구진들은 "로봇이 망설이는 마음을 사람도, 다른 로봇도 똑같이 이해할 수 있는 공통 언어"를 만들고 싶었습니다.

💃 2. 해결책: 전문 댄서들에게 "망설이는 춤"을 가르치다

연구팀은 이 문제를 해결하기 위해 전문 댄서들을 모았습니다. 왜 하필 댄서일까요?

• 비유하자면: 우리가 감정을 표현할 때 말보다 몸짓이 더 솔직하듯, 댄서들은 몸으로 감정을 표현하는 데 가장 능숙한 사람들입니다. 연구팀은 댄서들에게 **"망설임 (Hesitancy)"**이라는 감정을 세 가지 단계로 나누어 춤추게 했습니다.
  1. 약간의 망설임: "음... 조금 고민이 있네." (슬쩍 멈춤)
  2. 큰 망설임: "아, 정말 고민이 많네." (여러 번 멈춤, 방향을 바꿈)
  3. 극심한 망설임: "도저히 결정할 수 없어!" (몸 전체를 흔들며 멈춤)

이렇게 댄서들이 만든 '망설임의 춤' 데이터를 바탕으로, 로봇도 똑같은 행동을 하도록 가르쳤습니다.

📊 3. 데이터: "로봇의 손"과 "사람의 몸"을 동시에 기록하다

이 연구는 두 가지 주요 데이터를 수집했습니다. 마치 동일한 연극을 두 가지 다른 무대에서 찍은 영화라고 생각하시면 됩니다.

1. 로봇의 무대 (Franka Panda 로봇):

   • 댄서들이 로봇의 팔을 직접 잡고 (Kinesthetic teaching) 움직여주었습니다.
   • 로봇이 쌓아둔 장난감 (Jenga 타워) 에 손을 대러 가는데, 망설이는 정도에 따라 멈추는 시간과 움직임의 속도를 다르게 했습니다.
   • 이때 로봇의 관절 각도, 힘, 속도 등 모든 숫자 데이터가 기록되었습니다.

2. 사람의 무대 (댄서들의 몸):

   • 같은 댄서들이 로봇 대신 자신의 손과 온몸을 움직이며 똑같은 '장난감 타워에 손 대기' 행동을 했습니다.
   • 카메라로 댄서의 손끝부터 발끝까지의 움직임을 3D 로 정밀하게 찍었습니다.

결과적으로 얻은 보물:

• 70 개의 온몸 움직임 데이터 (극심한 망설임 포함)
• 84 개의 팔 움직임 데이터 (약간, 크게, 극심한 망설임 모두 포함)
• 66 개의 로봇 조작 데이터

이 모든 데이터는 인터넷에 무료로 공개되어, 전 세계 연구자들이 "로봇이 망설일 때 어떻게 움직여야 사람이 잘 알아차릴까?"를 연구하는 데 사용할 수 있습니다.

🎯 4. 왜 이 연구가 중요할까요? (상상해 보세요)

이 데이터는 미래의 로봇에게 **'공감 능력'**을 심어줄 수 있는 기초가 됩니다.

• 상황 예시: 병원에서 로봇 간호사가 환자에게 약을 주려고 다가갑니다.
  • 기존 로봇: "약 줍니다!"라고 말만 하고 빠르게 다가갑니다. 환자는 "이게 무슨 일이야?"라고 놀라거나, 로봇이 실수할까 봐 불안해합니다.
  • 이 연구를 적용한 로봇: 약을 주려다가 잠시 멈칫하며, "아, 이 약이 맞을까?"라고 망설이는 듯한 동작을 보입니다.
  • 결과: 환자는 로봇이 "실수를 두려워하고 있으니 내가 도와줘야겠다"거나 "조심스럽게 접근하고 있으니 안심해도 되겠다"라고 직감적으로 이해하게 됩니다.

🚀 5. 결론: 춤으로 배운 로봇의 마음

이 논문은 단순히 로봇을 움직이는 법을 가르치는 것이 아니라, **"로봇이 어떻게 움직여야 사람과 마음을通할 수 있는지"**에 대한 새로운 지도를 제공했습니다.

댄서들이 만든 '망설임의 춤'을 로봇이 배우고, 그 움직임을 사람이 이해할 수 있도록 만든 이 데이터는, 앞으로 우리가 로봇과 함께 살아가는 세상에서 로봇이 더 인간적이고, 안전하며, 신뢰할 수 있는 파트너가 되도록 돕는 중요한 첫걸음이 될 것입니다.

한 줄 요약:

"로봇이 망설일 때, 사람이 그 마음을 알 수 있도록 전문 댄서들이 '망설임의 춤'을 가르쳐 로봇에게 심어준 데이터입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 인간 - 로봇 협업 (HRC) 에서 로봇의 '주저함 (hesitancy)' 표현은 인간의 조정 전략, 주의 집중, 안전 판단에 결정적인 영향을 미칩니다. 로봇이 불확실성을 운동으로 표현하면 인간은 신뢰를 조절하고 잠재적 실패를 예측하여 안전사고를 줄일 수 있습니다.
• 문제점:
  1. 구현체 (Embodiment) 의존성: 인간의 주저함은 humanoid(인간형) 로봇에서는 쉽게 해석되지만, 매니퓰레이터 (조작기) 나 이동 로봇과 같이 인간형이 아닌 로봇에서는 동일한 내부 상태가 다른 운동 신호로 해석되어 모호하거나 오해의 소지가 있습니다.
  2. 맥락 (Context) 의존성: 주저함의 인식은 작업, 환경, 상호작용 역학에 따라 달라집니다. (예: 같은 멈춤 동작이 한 상황에서는 '주의'로, 다른 상황에서는 '오작동'으로 해석될 수 있음).
• 핵심 과제: 이러한 구현체와 맥락의 의존성으로 인해 단일 로봇이나 시나리오를 넘어 일반화 가능한 표현적 행동을 설계하는 것이 어렵습니다. 이를 해결하기 위해 기능적 목표는 고정하고 표현적 의도 (주저함) 만을 변형하여 체계적으로 분석할 수 있는 데이터셋이 필요합니다.

2. 방법론 (Methodology)

이 연구는 전문 무용수 (Dancers) 를 참여시켜 일관되고 의도적으로 조절된 주저함 운동을 생성하는 다중 모달 (Multi-Modal) 데이터셋을 구축했습니다.

가. 데이터 수집 환경 및 대상

• 참여자: 총 14 명의 무용수 (힙합, 발레, 컨템포러리, 재즈 등 다양한 장르 전문성 보유).
• 작업 맥락 (고정): 프랑카 에미카 판다 (Franka Emika Panda) 로봇 암이 고정된 시작 자세에서 고정된 타겟 (제enga 타워) 으로 도달하는 작업.
• 주저함 수준 (3 단계):
  1. Slight (약간): 미미한 주저함.
  2. Significant (상당): 명확한 주저함.
  3. Extreme (극심): 매우 강한 주저함.

나. 데이터 수집 모달리티 (3 가지)

1. 로봇 키네스틱 테이칭 (Kinesthetic Teaching):
   • 무용수가 중력 보상 모드로 로봇을 직접 물리적으로 유도하여 (Gravity-compensation) 주저함 수준에 따라 로봇 궤적을 기록했습니다.
   • 데이터: 관절 각도, 속도, 토크, 엔드 이펙터 위치/자세 등 (franka_states 토픽).
2. 상지 도달 운동 (Upper-limb Reaching):
   • 무용수가 로봇과 동일한 도달 작업을 수행하며 상체 (팔) 만을 사용하여 3 단계 주저함 수준을 표현했습니다.
   • 센서: RealSense RGB-D 카메라 2 대 (동기화).
   • 데이터: 2D/3D 키 포인트 (OpenPose BODY_25 모델 사용), 원본 비디오.
3. 전신 운동 (Full-body Motion):
   • 특히 '극심한 주저함 (Extreme)' 수준에서 무용수의 전체 신체 자세와 무게 이동 (weight-shift) 을 포착하기 위해 전신 운동을 기록했습니다.

다. 데이터 처리 및 포맷

• 동기화: RGB, 깊이 (Depth), 키 포인트 데이터를 시간 동기화하여 30fps 로 수집.
• 신뢰도 처리: OpenPose 의 신뢰도 점수 (Confidence Score) 를 기반으로 임계값 (0.30) 미만의 키 포인트는 누락으로 처리하거나 보간하지 않고 빈값으로 남겨두어 데이터의 투명성을 유지했습니다.
• 제공 포맷: ROS Bags, CSV (시계열 데이터), NPZ, MP4 비디오, 2D/3D 키 포인트 파일 등.

3. 주요 기여 (Key Contributions)

1. 다중 모달 무용수 생성 주저함 데이터셋:
   • 로봇 (Franka Panda) 의 키네스틱 테이칭 데이터와 인간의 운동 (상지 및 전신) 데이터를 통합한 최초의 데이터셋 중 하나입니다.
   • 기능적 목표 (제enga 타워 도달) 를 고정하고 주저함 수준만 변화시켜, 주저함의 시공간적 서명을 순수하게 분리하여 분석할 수 있게 합니다.
2. 표준화된 벤치마크 및 도구:
   • 로봇과 인간 모달리티 간의 재현 가능한 벤치마킹을 가능하게 하는 표준화된 데이터 포맷 (ROS, CSV, NPZ 등) 과 동기화 도구를 제공합니다.
   • 2D/3D 키 포인트와 신뢰도 점수를 포함하여 다양한 컴퓨터 비전 및 로봇 학습 모델에 적용 가능합니다.
3. 데이터 규모:
   • 총 70 개의 고유한 전신 궤적, 84 개의 상지 궤적, 66 개의 로봇 키네스틱 테이칭 궤적을 포함합니다.

4. 결과 및 데이터 특성 (Results & Data Characteristics)

• 데이터 구성:
  • 로봇 데이터: 66 개의 궤적 (3 단계 주저함 수준별 균형 잡힌 분포).
  • 인간 데이터: 84 개의 상지 궤적 (3 단계), 70 개의 전신 궤적 (주로 극심한 주저함).
• 품질: 무용수의 전문성으로 인해 원치 않는 변동성이 줄어든 명확한 주저함 수준 간 분리가 이루어졌으며, 이는 기계 학습을 위한 라벨링된 데이터로 적합합니다.
• 공개: 모든 데이터는 오픈 소스로 공개되어 있으며, 웹사이트를 통해 접근 가능합니다.

5. 의의 및 향후 연구 방향 (Significance & Future Work)

• 의의:
  • 로봇의 '불확실성 표현'을 연구하기 위한 표준 데이터셋을 제공하여, 로봇이 인간에게 자신의 상태 (능력의 한계, 위험성) 를 투명하게 전달하는 '이해 가능한 로봇 운동 (Understandable Robot Motion)' 연구의 기반을 마련했습니다.
  • 구현체 (로봇 vs 인간) 와 맥락에 따른 주저함 표현의 차이를 체계적으로 비교 분석할 수 있는 토대를 제공합니다.
• 향후 연구 방향:
  • 로봇 제어: 주저함을 인식하는 모델 학습 및 조건부 생성 모델 (Diffusion 등) 을 통해 주저함 수준을 조절하는 '슬라이더' 기능 구현.
  • 휴먼 - 로봇 매칭: 인간과 로봇의 궤적을 명시적인 리타게팅 없이 공유 잠재 공간 (Shared Latent Embedding) 에서 정렬하는 크로스 - 구현체 (Cross-embodiment) 모델링 연구.
  • 다양한 전문가 비교: 무용수 외에도 인형극 배우, 연극 배우 등 다른 분야의 전문가 데이터를 추가하여 보편적인 주저함 서명과 도메인 특유의 표현을 구분하는 연구.

이 논문은 로봇이 인간과 더 안전하고 자연스럽게 협업하기 위해 필요한 비언어적 신호인 '주저함'을 체계적으로 연구하고 모델링할 수 있는 중요한 자원을 제공합니다.