💻 computer science

HRIBench: Benchmarking Interaction-Centric Human-Robot Collaboration

이 논문은 현재의 시각-언어-행동 모델들이 포착하지 못하는 의도 이해, 시간적 동기화, 그리고 프로토콜 준수의 결정적인 격차를 해결함으로써 인간-로봇 협업을 평가하고 개선하기 위해 구조화된 상호작용 시나리오와 특화된 지표를 특징으로 하는 진단 벤치마크인 HRIBench를 소개한다.

원저자: Chang Liu, Jiawei Zhang, Tao Zhang, Ye Wang, Hongyu Zhou, Qin Jin

게시일 2026-07-16

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chang Liu, Jiawei Zhang, Tao Zhang, Ye Wang, Hongyu Zhou, Qin Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 빈 방에서 홀로 작업을 수행하는 외로운 일꾼이 아니라, 인간과 함께 북적이고 혼란스러운 춤을 추는 파트너가 되는 세상을 상상해 보십시오. 오랫동안 과학자들은 로봇에게 "시각-언어-행동(Vision-Language-Action)" 모델을 사용하여 물체를 잡고, 들어 올리고, 움직이는 법을 가르쳐 왔습니다. 이 모델들을 로봇의 뇌라고 생각하면 쉽습니다. 로봇은 물체를 보고, "컵을 집어라"와 같은 명령을 읽고, 이를 수행하기 위해 팔을 어떻게 움직여야 할지 판단할 수 있습니다. 이 로봇들은 무대 위에서 혼자 마술을 부리는 마술사처럼, 단독 공연에는 꽤 능숙해지고 있습니다. 하지만 현실 세계는 독무대가 아닙니다. 그것은 이중주입니다. 현실 세계에서 로봇은 사람과 함께 일해야 하며, 이는 로봇이 인간이 무엇을 생각하는지 이해하고, 움직일 적절한 순간을 기다리며, 인간이 길을 가로막으면 즉시 멈춰야 함을 의미합니다. 연구자들이 던지는 큰 질문은 이것입니다. 물체를 옮기는 데 뛰어난 로봇이 사람과 함께 일하는 데도 뛰어날 수 있을까요, 아니면 인간이 춤을 추기 시작하면 얼어붙어 버릴까요?

이것이 바로 HRIBench라는 새로운 연구가 조사하고자 하는 핵심입니다. 중국 인민대학교와 북경사범대학교 연구진은 우리가 로봇이 블록을 집을 수 있는지 테스트하는 방법은 풍부하지만, 로봇이 인간과 협업할 수 있는지 테스트하는 좋은 방법은 없다는 점을 깨달았습니다. 이를 해결하기 위해 그들은 HRIBench라는 로봇을 위한 새로운 "체육관"을 구축했습니다. HRI-Bench는 단순히 로봇이 물체를 움직이는 것을 지켜보는 대신, 인간이 특정 역할을 맡는 대본 속에 로봇을 배치합니다. 때때로 인간은 선생님(제스처를 통해 로봇에게 무엇을 할지 보여줌)이 되고, 때로는 파트너(물체를 함께 잡는 것을 도움)가 되며, 때로는 방해꾼(로봇이 당황하는지 혹은 안전을 유지하는지 확인하기 위해 예상치 못하게 길을 가로막음)이 됩니다.

연구팀은 GR00T, π0.5, ACT와 같은 최상위 로봇 뇌들을 테스트하기 위해 650개 이상의 서로 다른 "에피소드"를 포함한 13가지의 서로 다른 시나리오를 만들었습니다. 결과는 일종의 경종을 울렸습니다. 이 로봇들은 혼자서 물체를 움직이는 데는 믿기지 않을 정도로 강력했지만, 협업을 요청받았을 때는 매우 고전했습니다. 인간이 단순히 선생님 역할을 할 때 로봇의 성공률은 약 53%였습니다. 파트너로서 협력해야 할 때는 50%로 떨어졌습니다. 하지만 인간이 "방해꾼" 역할을 하여 과업을 방해했을 때, 로봇의 성공률은 단 10%로 급락했습니다. 로봇들은 상황이 안전하지 않거나 인간이 명확하게 계획을 변경했음에도 불구하고 계속해서 과업을 수행하려고 했습니다.

하지만 이야기는 실패로 끝나지 않습니다. 연구진은 로봇을 새로운 HRIBench 체육관의 데이터로 특별히 훈련시킴으로써, 로봇이 인간과 함께 일하는 데 훨씬 더 능숙해진다는 것을 발견했습니다. 실제 물리적 로봇 팔을 사용한 실세계 테스트에서, 로봇이 처음에 HRIBench 시뮬레이션에서 먼저 훈련을 받은 후에는 과업 성공률이 10%(실제 인간 데이터로만 훈련했을 때)에서 43%로 뛰어올랐습니다. 이는 오늘날의 로봇들이 여ยัง 서툰 댄스 파트너일지라도, 시뮬레이션된 세계에서 적절한 종류의 연습을 제공하는 것이 우리가 함께 움직이는 법을 배우도록 도와, 솔로 공연을 성공적인 협업으로 바꿀 수 있음을 시사합니다.

기술 요약: HRIBench – 상호작용 중심의 인간-로봇 협업 벤치마킹

문제 정의
현재의 시각-언어-행동(Vision-Language-Action, VLA) 벤치마크는 주로 고립된 조작 기술(예: 집기 및 놓기, 물체 조작)을 평가하며, 로봇이 단독으로 작동한다는 암묵적인 가정을 전제로 한다. 그러나 실제 세계의 인간-로봇 협업(HRC)은 근본적으로 공유된 에이전시(agency) 하에서의 조율을 필요로 한다. 기존의 평가 방식은 기저에 깔린 상호작용 구조를 모델링하지 못하여, 의도 이해, 시간적 동기화, 프로토콜 준수, 그리고 역동적인 환경에서의 안전한 상호작용과 같은 핵심 역량을 테스트하지 못하고 있다. 결과적으로, 어떤 정책은 고립된 상태에서는 강력한 조작 능력을 보여줄 수 있지만, 협력자의 도달 동작에 반응하지 못하거나, 조율 타이밍을 위반하거나, 파괴적인 인간의 개입 이후에도 실행을 지속하는 등의 문제를 보일 수 있다. 이러한 격차는 조작 능력과 협업 지능 사이의 단절을 강조한다.

방법론
이를 해결하기 위해 저자들은 실행 가능한 상호작용 시나리오를 통해 의도 인지형 인간-로봇 협업을 평가하도록 설계된 진단용 벤치마크인 HRIBench를 소개한다.

시나리오 스크립트: 핵심 추상화 단계는 협업 에피소드의 구조화되고 실행 가능한 표현인 "시나리오 스크립트"이다. 이 스크립트는 다음을 명시적으로 모델링한다:
- 에이전트 역할 및 의미론적 목표.
- 시간적 의존성 및 인과적 제약.
- 인간의 움직임 분포.
- 보상 함수 및 성공 조건.
  이 추상화는 협업에 무엇이 필요한가와 정책이 그것을 어떻게 실행하는가를 분리하여, 고수준의 요구사항과 시뮬레이션 환경을 연결하는 해석 가능한 의미론적 계층을 제공한다.
상호작용 역할: 본 벤치마크는 세 가지 근본적인 인간-로봇 상호작용 패턴을 중심으로 행동을 구성한다:
1. 강사(Instructor): 로봇은 인간의 시연이나 제스처로부터 의도된 행동을 추론해야 한다.
2. 협력자(Collaborator): 로봇은 정밀한 타이밍과 반응성을 요구하는 동기화된 다중 에이전트 조율(예: 물체 전달, 공동 조작)에 참여해야 한다.
3. 침입자(Intruder): 로봇은 파괴적인 인간의 개입(예: 경로 차단, 유효하지 않은 간섭) 상황에서도 안전을 유지하고 온라인상에서 실행을 적응시켜야 한다.
생성 파이프라인: HRIBench는 4단계 파이프라인을 활용한다:
1. 스크립팅: 언어 모델이 작업 메타데이터로부터 시나리오 스크립트를 생성한다.
2. 장면 인스턴스화: 다양한 물체와 레이아웃을 갖춘 환경을 컴파일한다.
3. 모션 합성: 인간의 궤적을 HY-Motion-1.0을 사용하여 합성하고, 작업 인식 제약(예: 손의 안정성, 접근 방향)을 통해 정교화하며, 작업당 50개 이상의 궤적 변형을 통해 다양화한다.
4. 시뮬레이션 검증: 생성된 에피소드는 도달 가능성, 유효성 및 의미론적 정확성에 따라 필터링된다. 최종 벤치마크는 13개의 역할 조건부 작업과 650개 이상의 실행 가능한 평가 에피소드로 구성된다.
평가 지표: 이진적인 작업 성공 여부를 넘어, HRIBench는 상호작용 중심의 지표를 도입한다:
- 효과성(Effectiveness): 협업 성공률(CSR), 완료 시간, 유휴 비율(Idle Ratio).
- 조율(Coordination): 시간적 동기화, 응답 지연 시간, 순서 준수.
- 안전 및 강건성(Safety & Robustness): 충돌 없는 비율, 인간 접촉 안전성, 모순된 지시 인식, 방해 성공률.

주요 기여

HRIBench 벤치마크: 실행 가능한 조율 모델링으로서 상호작용 평가를 재정의한 진단 프레임워크로, 강사 유도 실행, 협력적 조율, 개입 하의 강건성을 아우르는 13개의 작업을 특징으로 한다.
시나리오 스크립트: 에이전트 역할, 시간적 의존성, 인간 행동 분포를 명시적으로 모델링하여 재현 가능한 상호작용 에피소드 생성을 가능하게 하는 구조화되고 실행 가능한 표현이다.
상호작용 중심 평가 프로토콜: 동기화, 반응성, 프로토콜 준수, 안전성을 포함한 다차원 지표 세트를 통해 현대 로봇 파운데이션 모델의 협업 실패 모드를 분리하여 분석할 수 있게 한다.

실험 결과
저자들은 GR00T N1.5, $\pi^0.5$ , ACT 기반의 적응된 정책들을 통일된 프로토콜 하에 평가하였다.

시뮬레이션 성능: 현재의 파운데이션 정책들은 강력한 조작 능력에도 불구하고 협업 환경에서 상당한 어려움을 겪는다.
- 강사 작업: 최선의 CSR은 0.533이었다.
- 협력자 작업: 최선의 CSR은 0.500으로 떨어졌다.
- 침입자 작업: 모든 모델에서 CSR이 0.100으로 급락하며 성능이 붕괴되었다.
- 분석: 모델들이 높은 순서 준수율(종종 1.000)을 달성했음에도 불구하고, 양보하거나 안전 거리를 유지하거나 방해로부터 회복하는 데 실패했다. VLA 기반 정책은 모방 학습 베이스라인(ACT)보다 큐 그라운딩(cue grounding) 측면에서 우수했으나, 모든 모델이 시간적 조율과 인간의 섭동(perturbation)에 취약함을 보였다.
실세계 적응: LeRobot SO-100 암을 사용한 소규모 연구를 통해 HRIBench 데이터의 물리적 배포 유용성을 입증했다.
- 실제 데이터로만 사후 학습(20개의 실제 원격 조작 궤적) 시 평균 성공률은 0.10을 기록했다.
- Sim+Real 사후 학습(HRIBench 시뮬레이션 데이터로 사전 학습 후 실제 데이터로 미세 조정) 시 평균 성공률은 0.43으로 향상되었다.
- 이러한 개선은 세 가지 상호작용 역할 모두에서 일관되게 나타났으며, 이는 실제 데모가 부족한 상황에서 구조화된 상호작용 데이터가 실세계 협업 행동을 위한 전이 가능한 사전 지식(prior)을 제공함을 시사한다.

의의 및 주장
본 논문은 HRIBench가 협업 환경에서 현재의 임바디드 파운데이션 모델의 한계를 드러내는 필수적인 진단 도구를 제공한다고 주장한다. 저자들은 이진적인 작업 성공 여부가 협업 지능을 평가하기에는 불충분하다고 주장한다. 즉, 로봇이 물체 수준의 목표는 달성할 수 있어도 시간적 조율이나 안전 프로토콜을 위반할 수 있기 때문이다.

단순한 조작을 넘어 "실행 가능한 조율"으로 초점을 전환함으로써, HRIBench는 현재의 정책들이 의도 인지적 행동과 시간적 조율 능력이 부족함을 밝혀낸다. 이 벤치마크는 조작 능력이 전제 조건이긴 하지만, 협업을 위한 충분조건은 아님을 보여준다. 저자들은 자신들의 연구가 특정 조율 결함(예: 의도 그라운딩, 타이밍, 안전 회복)을 진단할 수 있는 구조화된 프레임워크를 제공하고, 데이터가 부족한 시나리오에서 물리적 적응을 효과적으로 개선하는 데이터를 생성함으로써 상호작용 중심의 로봇 학습을 발전시킨다고 완곡히 주장한다. 또한, 시뮬레이션 벤치마크로서 실제 세계의 인간 다양성을 완전히 포착하거나 물리적 배포를 위한 독립적인 안전 평가 도구로 기능할 수는 없다는 한계를 인정한다.

유사한 논문