기술 요약: OMNIROBOTHOME

문제 정의

로봇이 일상적인 생활 환경에서 보조 역할을 수행하기 위해서는 인간의 위치와 활동에 대한 지속적이고 정확하며 실시간적인 3D 지식이 필요합니다. 그러나 기존의 인간-로봇 상호작용(HRI) 시스템은 제한된 센싱(예: 단일 뷰 또는 온보드 센서)이나 오프라인 프로세싱에 의존하는 경우가 많아, 역동적이고 구조화되지 않은 가정의 특성을 포착하는 데 한계가 있습니다. 다중 카메라 모션 캡처 시스템이 존재하기는 하지만, 이는 대개 오프라인 데이터셋 구축이나 고립된 인지(perception)를 목표로 할 뿐, 루프 내에서 동작하는 로봇에게 밀도 높은 실시간 상태 정보를 전달하는 데까지는 미치지 못합니다. 결과적으로, 실시간성, 정밀도, 커버리지, 예측력과 같은 인지 품질이 HRI 작업의 성공에 미치는 구체적인 영향은 여전히 정량화되지 않은 상태로 남아 있습니다.

방법론: OMNIROBOTHOME 시스템

저자들은 가구로 채워진 주거 공간에 고정밀 실시간 인지 능력을 직접 통합하여 로봇 제어 루프에 연결한, 방 규모(room-scale)의 물리적 AI 테스트베드인 OMNIROBOTHOME을 제시합니다.

1. 하드웨어 구성

• 환경: 자연스러운 가구 배치와 폐쇄(occlusion)가 존재하는 실제 가정집과 유사하도록 설계된 23.1 m² 규모의 거실 공간(주방, 거실, 저장 공간 포함).
• 센싱 어레이: 48대의 하드웨어 동기화 RGB 카메라.
  • 폐쇄에 강하고 마커가 필요 없는(markerless) 인간 추적을 위해 분산 배치된 40대의 광역 카메라.
  • 특정 작업 공간 위에 위치하여 6D 객체 포즈 추정을 수행하는 4쌍의 스테레오 카메라(총 8대).
• 액추에이션(Actuation): 공간 내에 통합된 세 대의 매니퓰레이터: 두 대의 Franka Research 3 암(Inspire F1 핸드 장착)과 한 대의 xArm(Allegro-v4 핸드 장착).
• 동기화: 모든 카메라와 로봇은 외부 하드웨어 트리거를 통해 동기화되어, 인지와 제어를 위한 통일된 타임라인을 보장합니다.

2. 시스템 아키텍처 및 인지 파이프라인

~13.5 GB/s에 달하는 막대한 데이터 처리량을 처리하기 위해, 시스템은 분산 엣지 컴퓨팅 아키텍처를 채택합니다.

• 엣지 노드: 40대의 광역 카메라는 10개의 엣지 노드로 분할됩니다. 각 노드는 TensorRT로 최적화된 추론(검출을 위한 YOLO26, 2D 키포인트 추출을 위한 RTMPose)을 실행하며, 중앙 호스트에는 희소(sparse) 2D 키포인트와 신뢰도 점수만을 스트리밍합니다.
• 중앙 퓨전(Central Fusion): 호스트는 배치 벡터화된 직접 선형 변환(Direct Linear Transform, DLT)을 사용하여 3D 관절을 실시간으로 삼각측량하며, 이때 Huber-reweighted IRLS를 사용하고 One Euro Filter를 통해 시간적 평활화(temporal smoothing)를 수행합니다. 이 파이프라인은 전신 3D 포즈 추정을 위해 약 22 FPS를 달성합니다.
• 객체 인지:
  • 방 규모(Room-scale): 2D 검출(YOLOE)과 볼륨 재구성(volumetric reconstruction)의 다중 뷰 퓨전을 통해 거친(coarse) 3D 위치와 범위를 복원합니다.
  • 작업 공간 규모(Workspace-scale): 4쌍의 스테레오 카메라가 FastFoundationStereo 및 FoundationPose를 사용하여 조작 대상에 대한 밀도 높은 메트릭 깊이와 6D 포즈 추정을 약 16 Hz로 제공합니다.
• 캘리브레이션(Calibration): 3단계 과정(내부 파라미터, ChArUco 보드 및 PnP를 통한 외부 파라미터, 그리고 핸드-아이 캘리브레이션)을 통해 모든 카메라와 로봇을 하나의 세계 좌표계(world frame)로 통합하며, 특징점이 적은 영역에서도 특징 기반 SfM 방식보다 낮은 재투영 오차를 달 Achieve 합니다.

3. 핵심 역량

• 실시간 3D 인지: 저지연의 마커리스 전신 포즈 및 6D 객체 포즈 추적.
• 예측적 동작 예측(Anticipatory Motion Forecasting): 조건부 rectified-flow 모델이 기록된 데이터를 통해 공간 특화된 동작 사전 지식(motion priors)을 학습하여, 3초간의 이력을 바탕으로 5초간의 인간 미래 동작을 예측합니다. 이 모델은 "Best-of-K" 샘플링 전략과 인비트위닝(in-betweening)을 통한 동작 재결합을 사용하여 다양하고 타당한 예측을 보장합니다.
• 다중 로봇 보조: 매니퓰레이터들이 공유된 인지 스트림에 정렬되어 있어, 근처의 어떤 로봇이라도 추론된 의도에 따라 보조 작업을 수행할 수 있습니다.
• 소셜 아바타 에이전트: 시각-언어 모델(VLM) 에이전트가 최적의 카메라를 통해 인간을 관찰하고, 활동과 의도를 추론하며, 대화를 나누거나 고수준의 조작 명령을 내립니다.

주요 기여

1. 새로운 테스트베드: 48대의 동기화된 카메라와 다수의 매니퓰레이터를 단일 세계 좌표계에 통합하여, 실시간 전신 3D 인지를 로봇 제어 루프에 직접 전달하는 최초의 방 규모 주거용 플랫폼.
2. 실용적인 레시피: 캘리브레이션, 동기화 및 분산 처리의 문제를 해결하여 재현성을 가능하게 하는 엔드 투 엔드 실시간 센싱 파이프라인.
3. 통제된 연구: 안전, 보조, 사회적 상호작용 도메인 전반에서 인지 품질을 실험 변수로 취급한 최초의 연구.

실험 결과

저자들은 세 가지 HRI 문제를 통해 시스템을 평가하였으며, 인지 품질(지연 시간, 카메라 수 감소 또는 예측 부재를 통해)을 체계적으로 저하시켜 상호작용 품질에 미치는 영향을 측정하였습니다.

• 공유 공간에서의 안전:
  • 시스템의 실시간 예측(1.5초 지평선)을 사용하는 정책은 기본 근접도(18.66%)나 안전 장치 없음(43.53%)과 같은 베이스라인에 비해 가장 낮은 충돌률(8.60%)을 기록했습니다.
  • 인지 지연(0.5초 또는 1.0초)을 도입했을 때 충돌률이 크게 증가하여, 실시간성이 안전에 매우 중요하다는 것을 입증했습니다.
• 인간 동작 예측:
  • 더 많은 데이터(4시간 이상)와 동작 재결합(Best-of-K)으로 학습된 모델은 향상된 정확도(낮은 minADE)와 다양성(높은 APD)을 보여주었습니다.
  • Best-of-K 메커니즘을 제거하면 다양성과 재현율(recall)이 급격히 감소하여, 멀티모달 감독(multi-modal supervision)의 필요성을 확인했습니다.
• 공간 커버리지 및 보조:
  • 가리키기 작업(Pointing Task): 인간의 가리키는 제스처를 바탕으로 아이템을 분류해야 하는 작업에서, 정확도가 40대의 카메라 사용 시 95%에서 4대의 카메라 사용 시 41%로 떨어졌습니다. 이는 미세한 의도 추정을 위해 조밀한 커버리지가 필수적임을 증명합니다.
  • 캘리브레이션: 제안된 ChAr-보드 기반 캘리브레이션은 COLMAP에 비해 재투영 오차의 평균 및 표준 편차를 줄였습니다.
• 사회적 상호작용:
  • 상호 시선 맞춤(Mutual Gaze): 소셜 아바타의 상호 시선 유지 능력은 지연 시간이 증가하거나 카메라 커버리지가 감소함에 따라 측정 가능한 수준으로 저하되었습니다. 이는 자연스러운 교감을 위해 저지연, 방 규모 센싱이 필요함을 강조합니다.

의의 및 주장

본 논문은 인지 품질이 실제 가정 환경에서 구현 가능한 인간-로봇 상호작용을 결정짓는 지배적인 요소라고 주장합니다. 연구는 인지 속성(실시간성, 정밀도, 커버리지, 정확도, 예측, 메모리)이 약화됨에 따라 상호작용 품질이 체계적으로 저하된다는 일관된 경향을 보여줍니다.

저자들은 인지를 개선하는 것이 유능한 가정용 로봇을 개발하기 위한 핵심 레버라고 결론짓습니다. 그들은 OMNIROBOTHOME이 제공하는 "강력한 인지 레짐(strong-perception regime)"이 기존 연구의 제한된 센싱 가정보다 측정 가능한 이점을 제공한다고 단언합니다. 또한, 인프라의 한계로 인해 접근이 어려웠던 인간-로봇 협업 연구를 지원하기 위해 모든 코드와 데이터를 공개할 것을 약속합니다.

한계점: 현재의 평가는 단일 계측된 방과 고정 베이스 매니퓰레이터, 특정 작업 컨트롤러에 국한되어 있습니다. 다양한 홈 레이아웃, 이동형 로봇, 그리고 장기적인 상호작용으로의 일반화는 향후 연구 과제로 남아 있습니다.