기술 요약: 안전한 인간-로봇 협업을 위한 시각-언어 모델의 충돌 접지(Collision Grounding) 조사

문제 정의

안전한 인간-로봇 협업(HRI)은 단순한 의미론적 시각 묘사 그 이상을 요구한다. 안전 모니터는 로봇의 본체가 안전하게 분리되어 있는지, 이미 장면 또는 사람과 충돌했는지, 혹은 충돌에 접근 중인지를 판단할 수 있어야 한다. 저자들은 현재의 시각-언어 모델(VLM)이 시각적 증거를 로봇의 물리적 발자국(footprint), 카메라 배치, 깊이, 폐쇄(occlusion), 그리고 시간적 접근과 결합하는 데 자주 실패한다는 "충돌 접지 격차(collision-grounding gap)"를 지적한다. 기존의 고전적 안전 표준(예: ISO 10218)은 반응형 제어 수준의 안전장치를 제공하지만, 다중 뷰 클립으로부터 충돌 상태를 추론하는 데 필요한 시각적 추론 문제는 다루지 않는다. 기존 벤치마크들은 인간의 주석, 단일 뷰 RGB, 또는 사후적 레이블에 의존하는 경우가 많아, 결정론적인 물리적 실제 값(ground truth) 하에서 로봇에 의해 유발된 충돌을 분리해 내지 못한다.

방법론

본 논문은 충돌 접지를 평가하기 위해 Habitat 3.0을 기반으로 구축된 물리 기반 벤치마크인 TouchSafeBench를 소개한다.

데이터셋 구축

• 시뮬레이션 환경: 포토리얼리스틱한 HSSD-HAB 장면, SMPL-X 휴머노이드, 그리고 강체 접촉 신호를 활용한다.
• 에피소드: 두 가지 작업인 사회적 내비게이션(로봇이 휴머노이드를 따라감)과 사회적 재배치(로봇과 휴머노이드가 물체를 조작함)에 걸쳐 2,940개의 공존 에피소드를 생성하였다.
• 관측 데이터: 각 에피소드는 동기화된 다중 뷰 RGB-D 스트림(로봇 팔 에고 뷰, 인간 머리 에고 뷰, 제3자 로봇 뷰, 제3자 인간 뷰), 탑다운 궤적 맵, 그리고 교정된 카메라 메타데이터를 포함한다.
• 실제 값(Ground Truth): 레이블은 주관적인 주석이 아닌 시뮬레이터 상태(로봇-장면 및 로봇-인간 간의 접촉 플래그)에서 직접 도출되어 물리적 정확성을 보장한다.

과업(Tasks)

이 벤치마크는 두 가지 상호 보완적인 능력을 평가한다:

1. 안전 이벤트 분류 (Task 1): 짧은 클립의 현재 상태를 안전(A), 로봇-장면 충돌(B), 또는 **로봇-인간 충돌(C)**로 분류한다.
2. 충돌 조기 경보 (Task 2): 접촉이 발생하기 전 임박한 위험을 예측한다. 레이블에는 위험 없음(A), 장면 충돌 임박(B), 또는 **인간 충돌 임박(C)**이 포함된다. 결정적으로, "근접 사고(near-miss)" 시나리오(가깝지만 충돌은 없는 상태)는 오경보를 테스트하기 위해 '안전'으로 레이블링된다.

실험 프로토콜

본 연구는 세 가지 최첨단 VLM인 GPT-5.5, Gemini 3.1 Pro, Gemini Robotics-ER .1.6을 평가한다.

• 단계 I (모달리티 스윕): 배포에 중요한 에고 뷰 설정을 고정하고 9가지 시각적 표현(RGB, Depth, Colorized Depth, Predicted Depth 및 이들의 조합)을 테스트한다.
• 단계 II (뷰포인트 절제 연구): 입력을 RGB로 고정하고 뷰포인트 컨텍스트(에고 전용, 제3자 뷰를 포함한 모든 뷰, 탑다운 BEV)를 변화시킨다.
• 지표: 정확도(Accuracy), Macro-F1, 그리고 캘리브레이션(calibration)을 평가하기 위해 근접 사고 세트에서 측정된 오경보율(False Alarm Rates, FAR)을 사용한다.

주요 결과

실험 결과, 현재의 VLM들은 시각적으로는 그럴듯해 보이지만 물리적으로는 접지가 부족하며, 최선의 평균 Macro-F1이 50% 미만에 머물러 있음을 보여준다.

1. 깊이의 역설 (The Depth Paradox): 명시적인 깊이 정보가 자동으로 충돌 증거로 변환되지는 않는다. Depth-only 또는 예측된 depth 입력은 RGB 또는 RGB-D에 비해 성능이 떨어지는 경우가 많다. 모델들은 로봇의 형태(morphology)와 카메라-본체 간 변환에 명시적으로 연결되지 않는 한, 깊이 맵을 미터법 기반의 로봇 본체 접촉 증거로 변환하는 데 실패한다.
2. 장면 접촉은 사각지대이다: 로봇-장면 충돌은 로봇-인간 접촉 위험보다 일관되게 감지하기 어렵다.
   • Task 1 장면 접촉 정확도: ~21.5% (인간 접촉의 39% 대비)
   • Task 2 장면 임박 경보 정확도: ~34.1% (인간의 57% 대비)
   • 모델들은 그리퍼-카메라 근접을 비접촉으로 합리화하거나, RGB-D가 제공할 수 없는 가시적인 침투 또는 변형을 요구하곤 한다.
3. 뷰포인트 효과:
   • 제3자 뷰는 일반 모델(GPT-5.5, Gemini 3.1 Pro)의 현재 상태 인식(Task 1)을 개선하여 국부적 폐쇄 문제를 해결하지만, 반드시 조기 경보 성능을 높여주는 것은 아니다.
   • 탑다운 궤적 맵은 Task 2에서 오경보를 크게 줄여 캘리브레이션을 개선하지만, 레이아웃 단서만으로는 현재 시점의 접촉을 드러내지 못하기 때문에 현재 상태 인식(Task 1) 성능을 저하시키기도 한다.
4. 특화 vs 캘리브레이션: 로보틱스 특화 모델(Gemini Robotics-ER 1.6)은 더 낮은 오경보율(더 나은 캘리브레이션)을 보이지만, 더 높은 Macro-F1 점수를 달성하지는 못한다. 이들은 여전히 많은 실제 장면 접촉 사례를 감지하지 못하며, 이는 특화(specialization)만으로는 접지 문제를 해결할 수 없음을 시사한다.
5. 실패 모드: 분석을 통해 "그리퍼-카메라 귀속 오류(Gripper-camera attribution fallacy)"(카메라가 그리퍼에 달려 있다는 이유로 벽 접촉을 무시함) 및 "근접-충돌 오류(Proximity–collision fallacy)"(시각적 가까움을 물리적 접촉과 동일시함)와 같은 구체적인 추론 오류를 식별하였다.

핵심 기여

1. TouchSafeBench: 시각적 위험 인지와 물리적으로 접지된 충돌 추론을 분리하여, 로봇에 의해 유발된 충돌 위험을 평가할 수 있는 반복 가능한 시뮬레이터 기반 벤치마크를 제공한다.
2. 과업 정의: 현재 상태 모니터링과 예측적 경보를 분리하고, 근접 사고(near-miss)라는 어려운 부정 사례(hard negatives)를 명시적으로 다루는 이중 과업 프레임워크를 정의한다.
3. 경험적 분석: 기하학, 뷰포인트, 로보틱스 지향적 사전 학습이 뷰포인트, 로봇 형태, 미터법 기하학, 그리고 미래의 충돌을 표현형에 명시적으로 결합할 때만 도움이 된다는 것을 입증하는 통제된 연구를 수행하였다.

의의 및 주장

본 논문은 시각적 유창함이 물리적 책임감을 의미하지 않는다고 주장한다. 현재의 VLM은 실내 장면을 서술할 수는 있지만, 로봇이 물리적으로 안전한지에 대한 신뢰할 수 있는 추정치는 갖추지 못하고 있다. 저자들은 신뢰할 수 있는 로봇 안전 모니터가 다음을 명시적으로 결합하는 표현형을 필요로 한다고 주장한다:

• 뷰포인트 및 카메라 배치.
• 로봇의 형태(morphology) 및 발자국(footprint).
• 미터법 기하학 및 접촉 임계값.
• 시간적 움직임 및 미래의 충돌 위험.

이 연구는 "충돌 접지 격차"가 모델이 시각적 증거를 로봇의 물리적 본체 및 강체 접촉 상태와 연결하지 못하는 구체적이고 실행 가능한 실패 모드임을 강조한다. 저자들은 단순히 깊이를 추가하거나 주의를 요구하는 프롬프팅을 하는 것만으로는 불충분하며, 차세대 안전 모니터는 의미론적 이해와 로봇의 형태에 대해 명시적인 기하학적 기질(geometric substrate)을 통합해야 한다고 결론짓는다.