기술 요약: OOPSIEVERSE

1. 문제 정의

로봇 조작 기술의 급격한 발전에도 불구하고, 물리적 안전성은 가정용 로봇 배포를 위한 핵심적인 장벽으로 남아 있습니다. 현재의 시뮬레이션 기반 학습 및 평가 패러다임은 근본적인 단절 문제를 겪고 있습니다: 이들은 성공을 오로지 과업 완수(task completion)로만 정의하며, 안전하지 않은 상호작용이 초래하는 물리적 결과는 무시합니다. 표준 시뮬레이터에서 로봇은 물체를 파손하거나, 액체를 쏟거나, 부품을 과열시키는 등의 행동을 수행하면서도 "성공"할 수 있으며, 이러한 행동은 실제 환경에서는 치명적입니다. 기존의 안전 벤치마크는 과업 특화된 제약 조건, 수동으로 설계된 보상 형성(reward shaping), 또는 추상적인 비용 함수(예: 충돌 횟수)에 의존하는 경우가 많으며, 이는 실제 세계의 정교하고 물리적으로 근거 있는 손상(기계적, 열적 또는 유체적 손상)을 모델링하지 못합니다. 이로 인해 시뮬레이션에서는 성공적으로 보이지만, 실제 세계에 배치되었을 때는 안전하지 않거나 파괴적인 정책이 만들어집니다.

2. 방법론

저자들은 물리적 손상을 명시적으로 모델링함으로써 시뮬레이션과 실제 세계 사이의 간극을 메우기 위해 설계된 통합 시뮬레이션 프레임워크이자 벤치마크인 OOPSIEVERSE를 소개합니다. 이 프레임워크는 두 가지 핵심 구성 요소인 DAMAGESIM과 OOPSIEBENCH로 이루어져 있습니다.

A. 이론적 프레임워크: 손상 인지 POMDP (Damage-Aware POMDP)

저자들은 표준 부분 관측 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)을 **손상 인지 POMDP ($M_{DA}$)**로 재구성합니다.

• 상태 확장: 상태 공간을 $S$에서 $S_{DA} = S \times S_h$로 확장하며, 여기서 $S_h$는 각 물체와 로봇에 대한 "건강(health)" 상태를 나타냅니다.
• 메커니즘: 이 건강 상태는 물리적 상호작용 신호(힘, 온도, 유체 접촉)를 바탕으로 매 타임스텝마다 업데이트됩니다. 이는 관측, 보상 및 종료 조건에 영향을 미쳐, 에이전트가 단순히 목표를 달성하는 것이 아니라 손상을 피하는 정책을 학습할 수 있도록 합니다.

B. DAMAGESIM: 손상 탐지 및 정량화

DAMAGESIM은 물리 시뮬레이터의 상태를 통일된 "건강" 지표(100에서 0 사이의 범위)로 변환하여 손상을 탐지하고 정량화하는 시뮬레이터 불가지론적(simulator-agnostic) 플러그인입니다. 이는 세 가지 주요 손상 모달리티를 모델링합니다:

1. 기계적 손상 (Mechanical Damage): 충격 이벤트(충돌, 낙하) 및 지속적/제한적 접촉(압축, 인장)으로부터 발생하는 해를 포착합니다. 이는 접촉력을 링크 가속도에 대한 평행(충격적) 성분과 직교(지속적) 성분으로 분해합니다. 통일된 부하 프록시 $\epsilon_{mech}$가 계산되며, 이 부하가 재료별 임계값($E_{mech}$)을 초과하면 손상이 누적됩니다.
2. 열적 손상 (Thermal Damage): 안전한 작동 범위를 벗어난 온도 노출(녹음, 타오름, 결빙)로 인한 해를 모델링합니다. 손상은 임계값($T_{hot}, T_{cold}$)으로부터의 편차와 재료별 스케일링 인자에 따라 선형적으로 누적됩니다. 참고: 온도 추적 기능이 있는 OmniGibson에서 현재 구현됨.
3. 유체 손상 (Fluid Damage): 액체 노출(부식, 단락)로 인한 해를 모델링합니다. 손상은 객체 링크와 접촉하는 액체 입자의 수가 허용 오차 임계값($C_{fluid}$)을 초과하는 정도에 따라 계산됩니다. 참고: 현재 OmniGibson에서 구현됨.

시스템은 각 물체 링크별로 건강 상태를 추적하며, 객체의 전체 건강은 구성된 링크들의 최소 건강 값으로 정의됩니다.

C. OOPSIEBENCH: 벤치마크 스위트

OOPSIEBENCH는 두 가지 시뮬레이터인 OmniGibson(Nvidia Omniverse)과 RoboCasa(MuJoCo)에 걸쳐 32개의 가정용 조작 과업으로 구성됩니다.

• 과업 설계: 과업들은 특정 손상 모드(기계적, 열적, 유체적)에 에이전트를 노출시키도록 설계되었으며, "목표 달성"과 "안전한 실행"을 구분합니다.
• 시나리오: 특정 손상 유형을 격리하는 단기 호라이즌 과업과 지속적인 안전 인지 의사결정을 요구하는 장기 호라이즌 복합 과업을 포함합니다.
• 데이터셋: 5가지 과업에 대해 수집된 90개의 인간 수집 데모를 포함하며, 실시간 건강 피드백이 제공된 데모와 그렇지 않은 데모로 나뉩니다.

3. 주요 기여

1. 통합 손상 프레임워크: 표준 시뮬레이터 출력(힘, 온도, 유체 접촉)으로부터 도출되는 명시적이고 과업 불가지론적인 신호(건강)로서 손상을 표현하는 일반적이고 물리적 근거를 가진 방법을 제시합니다.
2. 교차 플랫폼 구현: DAMAGESIM은 두 가지 서로 다른 물리 백엔드(Omniverse 및 MuJoCo)에서 구현되어 이식성을 입증했습니다.
3. 포괄적 벤치마크: OOPSIEBENCH는 32개의 표준화된 과업 스위트와 데모 데이터셋을 제공하여 안전-성능 트레이드오프를 평가합니다.
4. 다양한 활용성: 본 프레임워크는 실시간 텔레오퍼레이션 피드백, 모방 학습(IL) 데이터 큐레이션, 강화 학습(RL) 보상 형성, VLA 벤치마킹 등 다양한 사용 사례를 지원합니다.

4. 실험 결과

저자들은 네 가지 사용 사례에 대해 OOPSIEVERSE를 평가했습니다:

• 모방 학습 (IL):
  • 실시간 피드백: 실시간 건강 바와 색상 코드로 표시된 손상 신호를 제공받은 인간 작업자는 훨씬 더 안전한 데모를 생성했습니다.
  • 데이터 큐레이션: 건강 상태에 따라 필터링된 데이터(손상이 발생한 에피oles 또는 타임스텝 제거)로 학습된 정책은 전체 과업 완수율의 미미한 하락과 함께 훨씬 높은 "안전 과업 완수율"을 달이트했습니다. 예를 들어, "카운터탑 닦기" 과업에서 필터링되지 않은 정책은 100%의 과업 완수율을 보였으나 안전 완수율은 35%에 불과했던 반면, 건강 필터링 정책은 안전성을 크게 향상시켰습니다.
• 강화 학습 (RL):
  • 손상 신호를 부정적 보상(패널티)으로 사용함으로써 에이전트가 더 안전한 행동을 학습할 수 있었습니다.
  • 미세 조정 (Fine-tuning): 손상 패널티를 사용하여 미세 조정된 사전 학습된 정책(Flow-matching 및 Gaussian)은 안전 성공률에서 상당한 개선을 보였습니다 (예: "컵의 물 옮기기"에서 20%에서 100%로 증가).
  • 처음부터 학습 (Training from Scratch): 손상 패널티만을 사용하여 처음부터 학습된 RL 에이전트는 과업 보상만으로 학습했을 때(거의 0%)와 달리 80% 이상의 안전 과업 완수율을 달성했습니다.
• VLA 벤치마킹:
  • 최첨단 모델인 NVIDIA GR00T를 평가한 결과, 과업 성공과 안전 사이의 상당한 간극이 드러났습니다. GR00T는 높은 과업 완수율(예: "전자레인지 문 열기"에서 92%)을 달성했지만, 안전 완수율은 매우 낮았으며(4%), 평균 환경 건강도는 심각하게 저하되었습니다. 이는 표준 VLA 평가가 파괴적인 행동을 놓치고 있음을 강조합니다.
• Sim-to-Real 전이:
  • 손상 인지 필터링을 통해 OmniGibson에서 학습된 정책을 Franka Panda 로봇으로 전이했습니다.
  • 손상 인지 정책은 건강 피드백 없이 학습된 베이스라인 정책에 비해 파괴적인 행동(예: 노트북에 물 쏟기, 병 쓰러뜨리기)을 60% 감소시키면서도 유사한 과업 완수율을 유지했습니다.

5. 의의 및 주장

본 논문은 OOPSIEVERSE가 안전한 로봇 조작 연구를 위한 일반적이고 실용적이며 확장 가능한 토대를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• Sim-Real 간극 해소: 물리적 손상을 명시적으로 모델링함으로써, 정책이 환경을 파괴하며 성공하는 법을 배우는 "시뮬레이션 갭"을 방지합니다.
• 표준화: 특정 과업 보상이나 수동 설계된 제약 조건에 독립적인, 물리적 근거를 가진 통일된 안전 신호를 제공하여 다양한 환경과 로봇 간의 일관된 평가를 가능하게 합니다.
• 더 안전한 학습 가능성 입증: 안전성이 모방 학습(더 나은 데이터 수집 및 큐레이션을 통해)과 강화 학습(손상 인지 보상을 통해) 모두를 통해 효과적으로 학습될 수 있음을 보여줍니다.
• 실제 세계 적용 가능성: 손상 인지 필터링을 통한 시뮬레이션 기반 학습의 성공적인 Sim-to-Real 전이는 시뮬레이션에서의 손상 모델링이 실제 로봇의 물리적 안전을 직접적으로 개선할 수 있음을 입증합니다.

저자들은 자신들의 손상 모델이 복잡한 물리적 과정(파쇄 역학, 유체 역학)의 근사치이며, 물체의 재료에 대한 수동 파라미터 설정이 필요하다는 한계를 인정합니다. 그러나 이러한 근사가 안전한 행동과 안전하지 않은 행동 사이의 질적인 차이를 포착하는 데 충분하며, 이는 학습 및 평가에 적합하다고 주장합니다.