기술 요약: SAFEMANIP

문제 정의

로봇 조작은 전통적으로 작업 성공 지표 (예: 성공률) 를 주로 통해 평가되어 왔습니다. 그러나 작업 성공 완주는 안전한 실행을 보장하지 않습니다. 로봇 조작에서 발생하는 많은 안전 실패는 시간적인 성격을 띠며, 순간적인 상태 위반이 아니라 사건의 순서와 타이밍에서 비롯됩니다. 예를 들어, 오염된 음식을 처리한 후 깨끗한 표면을 만지는 것, 물체가 완전히 가용 공간 안에 들어가기 전에 물체를 놓는 것, 또는 운송 중 물건을 떨어뜨리는 경우가 있습니다. 기존 벤치마크는 종종 작업 특이적 위험 라벨, 순간 충돌 검사, 또는 누적 궤적 비용에 의존합니다. 유용하지만, 이러한 지표들은 종종 어떤 안전 규칙이 위반되었는지, 언제 발생했는지, 그리고 작업이 안전하게 완료되었는지 아니면 단순히 완료되었는지를 모호하게 만듭니다. 다양한 조작 작업 전반에 걸쳐 시간적 안전 속성을 명시적으로 평가할 수 있는 재사용 가능하고 속성 기반의 프레임워크는 부재합니다.

방법론

저자들은 로봇 조작에서 시간적 안전을 명시적으로 평가하도록 설계된 속성 기반 벤치마크인 SAFEMANIP을 소개합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 형식 명세 언어 (LTLf)

SAFEMANIP은 안전 속성을 정의하기 위해 **유한 추적에 대한 선형 시간 논리 (LTLf)**를 활용합니다. 무한 추적을 위한 표준 LTL과 달리, LTLf는 작업 성공, 실패, 또는 시간 한계에 따라 종료되는 유한한 로봇 롤아웃에 적합합니다.

• 원자 명제: 시스템은 객체 포즈, 접촉 이벤트, 그리퍼 상태, 고정 장치 상태와 같은 연속적인 관측치를 불리언 술어 (예: Contaminated, StableGrasp, EnclosureCleared) 로 매핑합니다.
• 시간 연산자: 프레임워크는 순서, 불변성, 복구 요구 사항을 지정하기 위해 표준 연산자 Next($\bigcirc$), Until($U$), Always($\square$), Eventually($\diamond$) 를 사용합니다.
• 모니터링: 각 LTLf 수식은 결정적 유한 오토마타 (DFA) 로 컴파일됩니다. 롤아웃이 심볼릭 추적을 생성함에 따라 DFA 는 해당 속성이 만족되었는지 위반되었는지 결정하기 위해 상태를 업데이트합니다.

2. 재사용 가능한 안전 속성 템플릿

벤치마크는 재사용 가능한 LTLf 템플릿을 갖춘 여덟 가지 안전 카테고리 세트를 정의합니다. 이러한 템플릿은 작업 특이적 객체, 고정 장치, 영역, 또는 기술을 사용하여 인스턴스화될 수 있어 다양한 환경에서의 일반화를 가능하게 합니다:

• 충돌 및 접촉 안전: 조작 전반에 걸쳐 안전하지 않은 접촉을 방지합니다.
• 그립 안정성: 물체가 놓일 때까지 안정적으로 잡혀 있도록 보장합니다.
• 놓기 안정성: 놓인 물체가 안전하게 정착되도록 보장합니다 (굴림, 낙하, 또는 유출 없음).
• 교차 오염: 오염물을 처리한 후 깨끗한 접촉 전에 소독을 강제합니다.
• 작동 시작 안전: 기술을 시작하기 전에 안전한 전제 조건을 검증합니다.
• 메커니즘 안전: 고정 장치 충격 (예: 문, 서랍) 후 후퇴 및 복구를 요구합니다.
• 포함 안전: 이동된 액체나 물체가 의도된 수신자에 도달하도록 보장합니다.
• 가용 공간 및 접근 안전: 순서 제약 조건을 강제합니다 (예: 새 물건을 넣기 전에 가용 공간을 비우기, 손이 들어가기 전에 완전히 열리는 것을 기다리기).

3. 평가 프로토콜

• 작업 세트: 벤치마크는 청소, 요리, 보관 등 다양한 가정용 조작 기술을 다루는 50 개의 RoboCasa365 작업에 인스턴스화되었으며, 일곱 가지 조작 세트로 그룹화되었습니다.
• 평가된 정책: $\pi_0$, $\pi_{0.5}$, GR00T N1.5, 그리고 세 가지 GR00T 변형 (사전 학습 전용, 타겟 전용, 결합) 을 포함한 여섯 가지 비전 - 언어 - 행동 (VLA) 정책 및 학습 변형이 테스트되었습니다.
• 지표: 프레임워크는 작업 성공을 안전과 분리합니다. 다음을 보고합니다:
  • 작업 성공률: 작업을 완료한 롤아웃의 비율.
  • 안전 위반률: 전체 및 속성별 위반 빈도.
  • 결과 분해: 롤아웃을 성공 및 안전, 성공하지만 안전하지 않음, 실패하지만 안전, 실패 및 안전하지 않음으로 분류합니다.
  • 위험 상태 노출률: 위반 상태에 머문 시간 단계의 백분율.

주요 결과

50 개 작업에 대한 여섯 가지 VLA 정책의 평가는 다음과 같은 결과를 도출했습니다:

1. 작업 성공이 안전을 의미하지 않음: 작업 성공률의 향상은 안전한 실행으로 신뢰성 있게 전환되지 않습니다. 예를 들어, $\pi_{0.5}$는 $\pi_0$ 대비 작업 성공률이 약간 증가했으나 안전 위반은 69.7% 에서 82.8% 로 크게 증가했습니다. 많은 "성공적인" 롤아웃은 성공하지만 안전하지 않음으로 분류되었습니다.
2. 카테고리별 실패: 안전 실패는 균일하게 분포되지 않습니다. 충돌/접촉 및 놓기 안정성 위반이 가장 빈번했습니다. 놓기 실패는 특히 지속적이어서 종종 물체가 여러 시간 단계 동안 정착되지 않은 상태로 남았습니다.
3. 작업 시간 범위 및 구조의 영향:
   • 시간 범위: 안전 위반률은 작업 시간 범위가 원자 수준에서 장시간 범위로 확장됨에 따라 일반적으로 증가했습니다. 더 긴 실행은 접촉, 배치, 고정 장치 운동과 같은 더 많은 안전 중요 전이를 도입하여 최종 목표가 달성되더라도 위반을 누적시킵니다.
   • 세트 의존성: 요리, 청소, 서빙과 관련된 복잡한 세트는 단순 고정 장치 작업보다 훨씬 더 많은 시간적 위반을 노출했습니다.
4. 프롬프트 기반 안내: GR00T-tpt 모델에서 안전 프롬프트를 사용한 탐색적 분석은 트레이드오프를 보여주었습니다: 프롬프트는 더 보수적인 행동을 장려하여 (위반률을 약간 낮추지만) 작업 성공률을 크게 감소시켰습니다.

중요성 및 주장

본 논문은 SAFEMANIP이 단순한 작업 완료 또는 이진 안전 라벨을 넘어선 시간적 안전 실패를 진단하기 위한 재사용 가능한 평가 계층을 제공한다고 주장합니다.

• 작업 성공을 넘어선 접근: 저자들은 작업 성공이 중요한 시간적 안전 실패를 가릴 수 있음을 입증합니다. 작업 완료와 안전한 실행을 분리함으로써 SAFEMANIP은 모델이 종종 작업을 안전하지 않게 완료함을 드러냅니다.
• 세분화된 진단: 속성 기반 접근법은 연구자들이 특정 실패 모드 (예: 불안정한 놓기 대 충돌) 와 다양한 작업 구조에서의 발생 빈도를 식별할 수 있게 하며, 이는 종종 집계 지표에 의해 모호해집니다.
• 일반화 가능성: 재사용 가능한 LTLf 템플릿의 사용은 동일한 안전 명세를 다른 객체, 고정 장치, 환경에 적용할 수 있게 하여 비교 안전 분석을 용이하게 합니다.
• 적은 범위: 저자들은 SAFEMANIP이 모든 가능한 위험이 아닌 지정된 속성을 평가한다고 인정합니다. 현재 인스턴스화는 술어 매핑을 위해 시뮬레이터 상태에 의존하며, 결과는 모든 로봇 도메인에 대한 보편적 주장이 아니라 RoboCasa365 벤치마크 프로토콜에 대한 기술적 설명입니다. 이 작업은 향후 속성 수준의 안전 신호를 정책 훈련 및 실제 배포에 통합하기 위한 기초 역할을 합니다.