기술 요약: ForesightSafety-VLA

문제 정의

Vision-Language-Action (VLA) 모델이 범용 로봇 제어를 향해 빠르게 발전하고 있음에도 불구하고, 물리적 환경에서의 안전 한계는 여전히 제대로 이해되지 않고 있습니다. 현재의 평가 방식은 안전을 부차적인 속성으로 취급하며, 드문드문한 충돌 검사, 종단 제약 조건 위반, 또는 사후 필터링을 통해 근사적으로 측정합니다. 이러한 접근 방식은 위험이 장면 기하학(scene geometry), 지시문의 모호성, 그리고 물리적 실행과 상호작용하는 지각 오류에 의해 결정되는 '프로세스 수준의 위험(process-level nature of embodied risk)'을 포착하지 못합니다. 기존 벤치마크들은 전용 안전 분류 체계(safety taxonomy)가 부족하거나, 안전을 일반적인 강건성(robustness)과 혼동하거나, 전체 인지-언어-행동 루프보다는 컨트롤러 수준의 제약 조건에 집중합니다. 결과적으로, VLA가 작업을 안전하게 수행할 수 있는지, 즉 단순한 '운 좋은 성공'과 진정으로 예측적이고 안전한 행동을 구분할 수 있는 통합된 진단 프레임워크가 부재한 상황입니다.

방법론

저자들은 내재된 안전(embodied safety)을 주요 평가 대상으로 만들기 위해 설계된 통합 진단 벤치마크인 ForesightSafety-VLA를 소개합니다. 이 방법론은 세 가지 핵심 축을 기반으로 구축되었습니다.

1. 안전 분류 체계 (Safety Taxonomy)

본 벤치마크는 세 가지 패밀리로 구성된 13가지 카테고리의 안전 분류 체계를 정의합니다:

• Safe-Core (물리적 상호작용): 힘/토크 제한, 열/에너지 근접성, 공간 경계(여유 공간), 협동 간섭(양팔 로봇 분리), 그리고 시간적 순서 위반을 다룹니다.
• Safe-Lang (지시문 측면): 안전하지 않은 지시문, 모순된 제약 조건, 모호한 목표, 그리고 목표 탈취(goal hijacking)를 다룹니다.
• Safe-Vis (지각 측면): 조명/재질 변화, 시점 변화, 폐쇄(occlusion), 그리고 적대적 패치(adversarial patches)로 인해 유도된 실패를 평가합니다.

2. 시나리오 구성

본 벤치마크는 5가지 형태(embodiments)의 로봇을 대상으로 RoboTwin 시뮬레이터 내에서 66개의 기본 시나리오를 구현합니다. 새로운 에셋을 요구하는 대신, 기존의 객체와 작업 프리미티브를 사용하여 다음 세 가지 연산자를 통해 시나리오를 구성합니다:

• 위험 주입 (Hazard Injection): 작업의 의미론적 구조를 유지하면서 물리적 위험을 생성하는 객체(예: 뜨거운 조리 도구, 깨지기 쉬운 물건)를 추가합니다.
• 제약 강화 (Constraint Tightening): 힘 제한, 여유 공간 마진, 지오펜스(geofences)를 통해 작동 영역을 제한합니다.
• 시간적 전제 조건 삽입 (Temporal Precondition Insertion): 순서 제약 조건(예: "붓기 전에 안정화하라")을 강제합니다.

3. 진단 평가 차원

실패 원인을 격리하기 위해, 정책(policy)을 세 가지 통제된 변이 차원에 따라 스트레스 테스트합니다:

• 구조 (L - Structure): 장면 레이아웃, 위험 배치, 여유 공간의 변화.
• 언어 (W - Language): 표준 지시문에서 의역, 모호성, 적대적 주입까지의 변화.
• 시각 (V - Visual): 조명, 외관, 시점, 적대적 패치의 변화.

4. 프로세스 수준 메트릭 (Process-Level Metrics)

이진적인 작업 성공 여부를 넘어, 본 벤치마크는 이중 임계값 모니터링 프로토콜을 채택합니다:

• 4분면 결과 (Four-Quadrant Outcomes): 에피소드를 안전한 성공(SSR), 안전하지 않은 성공(USR), 안전한 실패(SFR), 안전하지 않은 실패(UFR)로 구분합니다.
• 누적 안전 비용 (CC - Cumulative Safety Cost): 정책이 "경고" 영역(안전 임계값에 근접했으나 위반하지는 않은 상태)에 진입했을 때 소프트 리스크 비용을 누적하며, 위반 시 하드 비용을 부과합니다.
• 위험 노출 시간 (RET - Risk Exposure Time): 정책이 위험 지역에서 머무는 시간을 측정하여, 짧은 스파이크와 지속적인 위험 행동을 구분합니다.
• 안전 조정 성공률 (SASR - Safety-Adjusted Success Rate): 누적된 리스크 비용에 따라 안전한 성공을 차감하는 스칼라 요약 지표입니다.

주요 기여

1. 시나리오 기반 안전 벤치마크: 안전을 사후 필터로 취급하는 것이 아니라 작업 설계 자체에 내재시킨 벤치마크로, 66개 시나리오에 걸쳐 물리적, 지시문, 지각적 안전을 다룹니다.
2. 프로세스 수준 평가 프로토콜: 이중 임계값, 4분면 결과 구분, 시간 기반 리스크 메트릭(CC 및 RET)을 사용하는 새로운 모니터링 시스템을 통해 '운 좋은' 성공과 예측적 안전을 구분합니다.
3. 진단 차원: 안전 저하를 총체적인 점수가 아닌 특정 원인(구조, 언어 또는 시각)에 귀속시키는 구조화된 접근 방식을 제공합니다.

실험 결과

저자들은 대표적인 VLA 베이스라인(OpenVLA-oft, RDT, DP, ACT 포함)을 벤치마크를 통해 평가했습니다. 주요 결과는 다음과 같습니다:

• 완전하게 안전한 베이스라인 부재: 가장 강력한 모델(OpenVLA-oft)조차도 0 이상의 누적 안전 비용(CC = 0.18)과 안전하지 않은 성공률(USR = 0.06)을 기록했습니다. 모든 모델은 안전하지 않은 명목상 성공을 보였습니다.
• 능력과 안전의 상관관계: 더 강력한 모델은 일반적으로 더 유능하면서 동시에 더 안전했습니다. 약한 모델은 더 보수적으로 실패하는 것이 아니라, 오히려 그들의 성공과 실패 중 더 큰 비중이 안전하지 않은 행동을 포함했습니다.
• 이질적인 안전 난이도: 안전 저하는 카테고리에 따라 크게 달랐습니다. 열/에너지(Thermal/Energy) 및 공간 경계(Spatial Boundary) 작업은 미세한 공간 추론을 요구하여 가장 어려웠던 반면, 시간적 순서(Temporal Sequence) 작업은 가장 쉬웠습니다.
• 구조 및 시각적 변이의 지배력: 안전은 구조/레이아웃 및 시각적 변이 하에서 가장 심하게 저하되었습니다. 일반적인 언어 변이(의역)는 미미한 영향을 미쳤으나, 적대적 언어 주입은 안전성을 급격히 떨어뜨렸습니다.
• 프로세스 수준의 통찰: 위험 노출 시간(RET) 분석 결과, 많은 "성공적인" 에피소드가 이진 성공 메트릭이 놓칠 수 있는 위험 요소(예: 뜨거운 표면을 스치듯 지나가는 행위)에 장기간 노출되어 있음이 드러났습니다.

의의 및 주장

본 논문은 내재된 안전(embodied safety)이 사후 안전 필터링만으로 환원될 수 있는 것이 아니라, 지각, 접지(grounding), 그리고 제어 능력과 밀접하게 결합되어 있다고 주장합니다. 결과는 안전성을 개선하기 위해서는 모델이 물리적 세계를 인지하고 상호작용하는 방식에 대한 본질적인 개선이 필요함을 시사합니다.

ForesightSafety-VLA는 실제 배포 전 안전이 중요한 약점을 식별할 수 있도록 돕는 진단 도구로서 제시됩니다. 저자들은 현재의 VLA 시스템이, 심지어 가장 진보된 모델이라 할지라도, 추가적인 내재적 안전 개선 없이는 신뢰할 수 있는 물리적 배포를 위한 안전을 갖추지 못했음을 이 벤치마크가 밝혀냈다고 주장합니다. 이 연구는 안전이 단순한 강건함이 아니라, '운 좋은' 결과와 예측 가능한 안전 행동을 구분하기 위해 프로세스 수준의 메트릭을 통해 평가되어야 하는 시나리오 수준의 속성임을 강조합니다.