기술 요약: SafeDojo

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델을 실제 물리적 환경에 배포할 때 직면하는 핵심적인 안전 과제는 접촉이 빈번한 조작(contact-rich manipulation) 중의 충돌 회피입니다. 저차원 제어 시스템에서는 안전 제약 조건을 명시적으로 정의하거나 압축적으로 학습할 수 있는 반면, VLA 정책은 다양하고 이전에 본 적 없는 장애물 구성에 대해 고차원의 시각적 관측으로부터 안전 경계(safety boundaries)를 추론해야 합니다.

기존의 안전한 로봇 조작 방식은 다음과 같은 상당한 한계를 가집니다:

• 추론 시 개입(예: 제어 장벽 함수, Control Barrier Functions)은 정밀한 기하학적 모델링과 카메라 캘리브레이션을 요구하며, 이는 개방형 세계(open-world) VLA 배포에는 비현실적입니다.
• **모델 프리 제약 강화 학습(Model-free constrained RL)**은 페널티 기반 최적화를 통해 안전을 강제하지만, 비용이 많이 들고 잠재적으로 위험한 실제 환경에서의 탐색을 필요로 합니다. 단 한 번의 안전하지 않은 접촉만으로도 작업 실패, 돌이킬 수 없는 하드웨어 손상 또는 환경 교란을 초-래할 수 있습니다.
• **모델 기반 안전 강화 학습(Model-based safe RL)**은 일반적으로 저차원 상태 공간에서 시뮬레이터가 제공하는 비용 함수를 사용하여 작동합니다. 이는 안전 신호가 분석적으로 정의된 데이터가 아닌 시각 데이터로부터 학습되어야 하는 고차원 VLA 모델로 전이되기 어렵게 만듭니다.

해결하고자 하는 핵심 미결 과제는 수작업으로 설계된 안전 함수나 위험한 실제 환경 탐색에 의존하지 않고, 장애물이 많은 환경에서 충돌 없는 VLA 정책을 학습하는 방법입니다.

방법론: SafeDojo

SafeDojo는 VLA 정책을 위해 특별히 설계된 최초의 모델 기반 안전 강화 학습 프레임워크로 제안되었습니다. 이 프레ک임워크는 실세계의 위험을 피하기 위해 대화형 비디오 월드 모델 내에서 온라인 정책 최적화를 수행할 수 있게 합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 청크 단위 대화형 월드 모델 롤아웃 (Chunk-wise Interactive World Model Rollouts)

실제 세계에서 데이터를 수집하는 대신, SafeDojo는 대화형 월드 모델 $p_\phi$ 내부에서 "모델 내 루프(model-in-the-loop)" 롤아웃을 수행합니다.

• 아키텍처: 월드 모델은 액션 청크(action-conditioned)에 따라 미래의 시각적 관측값과 잠재 역학(latent dynamics)을 생성하는 비디오 예측기(Wan 2.2 기반)로 구현됩니다.
• 프로세스: 초기 관측값 $o_0$와 언어 지시문 $l$이 주어지면, 현재 VLA 정책 $\pi_\theta$는 후보 궤적을 샘플링합니다. 월드 모델은 이 궤적들을 재귀적으로 롤아웃하여 액션 청크에 조건화된 미래 프레임 $\hat{o}_{i,k+1}$과 잠재 상태 $\hat{z}_{i,k+1}$을 생성합니다.
• 강건성: 장기 템포(long-horizon) 롤아웃에서의 훈련-테스트 불일치 및 노출 오류(exposure error)를 완화하기 위해, 훈련 과정에서 가끔씩 조건부 프레임을 고정하는 정적 비디오 증강(static-video augmentation)을 포함하여 모델이 불완전한 중간 예측에도 잘 견딜 수 있도록 합니다.

2. 분리된 작업 보상 및 안전 비용 추정 (Decoupled Task Reward and Safety Cost Estimation)

SafeDojo는 단일 스칼라 보상으로 축소하는 대신, 조밀한(dense) 단계별 신호를 추정하는 **이중 분기 평가기(dual-branch evaluator)**를 사용하여 상상된 궤적을 평가합니다.

• 작업 보상 ($f_{task}$): 미세 조정된 ResNet 성공 분류기가 상상된 미래 프레임으로부터 단계별 작업 진행도를 예측합니다.
• 안전 비용 ($f_{safe}$): 경량화된 안전 헤드가 예측된 잠재 컨텍스트와 제안된 액션 청크로부터 단계별 안전 비용(장애물 접촉 확률)을 추정합니다.
• 집계: 이러한 조밀한 신호들은 궤적 수준의 보상($r_i$)과 비용($c_i$)으로 집계됩니다. 특히 안전 비용은 임계 구간을 강조하기 위해 상위 $M$개의 고위험 단계를 집계합니다.

3. 라그랑주 기반 안전 제약 GRPO (Lagrangian-based Safety-Constrained GRPO)

명시적인 안전 제약 조건 하에서 정책을 최적화하기 위해, SafeDojo는 라그랑주 정식화(Lagrangian formulation)를 적용한 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 변형을 사용합니다.

• 어드밴티지 계산: 샘플링된 궤적 그룹 내에서 작업 보상과 안전 비용을 각각 정규화하여 상대적 어드밴티지 $\hat{A}^r_i$와 $\hat{A}^c_i$를 계산합니다.
• 제약 목적 함수: 최종 어드밴티지는 $\hat{A}^{safe}_i = \hat{A}^r_i - \eta \hat{A}^c_i$로 계산되며, 여기서 $\eta$는 비음수 라그랑주 승수입니다.
• 동적 균형: 승수 $\eta$는 배치 수준의 제약 위반(평균 안전 비용 vs 허용 예산 $d$)에 따라 업데이트됩니다. 평균 비용이 예산을 초과하면 $\eta$가 증가하여 위험한 궤적에 더 강한 페널티를 부여하고, 그렇지 않으면 $\eta$가 감소하여 작업 지향적 개선을 허용합니다.
• 업데이트 규칙: 정책은 안전 제약 어드밴티지를 사용하여 클리핑된(clipped) 목적 함수로 업데이트되며, 이를 통해 고정된 페널티 가중치 없이 작업 성공과 안전의 조화로운 개선을 보장합니다.

주요 기여

1. 월드 모델 기반 보상-비용 추정: 상상된 역학으로부터 작업 진행도와 안전 위험 추정을 분리하는 이중 분기 평가기가 결합된 대화형 비디오 월드 모델을 개발하여, 수작업으로 설계된 안전 함수를 제거했습니다.
2. 안전 제약 RL: 고정된 페널티 가중치의 민감성을 피하면서 안전 예산을 명시적으로 준수하고 작업 성공과 충돌 회피를 조율하는 라그랑주 기반 안전 제약 GRPO 목적 함수를 도입했습니다.
3. 실증적 성능: SafeLIBERO 벤치마크와 실제 Franka 로봇 배포에서 우수한 성능을 입증하였으며, 추론 시 안전(inference-time safety), 모델 프리 RL, 모델 기반 RL 베이스라인들 사이에서 종합적인 작업 성공, 안전 성공 및 실행 효율성 측면에서 최고 성능을 달est했습니다.

실험 결과

프레임워크는 SafeLIBERO(Robosuite 기반의 안전 중심 벤치마크)와 실제 Franka Emika Panda 로봇에서 평가되었습니다.

시뮬레이션 결과 (SafeLIBERO)

• 안전 성공률 (SSR): SafeDojo는 Level I (53.25%) 및 Level II (49.62%) 모두에서 가장 높은 평균 SSR을 달성했습니다. Level I에서 이는 가장 강력한 베이스라인인 SafeVLA(45.00%)보다 8.25 퍼센트 포인트 향상된 수치입니다.
• 실행 효율성: SafeDojo는 가장 낮은 평균 실행 타임 스텝(Level I에서 269.41)을 기록하여, 가장 우수한 모델 기반 베이스라인인 WMPO(274.02)를 앞질렀습니다. 이는 안전 인지 최적화가 지나치게 보수적이거나 비효적인 정책으로 이어지지 않음을 나타냅니다.
• 일반화: Level I 데모로만 훈련되었음에도 불구하고, SafeDojo는 Level II(움직임 경로를 따라 장애물이 더 멀리 배치된 경우)에서도 최고 성능을 유지하여, 상상된 롤아웃을 통해 학습된 안전 신호가 보지 못한 장애물 구성에도 전이됨을 입증했습니다.

실제 환경 결과

• 5가지 실제 조작 작업에 배포했을 때, SafeDojo는 가장 높은 평균 작업 성공률(76.00%)과 안전 성공률(70.00%)을 달성했습니다.
• 정성적 분석 결과, SafeDojo는 직접적이고 충돌을 인지하는 궤적을 생성한 반면, 베이스라인들은 장애물과 충돌하거나, 지나치게 보수적이 되거나, 안전하지 않은 상태에서 회복하지 못하는 모습을 보였습니다.

절제 연구 (Ablation Studies)

• 구성 요소의 중요성: 안전 헤드를 제거하면 SSR이 38.0%로 떨어졌고, 작업 보상 분기를 제거하면 성능이 거의 제로로 무너졌습니다. 제약 없는 GRPO를 사용했을 때는 안전성이 크게 저하되었습니다.
• 입력 소스: 현재의 월드 모델 상태와 제안된 액션 청크를 함께 사용하는 것이 미래 예측만을 사용하는 것보다 가장 안정적인 보상-비용 신호를 제공했습니다.
• 라그랑주 승수 ($\eta$): 초기 $\eta$ 값을 0.2로 설정했을 때 최적의 균형을 보였습니다. 값이 너무 높으면 지나치게 제약적인 비효율적 정책이 되었고, 너무 낮으면 위험한 행동을 억제하지 못했습니다.

의의 및 주장

본 논문은 SafeDojo를 안전한 체화된 지능(embodied intelligence)을 향한 확장 가능하고 일반화 가능한 경로로 포지셔닝합니다. 월드 모델을 활용하여 상상 속에서 "예측적 롤아웃(anticipatory rollouts)"을 수행함으로써, SafeDojo는 정책 탐색의 필요성과 물리적 안전 위반의 비가역성 사이의 근본적인 긴장을 해결합니다.

저자들은 SafeDojo가 VLA 모델에 모델 기반 안전 RL을 성공적으로 적용한 최초의 프레임워크이며, 이를 통해 다음을 가능하게 한다고 주장합니다:

1. 위험 없는 학습: 정책 개선이 시뮬레이션된 월드 모델 내에서 완전히 이루어지므로, 비용이 많이 들고 위험한 실제 환경 탐색이 필요 없습니다.
2. 데이터 기반 안전: 기하학적 제약이나 수작업으로 설계된 비용 함수에 의존하는 대신, 고차원 시각 관측으로부터 안전 신호를 학습합니다.
3. 균형 잡힌 최적화: 라그랑주 기반 접근 방식을 통해 높은 작업 성능을 유지하면서도 명시적인 제약 준수를 가능하게 합니다.

결과적으로, 월드 모델 기반의 안전 강화 학습은 안전이 필수 전제 조건인 개방형 물리 환경에서 VLA 정책을 배포하기 위한 유효한 패러다임임을 시사합니다.