기술 요약: RoboWorld

1. 문제 정의

범용 로봇 정책(Vision-Language-Action 모델)을 평가하기 위해서는 다양한 작업과 환경에 걸친 광범한 롤아웃(rollout)이 필요합니다. 실제 환경에서의 평가는 하드웨어 가용성, 안전 문제, 그리고 인간의 감독 비용이 높다는 제약이 있습니다. 시뮬레이션 기반 평가는 이러한 비용을 피할 수 있지만, 자산 설정(asset setup)을 위한 상당한 엔지니어링이 필요하며 sim-to-real 간극(gap) 문제가 발생합니다.

비디오 월드 모델(video world models)을 활용하는 최근의 접근 방식은 물리적 로봇 없이도 상호작적인 폐쇄 루프(closed-loop) 롤아웃을 가능하게 함으로써 확장 가능한 대안을 제시합니다. 그러나 두 가지 핵심 과제가 월드 모델의 신뢰성을 저해하여 정책 평가를 어렵게 만듭니다:

1. 신뢰할 수 없는 장기 호라이즌 롤아웃(Long-Horizon Rollouts): 월드 모델의 오류가 시간이 지남에 따라 누적되어 생성된 궤적을 오염시키고, 이로 인해 평가 결과의 신뢰성을 떨어뜨립니다.
2. 낮은 처리량(Low Throughput): 비디오 생성 모델의 반복적인 디노이징(denoising) 과정은 추론 속도를 느리게 하여 평가 규모를 제한합니다.
3. 스코어링의 한계: 기존 방법들은 종종 시각-언어 모델(VLM)을 사용하여 이진(binary) 성공/실패 점수를 부여합니다. 이 방식은 실제 정책의 실패와 월드 모델의 아티팩트(예: 모델 오류로 인해 물체가 사라지는 현상)를 혼동하여 편향된 순위를 초래합니다.

2. 방법론

저자들은 빠른 자기회귀(autoregressive) 비디오 월드 모델과 작업 진행 상황을 인지하는 VLM 판별기로 구성된 자동화된 평가 파이프라인인 ROBOWORLD를 소개합니다.

2.1 Step Forcing: 신뢰할 수 있는 롤아웃을 위한 학습 전략

자기회귀 비디오 생성에서의 훈련-테스트 불일치(train-test mismatch)와 오류 누적 문제를 해결하기 위해, 본 논문은 Step Forcing을 제안합니다. 이 방법은 고정된 몇 단계(few-step) 디노이징 스케줄 하에서 "one-step self-forwarded priors"로부터 깨끗한 프레임을 예측하도록 월드 모델을 학습시킵니다.

• 메커니즘: 이 방법은 깨끗한 프레임과 노이즈를 연결하기 위해 rectified flow를 활용합니다. 학습 중에 모델은 다음 중 하나인 컨텍스트를 조건으로 합니다:
  1. Self-Forwarded: 모델 자신의 노이시한 예측으로부터 수행된 단일 Euler step(self-generated prior). 이는 학습 컨텍스트를 추론 컨텍스트와 일치시켜 훈련-테스트 간극을 줄입니다.
  2. Anchored: 데이터에 근거한(ground-truth) 노이시한 잠재 변수(latent). 이는 모델이 실제 동작-관측 역학에서 벗어나는 것을 방지하기 위해 특정 확률로 적용됩니다.
• 스케줄 정렬(Schedule Alignment): one-step self-forwarding 데 사용되는 디노이징 스케줄은 추론 스케줄과 동일합니다. 이를 통해 증류 기반 샘플러(distillation-based samplers)에 의존하지 않고도 효율적인 몇 단계 디노이징(예: 4단계)이 가능합니다.
• 아키텍처: 월드 모델은 양방향 비디오 확산 모델(Wan2.1)을 기반으로 하며, 양방향 어텐션을 프레임 레벨의 인과적(causal) 어텐션으로 교체하고, 액션을 크로스 어텐션(cross-attention)을 통해 인코딩하며, 프레임별 독립적인 노이즈 스케줄링을 사용하도록 수정되었습니다.

2.2 작업 진행 인지형 VLM 스코어링

생성된 롤아웃을 평가하기 위해, ROBOWORLD는 정책 성능과 월드 모델 오류를 분리하기 위한 특정 프롬프팅 전략을 갖춘 VLM 판별기를 사용합니다:

• 루브릭 기반 스코어링: 이진 성공/실패 대신, VLM은 작업 진행 상황을 평가하기 위해 사전에 정의된 0–5 루브릭을 사용합니다.
• 다중 뷰(Multi-View) 전략: VLM은 주로 **손목 뷰(wrist view)**에서 월드 모델의 아티팩트(물리적 불일치)를 격리하도록 지시받는 한편, **고정된 외부 뷰(external views)**를 통해서만 실제 작업 진행 상황을 엄격히 평가하도록 지시받습니다. 이를 통해 월드 모델이 결국 퇴화하더라도 유효한 정책 진행에 대해 부분 점수를 부여할 수 있어, 정책의 능력을 공정하게 평가할 수 있습니다.

2.3 평가 파이프라인

ROBOWORLD는 다음과 같은 폐쇄 루프로 작동합니다:

1. 초기 관측값이 주어지면, 로봇 정책이 액션을 예측합니다.
2. 월드 모델은 액션과 과거 컨텍스트를 조건으로 다음 관측값을 생성합니다.
3. 생성된 관측값은 다음 단계를 위해 정책에 다시 입력됩니다.
4. 전체 롤아웃은 VLM 판별기에 의해 점수가 매겨집니다.

3. 주요 기여

1. Step Forcing: 안정적이고 빠르며(few-step), 신뢰할 수 있는 장기 호라이즌 자기회귀 비디오 생성을 가능하게 하는 새로운 학습 목적 함수(objective)를 결적합한 새로운 학습 전략입니다.
2. RoboWorld 파이프라인: 빠른 월드 모델과 미묘한 VLM 스코어링 메커니즘을 통합하여, 평가 시 물리적 로봇의 필요성을 제거한 엔드 투 엔드 자동화 평가 시스템입니다.
3. 실제 환경과의 높은 상관관계: 월드 모델 기반 평가가 실제 세계의 벤치마크와 강력하게 상관될 수 있음을 입증하여, 신경 시뮬레이터(neural simulator)를 통한 정책 순위 산정의 타당성을 검증했습니다.

4. 결과

4.1 생성 품질 및 효율성

RoboArena 데이터셋(DROID를 사용하여 학습)에서 평가했을 때, Step Forcing 방식은 베이스라인(Ctrl-World, Persist-World, Diffusion Forcing) 대비 우수한 속도-품질 트레이드오프를 달성했습니다:

• 처리량(Throughput): 4단계 디노이징에서 15.3 FPS를 달성하였으며, 이는 양방향 베이스라인(4단계에서 5.7 FPS)보다 현저히 빠릅습니다.
• 품질: 단 4단계만을 사용함에도 불구하고 전반적으로 가장 우수한 LPIPS를 기록했으며, SSIM 및 FVD 측면에서도 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다.

4.2 실제 환경 평가와의 상관관계

시스템은 4,186개의 RoboArena 에피소드에서 파생된 비디오 롤아웃을 통해 8개의 범용 로봇 정책을 평가함으로써 테스트되었습니다.

• 상관관계: ROBOWORLD의 순위는 실제 세계의 RoboArena 리더보드와 피어슨 상관계수 0.989, 스피어먼 상관계수 0.970을 보였습니다.
• 비용 효율성: 벤치마크를 재현하는 데 단 100 H100 GPU 시간만이 필요했으며, 이는 물리적 배포와 비교했을 때 상당한 감소입니다.
• 절제 연구(Ablation Studies): self-forwarded prior 또는 anchor step을 제거하면 성능이 크게 저하되어(FVD 증가) 안정성을 위한 두 구성 요소의 필요성을 확인했습니다.
• 스코어링 영향: 작업 진행 루브릭을 사용했을 때(이진 스코어링 대비) 스피어먼 상관계수가 0.922에서 0.970으로 향상되었으며, 이는 신뢰할 수 있는 순위 산정을 위한 부분 점수의 중요성을 강조합니다.

4.3 극한 환경으로의 일반화

저자들은 실제 프레임을 변환하여 합성된 극한 환경(예: 우주선 내부, 재난 현장)에 대한 파이프라인의 적용 가능성을 입증했습니다. 실제 리더보드와의 상관관계가 여전히 높게($r=0.970$) 유지되어, 접근 불가능한 환경에서의 안전한 사전 배포 평가 도구로서의 유용성을 보여주었습니다.

5. 의의 및 주장

본 논문은 ROBOWORLD가 물리적 로봇 평가를 대체할 수 있는 확장 가능하고 신뢰할 수 있으며 비용 효율적인 대안을 제공한다고 주장합니다. Step Forcing을 통해 월드 모델의 오류 누적과 느린 추론이라는 특정 과제를 해결하고, 작업 진행 인지형 스코어링을 통해 평가 지표를 정교화함으로써, 시스템은 실제 로봇 순위와 거의 완벽한 상관관계를 달성했습니다.

저자들은 이 연구가 시뮬레이션의 엔지니어링 부담이나 물리적 하드웨어의 물류적 제약 없이 대규모 정책 평가를 가능하게 하는 단계라고 위치시킵니다. 이 방법이 매우 효과적이지만, 지속적인 접촉 상황에서의 물체 일관성(object consistency)과 같은 장기 호라이즌의 정교한 조작(dexterous manipulation) 문제는 여전히 과제로 남아 있으며, 향후 대규모 인간-물체 상호작용 데이터에 대한 사전 학습이 필요할 수 있음을 인정합니다.