기술 요약: WorldArena 2.0: 모달리티, 기능성 및 플랫폼에 대한 구체화된 세계 모델 벤치마킹 확장

문제 제기

세계 모델 (World models) 은 구체화된 지능 (embodied intelligence) 을 위한 핵심 패러다임이 되었으며, 에이전트가 행동 조건부 미래를 예측하고 환경 역학에 대해 추론할 수 있게 합니다. 그러나 기존 구체화된 세계 모델 (EWMs) 벤치마크는 점점 더 포괄적인 모델의 평가를 방해하는 세 가지 치명적인 한계를 겪고 있습니다:

1. 모달리티 한계: 주류 벤치마크는 비전 (vision) 만을 대상으로 하는 설정에 국한되어 있어, 접촉이 풍부한 역학과 물리적 마찰을 해결하는 데 필수적인 촉각 피드백이 포함된 구체화된 상호작용의 다중 모달 (multimodal) 성격을 간과합니다.
2. 기능성 한계: 하류 평가는 대부분 오픈루프 (open-loop) 계획이나 정적 정책 평가로 제한됩니다. 상상된 롤아웃 (imagined rollouts) 을 통한 반복적 정책 개선을 지원하는 상호작용 강화 학습 (RL) 환경으로서 세계 모델의 역량을 조사하는 경우는 드뭅니다.
3. 플랫폼 한계: 벤치마크 결과는 거의 전적으로 시뮬레이션에서 얻어집니다. 통제된 가상 환경에서의 강력한 성능이 실제 세계 배포로 이어지는지 여부는 불분명하며, 시뮬레이션에서 실제 세계로의 전이 (sim-to-real) 격차는 대부분 조사되지 않은 채 남아 있습니다.

방법론

이러한 한계를 해결하기 위해 저자들은 WorldArena 2.0을 도입했습니다. 이는 모달리티, 기능성, 플랫폼이라는 세 가지 조정된 차원을 따라 EWM 평가를 체계적으로 확장한 확장된 벤치마크입니다.

1. 모달리티 확장: 시각 - 촉각 평가

WorldArena 2.0 은 비전 전용 평가에서 시각 - 촉각 (visuotactile) 모달리티로 평가를 확장합니다.

• 표준화 파이프라인: UniVTAC 시뮬레이터를 기반으로 저자들은 아키텍처 수술 없이 비전 전용 세계 모델을 시각 - 촉각 모델로 업그레이드하기 위한 표준화 파이프라인을 제안합니다. 이는 세 가지 모듈을 포함합니다:
  • 촉각 변형 맵을 인코딩하고 비디오 잠재 공간에 정렬하는 촉각 VAE.
  • 비디오 및 촉각 예측을 위해 동기화된 디노이징 (denoising) 을 수행하는 시각 - 촉각 2-스트림 세계 모델.
  • 예측된 시각 - 촉각 잠재값을 기반으로 미래 행동을 추론하는 행동 확산 헤드 (Action Diffusion Head).
• 평가 지표: 모델은 촉각 예측 품질 (PSNR, SSIM) 과 하류 조작 작업 (예: HDMI 삽입, 병 들어 올리기) 에서의 기능적 성공률로 평가됩니다.

2. 기능성 확장: RL 환경으로서의 세계 모델

이 벤치마크는 오프라인 예측을 넘어 세계 모델을 온라인 상호작용 RL 환경으로서 평가하는 방향으로 나아갑니다.

• 프레임워크: 저자들은 세계 모델이 환경 전이 커널 ($\hat{P}_\phi$) 을 근사하는 폐쇄루프 RL 파이프라인을 공식화합니다. 이 프레임워크는 네 가지 구성 요소로 이루어집니다:
  • 세계 모델 환경: 현재 상태와 행동을 기반으로 다음 관측치를 예측합니다.
  • 보상 모델: 즉각적인 보상을 예측합니다 (Proxy 기반, VLM 기반, 유사도 기반 설계로 테스트됨).
  • 정책 모델: 관측치를 조건으로 행동을 생성합니다.
  • 최적화 모듈: 기대 수익을 극대화하기 위해 정책 매개변수를 업데이트합니다 (예: GRPO 를 통해).
• 프로세스: 세계 모델은 전통적인 RL 설정에서 시뮬레이터를 대체합니다. 정책은 세계 모델과의 반복적 상호작용을 통해 훈련되며, 결과적으로 생성된 정책은 실제 세계 또는 고정밀 시뮬레이션 작업에서의 성공률을 측정하기 위해 배포됩니다.

3. 플랫폼 확장: 교차 구체화 시뮬레이션 - 실제

WorldArena 2.0 은 교차 구체화 일반화를 평가하기 위해 세 가지 서로 다른 플랫폼에 걸친 단계별 평가 파이프라인을 도입합니다:

• RoboTwin 2.0: 광범위한 도메인 무작위화를 갖춘 확장 가능한 양손 시뮬레이션 환경 (작업: 병 조정, 종 치기).
• LIBERO: 절차적 지식 전환을 위한 단일 팔 조작을 위한 구조화된 벤치마크 (작업: 가스레인지 켜기).
• AgileX Split-Type ALOHA: PiPER 6-DoF 암을 장착한 실제 세계 로봇 테스트베드 (작업: 물 따르기, 테이블 닦기).
• 평가 프로토콜: 모델은 구체화된 데이터 엔진 (Embodied Data Engines) (정책 훈련을 위한 합성 데이터 생성) 과 구체화된 행동 계획자 (Embodied Action Planners) (폐쇄루프 행동 시퀀스를 직접 예측) 로 테스트됩니다.

주요 결과

저자들은 정의된 플랫폼에서 12 개의 최첨단 구체화된 세계 모델을 대상으로 광범위한 실험을 수행했습니다.

• 시각 - 촉각 성능:
  • 범용 세계 모델 (예: Wan2.2) 은 전문화된 구체화 모델에 비해 우수한 촉각 예측 품질을 보여주었으며, "HDMI 삽입" 작업에서 100% 성공률을 달성했습니다.
  • 그러나 "병 들어 올리기"와 같은 장기 작업은 한계를 드러냈습니다. 기본 ACT 모델이 80% 의 성공률을 달성한 반면, 세계 모델은 0% 로 떨어졌는데, 이는 향상된 촉각 인식에도 불구하고 현재 모델들이 장기적인 힘 제어에 어려움을 겪고 있음을 시사합니다.
• RL 환경 유용성:
  • 세계 모델을 사용하여 훈련된 정책 (예: WoVR, Ctrl-World) 은 단기 작업 (종 치기) 에서 실제 시뮬레이터 훈련과 비교 가능한 성능을 보였으나, 장기 작업에서는 다양한 결과를 나타냈습니다.
  • 보상 모델 중 Proxy 기반 보상 모델 (ResNet 백본 사용) 이 가장 견고한 것으로 입증되었으며, 미세 조정 부족이나 예측 정확도 의존성으로 인해 어려움을 겪은 VLM 기반 및 유사도 기반 접근법보다 우수한 성과를 거두었습니다.
• 교차 플랫폼 상관관계:
  • 지각 품질: 시각 품질, 운동 품질, 물리 준수는 시뮬레이션 플랫폼 (RoboTwin 및 LIBERO) 간에 강한 상관관계를 보여주었습니다.
  • 시뮬레이션 - 실제 격차: 시뮬레이션과 실제 세계 성능 사이에 상당한 단절이 관찰되었습니다. 시뮬레이션 순위는 중간 정도의 상관관계를 보였지만, 실제 세계 평가에서는 작업 성공률이 급격히 하락했습니다. 소수의 모델만이 실제 세계 작업에서 0 이 아닌 성공률을 달성했으며, 모두 실제 배포 요구 사항에 훨씬 미치지 못했습니다.
  • 기능적 전이: 작업 성공률은 시뮬레이터 간에 양의 상관관계를 보였으나 실제 세계 성능과 비교할 때 크게 하락하여, 시뮬레이션 기반 지표가 실제 세계 배포 가능성에 대한 신뢰할 수 있는 대용치가 아님을 확인시켜 주었습니다.

중요성 및 주장

이 논문은 WorldArena 2.0 이 진정한 범용 구체화 세계 모델을 향한 진전을 추적하는 엄격하고 표준화된 테스트베드를 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 표준화: 일관된 벤치마크가 부재했던 시각 - 촉각 세계 모델 평가 및 세계 모델을 온라인 RL 환경으로 활용하는 분야에 대한 표준화된 프로토콜을 선구적으로 도입했습니다.
2. 현실 점검: 실제 세계 로봇 평가를 도입함으로써 상당한 "시뮬레이션 - 실제 사용성 격차"를 노출시켰으며, 고정밀 시뮬레이션 성능이 실제 세계 역량을 보장하지 않음을 입증했습니다.
3. 포괄적 평가: 시각적 현실감을 넘어 물리적 기반, 상호작용 유용성, 그리고 교차 플랫폼 견고성을 평가함으로써 구체화된 지능 개발을 위한 더 현실적인 기반을 제공합니다.

저자들은 현재 모델들이 다중 모달 역학을 포착하고 정책 최적화를 지원하는 데 있어 유망한 모습을 보이지만, 시뮬레이션 훈련과 실제 세계 물리적 실행 사이의 격차를 해소하는 데는 여전히 상당한 과제가 남아 있다고 결론지었습니다.