기술 요약: Sword – 동적 잠재 부트스트래핑을 통한 시뮬레이터로서의 견고한 세계 모델

1. 문제 제기

비전 - 언어 - 행동 (VLA) 모델과 세계 모델의 통합은 로봇 조작을 위한 유망한 패러다임으로 부상했으며, 물리적 상호작용의 prohibitive 한 비용을 우회하기 위해 "상상 (simulated environments)" 내에서 정책 최적화를 가능하게 합니다. 그러나 기존 세계 모델은 LIBERO 와 같은 특정 벤치마크용 시뮬레이터로 배포될 때, 그 신뢰성을 훼손하는 두 가지 결정적인 한계에 직면합니다:

1. 낮은 일반화 능력 및 교란에 대한 민감성: 현재 모델들은 종종 훈련 환경의 특정 시각적 질감과 정적 구성에 과적합됩니다. 배경 색상, 조명, 또는 물체 외관과 같은 분포 외 (OOD) 교란에 노출될 때, 이러한 모델들은 일반화에 실패합니다. 근본적인 물리적 역학을 모델링하는 대신, 표면적인 통계적 상관관계에 의존하여 폐루프 롤아웃 중 파국적인 연쇄적 환각 (예: 심각한 흐림, 과노출, 또는 구조적 붕괴) 을 초래합니다.
2. 자기회귀적 오차 누적 (노출 편향): 표준 훈련 방법론은 미래 상태를 예측하기 위해 컨텍스트로 정답 프레임을 사용하는 'Teacher Forcing'을 활용합니다. 그러나 추론 시 모델은 자신의 불완전한 예측에 조건을 부여해야 합니다. 이러한 분포 변화는 초기의 작은 오차들이 장기 롤아웃에 걸쳐 누적되고 증폭되게 하여, 예측된 미래 상태의 충실도를 저하시키고 강화 학습 (RL) 사후 훈련을 위한 시뮬레이터의 신뢰성을 떨어뜨립니다.

2. 방법론: Sword 프레임워크

이러한 취약점을 해결하기 위해 저자들은 환경 의미론과 작업 관련 역학을 분리하고 훈련 및 추론 분포를 정렬하도록 설계된 견고한 세계 모델 프레임워크인 Sword를 제안합니다. 이 프레임워크는 두 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 구조 유도 스타일 증강

일반화 능력을 향상시키고 저수준 시각적 질감에 대한 과적합을 방지하기 위해, Sword 는 훈련 중에 확률적 스타일 증강 파이프라인을 도입합니다.

• 메커니즘: Cosmos-Transfer 2.5 아키텍처를 기반으로, 이 방법은 관찰 대상에 밝기, 채도, 로봇 팔 색상, 탁자 외관과 같은 연속적인 스타일 변환을 적용합니다.
• 구조 유도: 이러한 변환들이 물리적으로 타당하고 의미론적으로 일관되도록 유지하기 위해, 증강은 기하학적 및 작업 사전 지식을 통해 유도됩니다. DepthAnything, GroundingDINO, SAM2 를 통해 추출된 깊이 지도 및 의미론적 분할 마스크와 같은 보조 모달리티가 기하학적 제어 브랜치에 주입됩니다. 작업 의미론과 스타일 목표를 결합한 공동 프롬프트가 텍스트 제어 브랜치를 안내합니다.
• 목표: 이는 모델이 표면적인 픽셀 수준의 단서가 아닌 불변의 물리적 역학 ($S_{env}$) 과 기하학적 제약 ($G_{env}$) 을 학습하도록 강제하여 OOD 조건 하에서의 견고성을 향상시킵니다.

2.2 동적 잠재 부트스트래핑 (DLB)

Teacher Forcing(훈련) 과 자기회귀 생성 (추론) 간의 불일치로 인한 노출 편향을 완화하기 위해, Sword 는 동적 잠재 부트스트래핑을 제안합니다.

• 메커니즘: Teacher Forcing 에서 자기 조건 부여로 갑자기 전환하는 대신, DLB 는 점진적인 전환을 구현합니다. 이는 VAE 잠재 공간에 동적 잠재 캐시를 유지하여 (픽셀 공간 언롤링 대비 수백 GB 의 메모리 오버헤드를 20GB 미만으로 감소시킵니다).
• 프로세스: 훈련 중 모델의 자체 예측 잠재들은 지속적으로 이 캐시에 기록됩니다. 훈련 목표는 정답 프레임 대신 이러한 캐시된 예측들을 역사적 컨텍스트 신호로 사용할 확률을 점진적으로 증가시킵니다.
• 목표: 이는 모델이 자신의 예측으로 유발된 오차를 수정하는 방법을 학습하도록 하는 "부트스트랩된" 훈련 루프를 생성하여, 훈련 분포가 추론 분포와 정렬되게 하고 장기 롤아웃을 안정화합니다.

2.3 모델 아키텍처

이 프레임워크는 확산 기반 생성형 Transformer 인 Wan 2.2 TI2V를 백본으로 활용합니다. 행동은 프레임 예측을 안내하기 위해 텍스트로 주입됩니다. 모델은 단일 컨텍스트 잠재 하나가 두 개의 미래 잠재 (8 프레임으로 디코딩됨) 를 예측하는 잠재 공간에서 작동하며, 에피소드의 첫 번째 프레임은 시간적 일관성을 강화하기 위해 글로벌 조건으로 연결됩니다.

3. 주요 기여

논문은 다음과 같이 기여 사항을 요약합니다:

1. 구조 유도 스타일 증강: 기하학적 구조와 작업 의미론을 보존하면서 시각적 조건을 다양화하는 파이프라인으로, 표면적인 질감보다 전환 관련 역학의 학습을 장려합니다.
2. 동적 잠재 부트스트래핑: Teacher Forcing 에 내재된 훈련 - 추론 불일치를 효과적으로 완화하기 위해 훈련 중에 모델이 자체 예측 잠재에 점진적으로 조건을 부여하는 메모리 효율적 메커니즘입니다.
3. 종합적 평가: LIBERO 벤치마크에 대한 체계적인 평가를 통해 Sword 가 일반화, 생성 품질, 시뮬레이터 충실도, 그리고 VLA 정책 사후 훈련의 성공률 측면에서 최첨단 WoVR 베이스라인을 능가함을 입증합니다.

4. 실험 결과

실험은 1,600 개의 롤아웃 에피소드 (훈련 1,500 개, 평가 100 개) 데이터셋을 사용하여 LIBERO-Spatial벤치마크에서 수행되었습니다. 평가에는 보이지 않는 스타일 변형을 포함한 OOD 테스트 세트 (LIBERO-Mixed) 가 포함되었습니다.

• 일반화: OOD 조건 (예: 조명 및 색상 변화) 하에서 베이스라인 WoVR 는 심각한 저하를 보였으며, 30 프레임이 될 때쯤 예측이 흐려지고 구조적으로 붕괴되었습니다. 반면, Sword 는 장기 롤아웃 전반에 걸쳐 안정적이고 정확한 예측 및 스타일 일관성을 유지했습니다.
• 예측 품질: 정량적 지표 (LPIPS, FID, FVD, FloLPIPS) 는 Sword 가 WoVR 를 일관되게 능가함을 보여주었습니다. 특히 혼합 OOD 데이터셋에서 Sword 는 FVD 를 119.62 (WoVR) 에서 32.59 로 크게 감소시켜 흐림과 떨림 현상의 우월한 완화를 나타냈습니다.
• 견고성 및 충실도: 물리적 상호작용 (예: 그리핑) 을 포함하는 폐루프 시뮬레이션에서 WoVR 는 행동 시퀀스를 정확하게 따르지 못해 그리퍼를 조기에 닫거나 물체 추적을 상실하는 경우가 많았습니다. Sword 는 정렬이 달성될 때까지 그리퍼를 올바르게 열어두고 성공적으로 수정 그리프를 수행하는 등 우수한 행동 제어 능력을 입증했습니다.
• 정책 성공률: RL 사후 훈련용 시뮬레이터로 사용될 때 (OpenVLA-OFT 를 사용한 GRPO), Sword 는 WoVR 베이스라인 (53.12%) 보다 높은 성공률 (172 단계에서 61.72%) 을 달성하도록 VLA 에이전트를 가능하게 했습니다.

제거 실험 (Ablation Studies)

• DLB 유효성: DLB 를 제거하면 모든 지표에서 일관된 성능 저하가 발생했으며, 특히 장기 안정성과 조명 일관성에서 두드러져 노출 편향 감소에서의 역할을 확인했습니다.
• 캐시 설계: 캐시 전략 (읽기 스케줄 및 쓰기 백 메커니즘) 에 대한 제거 실험은 읽기 - 캐시 스케줄(특히 선형 감쇠) 이 성능에 가장 큰 영향을 미쳤으며, 쓰기 백 전략 (Direct 대 EMA, Single 대 All chunks) 은 덜 규칙적인 영향을 보임을 밝혔습니다. 최적 구성은 선형 감쇠, 직접 교체, 그리고 모든 청크를 결합한 것이었습니다.

5. 중요성 및 주장

이 논문은 Sword 가 VLA 정책 최적화를 위한 시뮬레이터로서의 세계 모델의 결정적 취약점을 해결한다고 주장합니다. 스타일 증강을 통해 모델이 불변의 물리적 역학을 학습하도록 성공적으로 제약하고, 동적 잠재 부트스트래핑을 통해 훈련 - 추론 간극을 해결함으로써, 기존 접근법에서 만연한 연쇄적 오차를 제거합니다.

저자들은 Sword 가 보이지 않는 환경에서 최적화된 정책의 일반화와 전체 성공률을 크게 향상시키는 고충실도, 견고한 생성형 시뮬레이터를 제공한다고 단언합니다. 그들은 이 작업을 물리적 로봇 상호작용에 대한 대안으로서 "상상 기반"강화 학습을 실현 가능하게 만드는 한 걸음으로 위치시키지만, 현재 비교는 계산적 제약으로 인해 WoVR 베이스라인에 국한되었으며 향후 작업에서 더 광범위한 비교를 계획한다고 겸손하게 언급합니다.