기술 요약: DC-WAM

문제 정의

월드-액션 모델(World-Action Models, WAMs)은 미래의 시각적 예측을 액션 생성과 결합함으로써 로봇 정책을 강화하며, 예상되는 장면의 진화를 조밀한 시간적 감독 신호로 사용합니다. 그러나 표준 WAM은 일반적으로 균일한 RGB 미래 예측에 의존하며, 이는 조작 역학(manipulation dynamics)을 질감, 조명, 배경 및 센서 노이즈와 같은 외형 요소와 결합시킵니다.

식별된 핵심 문제는 사실적인 재구성이 조밀한 감독을 제공하기는 하지만, 모델이 액션 선택과 약하게 연관된 외형 변화를 재구성하는 데 상당한 용량을 할당하도록 강제한다는 점입니다. 이러한 외형 중심의 요소들은 조작 역학을 변화시키지 않으면서도 환경에 따라 변할 수 있으며, 재구성 오류를 지배하는 경우가 많습니다. 결과적으로, 표준 RGB 기반 감독은 시각적 분포 변화(예: 조명 변화, 배경 질감 변화) 하에서 취약한 정책을 초래할 수 있습니다. 또한, 최근의 효율적인 WAM 변형 모델들은 비디오 브랜치의 주요 이점이 훈련 중에 학습된 제어 관련 표현(control-relevant representations)에 있을 수 있음을 시사하지만, 기존 방법들은 구조화된 감독을 달성하기 위해 추가적인 모달리티 특화 예측(예: 시맨틱 마스크, 광학 흐름)이나 온라인 입력을 요구하는 경우가 많습니다.

방법론

저자들은 DC-WAM(Dynamic-Centric Visual Supervision and Reasoning for World-Action Models)을 제안합니다. 이는 기존의 RGB 기반 WAM을 외형 중심의 재구성에서 상호작용에 의해 유도된 시각적 역학으로 전환하도록 설계된 프레임워크입니다. 이는 추가적인 모달리티 특화 예측 브랜치를 도입하거나 배포 시 온라인 입력을 요구하지 않고 수행됩니다.

이 방법은 Wan2.2 백본을 기반으로 한 표준 Visual-Action Mixture-of-Transformers (MoT) 아키텍처에서 작동하며, 두 가지 상호 보완적인 메커니즘을 통해 RGB 비디오 브랜치의 훈련 및 추론을 수정합니다.

1. 역학 중심 시각적 감독 (Dynamic-Centric Visual Supervision)

DC-WAM은 균일한 잠재 표현 재구성을 대신하여 시간적 변화와 국소적 상호작용 영역을 강조하는 두 가지 상호 보완적인 훈련 신호를 도입합니다.

• 시간 차분(Temporal-Difference, TD) 감독: 이 조밀한 신호는 인접한 시각적 흐름 필드 간의 일관성을 강제합니다. 예측된 흐름 속도와 타겟 속도의 차이($\Delta \hat{u}_t^V - \Delta u_t^V$)를 모델링함으로써, 모델이 시간적으로 지속되는 외형 성분(예: 정적인 배경)을 억제하고 상태 전이에 집중하도록 합니다.
• 트래커 가이드 흐름 매칭(Tracker-Guided Flow Matching, TrackFM): 이 희소한 신호는 오프라인에서 도출된 역학 맵을 사용하여 시각적 흐러 매칭 오차를 재가중합니다.
  • 구성: 오프더쉘프 포인트 트래커(CoTracker3)가 훈련 비디오를 처리하여 포인트 궤적을 추정합니다. 추적된 포인트의 역방향 시간 차이(backward temporal differences)인 운동 크기를 VAE 토큰 그리드에 래스터화하여 역학 맵을 구축합니다.
  • 적용: 이 맵은 움직임이 강한 영역(그리퍼, 조작되는 물체, 접촉 영역)에는 높은 가중치를 부여하고, 정적인 배경에는 거의 0에 가까운 가중치를 부여합니다. 손실 함수는 이러한 상호작용 유도 역학을 우선시하도록 재가중됩니다.
  • 배포: 이러한 트래커 유도 타겟은 오프라인에서 구축되며, 정책 실행 중에는 사용되지 않습니다.

2. DynaRoute: 역학 인식 어텐션 바이어스 (Dynamics-Aware Attention Bias)

모델의 추론을 제어와 관련된 미래 토큰으로 유도하기 위해, 저자들은 토큰별 역학 관련성을 예측하는 경량 모듈인 DynaRoute를 도입합니다.

• 메커니즘: DynaRoute는 현재 관측값, 액션 토큰 및 컨디셔닝을 입력으로 받아 각 미래 시각 토큰에 대한 관련성 점수를 예측합니다.
• 어텐션 바이어스: 이 점수들은 시각 토큰 어텐션 메커니즘의 가산적 키 사이드 바이어스(additive key-side bias)로 변환됩니다. 이를 통해 어텐션 메커니즘이 모든 시각 토큰에 균일하게 주의를 기울이는 대신, 상호작용 유도 움직임(예: 물체 변위, 접촉 변화)과 관련된 토큰에 집중하도록 유도합니다.
• 추론: 배포 중 DC-WAM은 Fast-WAM과 유사한 "액션 전용(action-only)" 추론 전략을 따릅니다. 비디오 브랜치는 초기 확산 단계에서 단 한 번 실행되어 라우팅된 시각 키-값 캐시($C_V$)를 구축합니다. DynaRoute는 바이어스를 생성하기 위해 한 번만 평가되며, 그 후 비디오 브랜치는 비활성화되고 액션 브랜치는 캐시된 키와 값을 재사용합니다. 이는 효율적인 추론을 유지하면서 훈련-추론 간의 일관성을 보존합니다.

주요 기여

1. 프레임워크 리다이렉션: 새로운 모달리티나 배포 시 입력을 추가하지 않고도 기존 RGB 비디오 브랜치를 외형 재구성에서 상호작용 유도 역학으로 전환하는 DC-WAM을 제안했습니다.
2. 상보적 감독 및 추론: 이중 감독 전략(조밀한 시간적 변화를 위한 TD, 희소한 상호작용 영역을 위한 TrackFM)과 시각적 어텐션을 역학적으로 유의미한 토큰으로 라우팅하는 추론 메커니즘(DynaRoute)을 도입했습니다.
3. 추가 비용 없는 강건성: 깨끗한 데모만으로 훈련해도 시각적 섭동(조명, 배경, 물체 외형) 하에서 성능이 크게 향상된 OOD(Out-of-Distribution) 강건성을 가진 모델을 생성함을 입증했습니다.

실험 결과

저자들은 시뮬레이션 벤치마크(LIBERO 및 LIBERO-Plus)와 실제 세계의 양손 조작 작업에서 DC-WAM을 평가했습니다.

• LIBERO (In-Distribution): DC-WAM은 성공률 **98.1%**를 달성하여 FastWAM-AC(96.7%)와 FastWAM(97.6%)을 능가했습니다.
• LIBERO-Plus (Out-of-Distribution): 7가지 유형의 섭동(카메라, 로봇, 언어, 조명, 배경, 노이즈, 레이아웃) 하에서 DC-WAM은 평균 **60.9%**의 성공률을 달 기록했으며, 이는 FastWAM-AC(53.8%) 및 FastWAM(51.5%)보다 크게 향상된 수치입니다. DC-WAM은 가장 적은 ID-OOD 성능 저하(37.2% vs. 42.9% 및 46.1%)를 보여주었습니다.
• 실제 작업: 세 가지 장기 호흡 양손 작업(그릇 쌓기, 접시 쌓기, 감자 수집)에서 DC-WAM은 베이스라인을 지속적으로 앞섰으며, 특히 조명 및 배경 섭동 하에서 큰 이득을 보였습니다.
• 절제 연구(Ablation Studies):
  • 조밀한(TD) 및 희소한(TrackFM) 감독 모두 성능 향상에 기여하여 그 상보성을 확인했습니다.
  • DynaRoute의 키 사이드 바이어스가 결정적임을 보여주었습니다. 관련성을 섞거나 액션 쿼리를 직접 라우팅하면 성능이 저하되었습니다.
  • PSNR 불일치: 본 논문은 더 높은 미래 프레임 PSNR이 더 나은 제어 성능과 상관관계가 없음을 강조합니다. DC-WAM은 일부 변형 모델보다 낮은 PSNR에도 불구하고 가장 높은 성공률을 기록했으며, 이는 외형 충실도가 제어 유용성과 일치하지 않음을 나타냅니다.

의의 및 주장

본 논문은 WAM의 시각적 예견(visual foresight)의 가치가 렌더링된 미래 자체보다 훈련 중에 학습된 예측 표현에 있다는 점을 주장합니다. 외형 재구성에서 상호작용 유도 역학으로 감독의 초점을 전환함으로써, DC-WAM은 시각적 분포 변화에 강건한 표현을 생성합니다.

저자들은 이 접근 방식이 구조화된 미래 표현(마스크나 흐름 등)을 생성하기 위한 계산적 오버헤드나 배포 시 추가 센서를 요구하지 않고도 기존 RGB 기반 WAM을 제어 관련 역학으로 "리다이렉션"할 수 있게 해준다고 강조합니다. 결과는 "무엇이 보이는가"보다 "무엇이 움직이는가"에 감독을 집중하는 것이, 특히 시각적 외형은 변하지만 물리적 역학은 일관된 환경에서 더 강력한 로봇 정책을 학습하는 데 더 효과적인 전략임을 시사합니다.