기술 요약: PILOT – 표현적 연역을 통한 의도와 궤적의 분리

1. 문제 정의

월드 액션 모델(World Action Models, WAMs)은 세계 상태의 진화에 대한 이해와 동작 궤적 생성을 통합하는 것을 목표로 합니다. 그러나 기존 패러다임은 표현적 얽힘(representational entanglement) 문제로 인해 어려움을 겪고 있습니다. 현재의 WAM은 일반적으로 정적인 미래 관측값(종종 고정된 VAE 잠재 공간 내)을 예측하여 동작 생성을 유도하는 시각적 브랜치에 의존합니다. 이러한 접근 방식은 다음과 같은 구조적 병목 현상을 생성합니다:

• 시각적 편향(Visual Bias): 결합된 최적화 목적 함수가 궤적 생성보다 시각적 재구성을 우선시합니다.
• 인과적 모델링의 부재: 단일 시점의 정적인 시각적 표현은 동작 상호작용에 따른 물리적 상태의 진화를 포착하지 못합니다.
• 얽힘(Entanglement): 액션 모델은 고수준의 상태 전이를 추론하는 동시에 저수준의 모터 명령을 생성해야 하는 동일한 얽힌 컨텍스트로부터 정보를 추출해야 하며, 이는 추론 시 불안정한 사전 확률(prior)로 이어집니다.
• 비효율성: "예측 후 행동(predict-then-act)"(행동하기 전에 미래 프레임을 생성하는 방식)에 의존하는 패러다임은 반복적인 디노이징 루프로 인해 상당한 추론 지연을 초래합니다.

본 논문은 기존 방법들이 동작 하에 세계 상태가 어떻게 변하는지를 명시적으로 모델링하는 대신, 미래가 어떠한 모습인지에 집중함으로써 실패한다고 주장합니다. 이는 일반화 능력과 물리적 해석 가능성을 제한합니다.

2. 방법론: PILOT 프레임워크

저자들은 표현적 연역(Representational Deduction, RD) 메커니즘에 기반한 엔드투엔드 프레임워크인 PILOT(Physical Inference for Latent Optimized Trajectories)을 제안합니다. PILOT은 Motion CoT(Chain-of-Thought)를 네이티브 모델 능력으로 도입하여 고수준의 동작 의도와 저수준의 궤적 생성을 분리합니다.

핵심 아키텍처

PILOT은 세 개의 협력하는 브랜치로 구성됩니다:

1. 월드 모델 브랜치 (이해): 사전 학습된 Wan2.2 비디오 확산 트랜스포머를 기반으로 구축되었습니다. 이는 현재 관측값과 지시사항을 통합된 시각-언어 컨텍스트로 인코딩합니다. 전통적인 WAM과 달리, 이 브랜치는 추론 시 미래 픽셀 프레임을 생성하는 용도가 아닌 주로 이해를 위한 용도로 사용됩니다.
2. 액션 퍼셉터(Action-Perceiver) 브랜치: 학습 가능한 쿼리 토큰을 사용하여 시각-언어 컨텍스트로부터 **동작 의미 컨텍스트(motion-semantic context)**를 추출하는 플로우 매칭(flow-matching) 액션 디코더입니다.
   • 인과적으로 분리된 어텐션(Causally-Decoupled Attention): 동작 의미가 디퓨전 노이즈를 흡수하는 것을 방지하기 위해 어텐션 메커니즘은 비대칭적입니다. 비-액션 잠재 변수(상태 + 쿼리)는 자기 자신과 컨텍스트에만 어텐션을 수행하는 반면, 액션 토큰은 비-액션 잠재 변수에 어텐션을 수행합니다. 이를 통해 동작 의미 토큰($m$)이 노이즈가 아닌 결정론적인 상태 전이를 인코딩하도록 보장합니다.
3. 표현적 연역 (RD) 브랜치: 이 브랜치는 **인과적 역학 엔진(Causal Dynamics Engine, CDE)**을 사용하여 미래 상태 표현을 예측함으로써 동작 의미를 감독합니다.
   • 고정된 인코더: 고정된 VJEPA2-AC 인코더는 현재 및 미래 프레임에서 패치 수준의 표현을 추출합니다. 이 표현은 픽셀 수준의 질감보다는 동적 특징(공간 위치, 궤적)에 집중합니다.
   • 인과적 역학 엔진 (CDE): 학습 가능한 트랜스포머로서, 학습된 동작 의미($m$)와 로봇의 고유 수용 감각 상태($s_t$)를 조건으로 하여 미래 표현($\hat{r}_{t+\Delta}$)을 예측합니다.
   • 감독(Supervision): CDE는 정답 미래 프레임의 고정된 인코더 표현과 일치하도록 학습됩니다. 이는 학습 가능한 동작 의미 토큰이 세계 상태를 진화시키는 데 필요한 물리적 인과 관계와 상태 전이를 인코딩하도록 강제합니다.

학습 및 추론

• 학습: 모델은 액션 플로우 매칭 손실, 월드 모델 미래 프레임 손실, 그리고 RD 손실을 결합한 가중치 목적 함수와 함께 공동으로 학습됩니다. RD 손실은 조밀한 감독 신호를 제공하여 액션 데이터의 희소성 문제를 완화합니다.
• 추론: 생성 파이프라인(미래 프레임 예측)은 비활성화됩니다. 모델은 컨텍스트를 추출하고, 동작 의미 토록($m$)을 추출하며, $m$에 조건화된 액션을 디코딩하는 단일 순전파(forward pass)를 수행합니다. 이를 통해 픽셀 생성 패러다임에 필요한 반복적인 디노이징 루프를 우회합니다.

3. 주요 기여

1. 표현적 연역 (RD): 정적 시각 예측과 동적 액션 조작 사이를 연결하며, 동작 의미를 Motion CoT로 내재화하는 새로운 메커니즘입니다. 이는 고수준 동작 의미와 저수준 궤적 세부 사항을 분리하여 표현적 얽힘을 완화합니다.
2. 인과적 역학 엔진 (CDE): 액션 모델에 VJEPA 잠재 공간으로부터 학습된 명시적 물리적 인과 관계를 부여하는 구성 요소입니다. 이를 통해 모델은 카메라 움직임이나 배경 변화에 구애받지 않고 동적 표현에 집중할 수 있으며, 픽셀 수준 재구성의 계산적 병목을 우회합니다.
3. 효율적인 분리된 아키텍처: 추론 시 명시적인 미래 이미지 예측을 Motion CoT로 대체함으로써, PILOT은 강력한 일반화 성능을 유지하면서도 실시간 효율성을 달액합니다.

4. 실험 결과

PILOT은 시뮬레이션 벤치마크(LIBERO, LIBERO-Plus, RoboCasa-GR1)와 Agibot-G1 휴머노이드 로봇을 이용한 실제 작업에서 평가되었습니다.

• 시뮬레이션 성능:
  • LIBERO: 평균 성공률 97.9%(5.4B 파라미터)를 달성하여 Motus(8B, 97.7%) 및 $\pi0.5$(3.5B, 96.2%)와 같은 베이스라인을 능가했습니다. 특히 Goal(98.1%) 및 Long-horizon(97.2%) 제품군에서 뛰어난 성과를 보였습니다.
  • LIBERO-Plus: 총 성공률 **81.0%**를 달성하여 이전 최고 기록인 PokeVLA(79.3%)보다 1.7% 높았으며, 구조적 섭동에 대한 견고성에서 상당한 이득을 보였습니다.
  • RoboCasa-GR1: 평균 성공률 **62.6%**를 달성하여 FastWAM(56.7%) 및 LDA(55.4%)를 앞질렀습니다. "Pick and Place Novel From Tray"(74.8% vs 55.1%) 항목에서 주목할 만한 개선이 있었습니다.
• 실제 환경 평가 (Agibot-G1):
  • 표준 작업: 8가지 pick-and-place 작업에서 평균 성공률 **83.1%**를 달성하여 Fast-WAM(73.3%) 및 $\pi0.5$(71.3%)를 능가했습니다.
  • 일반화: 분포 변화(조명 변화, 카메라 오프셋, 배경 변화) 상황에서도 PILOT은 **68.3%**의 일반화 성공률을 기록하며 Fast-WAM(50.0%)을 크게 앞질렀습니다.
  • 퓨샷 학습 (Few-Shot Learning): 단 10%의 학습 데이터만으로도 PILOT은 **62.4%**의 성공률을 유지하여, 큰 폭의 하락을 보인 베이스라인들에 비해 우수한 전이 능력을 입증했습니다.
• 효율성:
  • PILOT은 "예측 후 행동" 패러다임에 비해 추론 지연 시간을 90% 단축했습니다 (RoboCasa 기준 111.60 ms vs 1329.95 ms).
  • 145 Hz의 원시 액션 빈도를 달성하며, 이는 6.9 ms의 스텝 타임에 해당합니다. 그러나 PILOT은 궤적(RoboCasa의 경우 16 스텝)에 걸쳐 액션을 예측하고 첫 번째 청크만 실행한 뒤 재계획(replanning)하므로, 유효 제어 빈도는 58 Hz이며, 이는 실시간 폐루프 제어를 위한 20 Hz 임계값을 충분히 상회합니다.

5. 의의 및 주장

본 논문은 PILOT이 WAM의 구조적 병목인 표현적 얽힘을 해결함으로써 **일반 공간 지능(General Spatial Intelligence)**을 향한 중요한 진전임을 주장합니다.

• 분리(Decoupling): 주요 의의는 고수준 동작 의도(Motion CoT로 캡처됨)와 저수준 궤적 생성을 성공적으로 분리했다는 점에 있습니다. 이를 통해 모델은 정적인 시각적 세부 사항이나 배경 노이즈에 방해받지 않고 물리적 상태 전이를 명시적으로 추론할 수 있습니다.
• 물리적 해석 가능성: 상태 전이를 학습 가능한 토큰으로 압축함으로써, 배경이 아닌 액션 유형별로 뚜렷한 클러스터링을 보여주는 t-SNE 시각화 결과와 같이 모델의 추론 공간을 더 해석 가능하게 만듭니다.
• 효율성 vs 성능: 본 프레임워크는 고성능 액션 계획을 위해 명시적인 미래 프레임 생성이 반드시 필요하지 않음을 보여줍니다. RD 메커니즘은 픽셀 수준 생성의 순차적 추론 페널티 없이 학습 단계에서 월드 모델링(예측 능력)의 이점을 제공합니다.
• 확장성: 이 접근 방식은 효율적인 퓨샷 미세 조정 전략 역할을 하며, 고정된 VJEPA 인코더와 CDE를 통해 학습된 물리적 표현이 다양한 형태(embodiment)와 환경에 전이 가능하다는 것을 시사합니다.

저자들은 결론적으로 PILOT이 현재 WAM의 한계를 효과적으로 완화하며, 역동적인 환경에서 복잡한 조작이 가능한 더 견고하고 해석 가능하며 효율적인 체화된 에이전트(embodied agents)를 위한 경로를 제시한다고 밝힙了.