기술 요약: AdaWAM – 적응형 다중 모드 추론을 통한 월드 액션 모델(World Action Models)의 발전

1. 문제 정의

월드 액션 모델(World Action Models, WAMs)은 미래의 관측과 로봇의 행동 사이의 결합을 명시적으로 모델링함으로써, 단순히 현재의 시각적 상태에 반응하는 것을 넘어 물리적 역학을 추론할 수 있게 하여 체화된 지능(embodied intelligence)의 유망한 패러다임으로 부상했습니다. 그러나 기존의 WAM 접근 방식은 두 가지 주요 한계점을 가집니다:

1. 적응형 추론의 부재: 기존 방법들은 대개 정적인 패러다임에 의존합니다. 비디오-액션 공동 예측(Video-action joint prediction) 모델은 미래의 시각적 관측과 행동을 동시에 생성하여 물리적 예견(physical foresight)을 제공하지만, 공동 디코딩으로 인해 높은 계산 지연 시간이 발생합니다. 반대로, 액션 전용 예측(action-only prediction) 모델은 추론 효율성을 높이지만, 정밀한 물리적 예견이 필요한 미세 조작 단계에서 반응적인 동작에 그치는 경우가 많습니다.
2. 텍스트 의미론의 활용 미흡: 대부분의 기존 WAM은 언어를 단순히 정적인 작업 설명으로 취급하며, 장기적 과제 이해 및 단계별 행동 가이드를 위한 풍부한 텍스트 의미론을 활용하지 못합니다.

저자들은 체화된 과제 수행이 단계마다 서로 다른 추론 모드를 필요로 한다는 점에 주목했습니다. 즉, **텍스트 추론(textual reasoning)**은 과제 전환 시 서브태스크 인식 및 고수준 가이드에 중요하며, **시각적 추론(visual reasoning)**은 미세 조작(예: 잡기, 삽입) 시 물리적 예견을 위해 필수적입니다. 반면, 중간 단계의 움직임은 액션 전용 디코딩을 통해 효율적으로 처리될 수 있습니다. 현재의 모델들은 이러한 모드 간을 동적으로 전환하는 능력이 부족하여, 비효деfficiency(비효율성)를 초래하거나 최적화되지 않은 성능을 보입니다.

2. 방법론: AdaWAM

이러한 한계를 해결하기 위해, 저자들은 적응형 다중 모드 추론(adaptive multi-modal reasoning) 기능을 갖춘 월드 액션 모델 프레임워크인 AdaWAM을 제안합니다. 핵심 혁신은 현재 실행 컨텍스트에 따라 텍스트 또는 시각적 추론을 자율적으로 트리거하는 경량화된 **다이내믹 라우터(Dynamic Router)**입니다.

2.1 데이터 어노테이션 파이프라인

적응형 메커니즘을 훈련하기 위해, 저자들은 밀도 높은 프레임당 추론 레이블을 생성하는 확장 가능한 어노테이션 파이프라인을 개발했습니다:

• 궤적 가이드 서브태스크 어노테이션: 로봇 상태 궤적을 파싱하여 물리적 단서(말단 장치 운동, 그리퍼 상태)를 추출해 후보 서브태스크 윈도우를 찾습니다. 그 후 시각-언어 모델(VLM)이 이 윈도우 내의 시각적 관측을 검증하여 서브태스크 완료 경계를 식별하고, 언어 조건부 레이블을 생성합니다.
• 모션 기반 미세 조작 레이블링: 통합된 절차를 통해 운동 패턴(변위, 방향, 국소 변화, 그리퍼 활동)을 분석하여 미세 조작 단계(잡기, 놓기, 핸드 내 조정)와 거친 움직임을 구분합니다.

2.2 모델 아키텍처

AdaWAM은 잠재 확산 프레임워크(latent diffusion framework) 내의 세 가지 핵심 구성 요소로 구축됩니다:

1. 비디오-액션 DiT (생성 백본): 물리적 역학을 모델링하기 위해 확산 트랜스포머(Diffusion Transformer, DiT)를 활용합니다. 여기에는 미래의 시각적 잠재 변수를 예측하는 잠재 월드 모델 역할을 하는 VideoDiT ($M_\theta$)와 연속적인 액션 청크를 생성하는 정책 네트워크 역할을 하는 ActionDiT ($\pi_\phi$)가 포함됩니다.
2. 텍스트 추론 모듈: 컴팩트한 시각-언어 모델(VLM)로, 활성화될 경우 다음 서브태스크를 위한 토큰화된 시퀀스를 자기 회귀적으로 예측합니다. 이를 통해 생성 백본이 시간적으로 정렬된 미세한 언어 조건부 입력을 받을 수 있도록 보장합니다.
3. 다이내믹 라우터 ($R_\psi$): 컨텍스트(시각적 임베딩, 글로벌 작업 지침, 현재 서브태스크 지침)를 처리하여 두 개의 이산 토큰인 <TR> (텍스트 추론)과 <VR> (시각적 추론)을 독립적으로 예측하는 경량 모듈입니다.
   • <TR>=1이면, 텍스트 추론 모듈이 서브태스크 지침을 업데이트합니다.
   • <VR>=1이면, 시각적 추론 모듈이 물리적 예견(미래 시각 잠재 변수)을 합성합니다.
   • 그렇지 않으면, 모델은 효율적인 액션 전용 디코딩을 기본값으로 수행합니다.

2.3 훈련 전략

훈련은 두 단계의 공동 훈련(co-training) 파이프라인을 따릅니다:

• 1단계: 생성 모델을 위한 연속 시간 흐름 매칭(continuous-time flow matching) 목적 함수와 라우터를 위한 이진 교차 엔트로피를 사용하여 VideoDiT, ActionDiT, 다이내믹 라우터를 동시에 최적화합니다(휴리스틱하게 어노테이션된 레이블에 의해 감독됨).
• 2단계: 물리적 사전 지식(physical priors)의 파괴적 망각을 방지하기 위해 생성 백본과 라우터를 고정한 상태에서 텍스트 추론 모듈을 미세 조정합니다.

2.4 추론

테스트 시 배포 중에, AdaWAM은 각 액션 청크에 대해 추론 패턴을 동적으로 재구성합니다. 라우터는 텍스트 모듈, 시각적 월드 모델, 또는 두 가지 모두를 호출할지 결정합니다. 그 후 액션 예측기는 현재 상태, 업데이트된 서브태스크 지침, 그리고 선택적인 미래 예견을 포함하는 다중 모드 조건 세트를 조립하여 액션 궤적을 샘플링합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. AdaWAM 프레임워크: 실행 컨텍스트에 따라 텍스트 추론, 시각적 추론, 액션 전용 디코딩을 동적으로 교차시키는 월드 액션 모델로서, 정적인 파이프라인을 넘어섭니다.
2. 토큰 수준 라우팅: 적응형 추론을 토큰 수준의 라우팅 문제로 정식화하여, 효율적인 액션 예측을 위해 특정 추론 모드를 자율적으로 활성화하는 다이내믹 라우터를 도입했습니다.
3. 실증적 검증: AdaWAM이 시뮬레이션 및 실제 환경 작업 모두에서 최첨단 체화된 정책들을 능가하면서도 추론 효율성을 실질적으로 개선함을 광범선한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 LIBERO(시뮬레이션), RoboTwin 2.0(시뮬레이션), 그리고 ALOHA 및 PiPER 암을 사용한 실제 환경 작업 등 세 가지 벤치마크에서 AdaWAM을 평가했습니다.

• 장기 과제 성능: LIBERO 벤치마크에서 AdaWAM은 LIBERO-Long 서브셋에서 99.1%의 성공률을 달성하며 $\pi_0$, X-VLA, Fast-WAM과 같은 강력한 베이스라인을 능가했습니다. 이는 다중 객체 상호작용 및 장기 계획을 처리하는 능력을 강조합니다.
• 미세 조작 과제 성능: RoboTwin 2.0 벤치마크에서 AdaWAM은 어려운 과제 서브셋과 깨끗한 환경에서 가장 높은 성공률(전체 성공률 93.11%)을 기록했습니다. 특히 물리적 예견이 필요한 작업(예: StackBowlsThree, PutObjectCabinet)에서 액션 전용 베이스라인보다 뛰어난 성능을 보였습니다.
• 실제 환경 역량: 실제 환경 실험(예: Clean Up Trash, Wipe Table)에서 AdaWAM은 기존 WAM 및 VLA 방법보다 우수한 역량을 보여주며, 미세한 작업과 장기 과제를 모두 성공적으로 수행했습니다.
• 추론 효율성: 높은 성공률을 유지하면서도, AdaWAM은 스텝당 추론 시간 측면에서 CoT 기반 VLA(예: MM-ACT)보다 크게 앞섰습니다. 액션 전용 모델(Fast-WAM)과 유사한 속도를 달성하면서도, 실패 횟수를 줄임으로써 전체 과제 수행 시간을 단축하여 적응형 추론의 효율성을 입증했습니다.
• 일반화: 미지의 서브태스크 조합(예: 알려진 작업의 재조합)에서, 텍스트 추론 능력을 갖춘 모델(AdaWAM, MM-ACT)은 시각 또는 액션 전용 사전 지식에만 의존하는 모델보다 훨씬 더 나은 일반화 성능을 보였습니다.

5. 의의 및 주장

본 논문은 현재 WAM의 핵심 한계가 적응형 다중 모드 추론의 부재에 있다고 주장합니다. 실행 컨텍스트(과제 전환 vs. 미세 조작)에 따라 서로 다른 추론 모드가 필요하다는 관찰을 바탕으로, AdaWAM은 비디오-액션 공동 예측의 높은 신뢰성과 액션 전용 예측의 효율성 사이의 간극을 메웁니다.

저자들은 AdaWAM이 다음과 같은 점에서 체화된 지능의 중요한 진전이라고 주장합니다:

• 다중 모드의 이점 보존: 지속적인 계산 오버헤드 없이도 다중 모달 모델의 물리적 예견과 의미론적 이해를 유지합니다.
• 컨텍스트 인지 적응: 언제 "꿈을 꾸고"(시각적 추론), 언제 "계획할지"(텍스트 추론)를 자율적으로 결정하여 정확도와 지연 시간 사이의 트레이드오프를 최적화합니다.
• 확장성: 제안된 어노테이션 파이프라인과 라우팅 메커니즘은 복잡한 장기 로봇 과제를 위한 적응형 정책 훈련에 대한 확장 가능한 접근 방식을 제공합니다.

저자들은 AdaWAM이 계산 효율성과 추론 적응성을 발전시키지만, 향후 연구에서는 추가적인 감각 양식(촉각, 깊이)으로 프레임워크를 확장하고, 진정한 자기 적응형 추론 경계를 가능하게 하기 위해 라우팅 메커니즘에 대한 비지도 또는 강화 학습 접근 방식을 탐구할 것이라고 결론지었습니다.