Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

기술 요약: 시간적 비율(Temporal Ratio)을 통한 비디오-액션 일반화 격차의 이해 및 완화

1. 문제 정의

생성형 비디오 파운데이션 모델(VFM)은 인터넷 규모의 데이터로부터 유도된 강력한 구성적 사전 지식(compositional priors)을 보유하고 있어, 시간적 일관성, 객체 상호작용 및 물리적 타당성을 이해할 수 있습니다. 그러나 이러한 모델을 로봇 제어를 위한 월드-액션 모델(WAM) 또는 비디오-액션 모델(VAM)로 적응시킬 때, 로봇 액션 데이터로 파인튜닝을 거치면서 이러한 구성적 일반화 능력을 상실하는 경우가 빈번합니다. 저자들은 이 불일치를 비디오-액션 일반화(Video-Action Generalization, VAG) 격차라고 명명합니다.

기존의 정책(policy)들은 구성적 일반화(예: 학습된 객체와 용기를 보지 못한 작업 시퀀스로 재조합하는 것) 상황에서 자주 실패하는데, 이는 모델이 근본적인 생성적 사전 지식을 활용하기보다 학습 데이터의 시각적 상관관계에 과적합(overfit)되기 때문입니다. VAM을 위한 표준적인 설계 선택지들(예: 공동 학습 vs 2단계 학습, 또는 다양한 노이즈 레벨 등)이 탐구되어 왔으나, 이는 분절된 성능 양상을 보일 뿐, 왜 특정 구성이 분포 외(Out-of-Distribution, OOD) 시나리오에서 성공하거나 실패하는지에 대한 명확한 창발적 설명을 제시하지 못했습니다.

2. 방법론

2.1 체계적 설계 공간 분석

저자들은 사전 학습된 비디오 파운데이션 모델(특히 Cosmos-Predict 2.5-2B)의 잠재 특징(latent features)을 활용하고, 플로우 매칭(flow matching)을 통해 잠재 역역학 액션 헤드(latent inverse-dynamics action head)를 학습하는 일련의 VAM들을 체계적으로 평가했습니다. 저자들은 다음 두 가지 주요 축을 기준으로 설계 공간을 조사했습니다:

• 학습 시 구성(Training-time configurations): 매개변수 효율적 적응(LoRA)과 전체 파인튜닝(full finetuning)의 비교, 그리고 공동 학습(비디오와 액션 손실을 동시에 최적화)과 2단계 학습(백본을 먼저 파인튜닝한 후 이를 고정하고 액션 헤드 학습 진행)의 비교.
• 추론 시 파라미터(Inference-time parameters): 특징을 추출하는 비디오 노이즈 레벨($\sigma_v$)과 예측 호라이즌($T$)의 변화.

분석 결과, 분포 내(In-Distribution, ID) 성능은 종종 포화 상태에 도달했으나, OOD 성능은 이러한 선택들에 매우 민밀하게 반응했습니다. 하지만 단일 구성이 일관되게 격차를 메우지는 못했습니다.

2.2 시간적 비율 (Temporal Ratio, TR)

실패 모드를 설명하기 위해, 저자들은 액션 헤드가 앵커링된 현재 프레임 대비 예측된 미래 잠재 롤아웃(latent rollouts)에 얼마나 강하게 의존하는지를 정량화하는 어텐션 기반 메트릭인 **시간적 비율(Temporal Ratio, TR)**을 도입했습니다.

• 정의: TR은 액션 헤드가 미래 프레임 토큰($V_+$)에 할당하는 어텐션 질량(attention mass)과 현재 프레임 토큰($V_0$)에 할당하는 질량의 비율로 계산됩니다:
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  여기서 $A$는 액션 토큰을 나타내며, $\ell$은 액션 헤드의 특정 레이어입니다.
• 물리적 해석: 비디오 디노이징 공식에서, 첫 번째 프레임($t=0$)은 매 단계마다 깨끗하고 고충실도의 관측 앵커로 주입됩니다. 미래 프레임은 노이즈가 섞인 잠재 상태로부터 디노이징되며 모델의 "상상된" 진화를 나타냅니다. 높은 TR은 정책이 이러한 상상된 미래를 바탕으로 계획(planning)하고 있음을 나타내며, 낮은 TR은 정책이 즉각적인 관측에 반응(reacting)하고 있음을 나타냅니다.

2.3 TR에 관한 주요 관찰 사항

• 예측력: TR은 구성적 일반화 능력의 직접적인 예측 인자로 작용합니다. 계획 단계(planning phases) 동안 높은 TR을 보이는 모델은 더 나은 OOD 성공률과 상관관계가 있습니다.
• 태스크 단계별 역학(Task Phase Dynamics): TR은 정적이지 않으며 태스크 단계에 따라 변동합니다. 언어와 목표를 미래 상태에 결합해야 하는 "계획 단계"(예: 객체 또는 용기 선택)에서는 상승하며, 정확한 조작이 필요한 "정밀 조작 단계"(예: 잡기 또는 배치)에서는 하락합니다.
• 실패 모드 진단: VAG 격차는 종종 불일치에서 기인합니다. 비디오 백본은 올바른 구성적 미래를 예측할 수 있지만, 액션 헤드가 이를 무시(낮은 TR)하고 암기된 ID 궤적을 따르는 경우가 있습니다. 반대로, TR은 높지만 비디오 예측이 좋지 않을 경우 액션 헤드가 환각된(hallucinated) 미래를 따를 수도 있습니다.

2.4 TR-적응형 가이던스 (TR-Adaptive Guidance)

이러한 발견을 바탕으로, 저자들은 정책이 미래 롤아웃에 의존하는 시점에 정확히 구성적 비디오 컨디셔닝 신호를 동적으로 증폭시키는 추론 시 적응형 가이던스 방법을 제안합니다.

• 메커니즘: 이 방법은 두 가지 카운터팩추얼(counterfactual) 가이던스 방향을 계산합니다:
  1. 언어 가이던스(Language Guidance): 조건부 vs Null-text 비디오 특징을 비교하여 언어 의존적 액션 속도를 분리합니다.
  2. 플랜 가이던스(Plan Guidance): 표준 호라이즌 특징과 확장된 호라이즌 특징을 비교하여 장기적 시간 구조를 분리합니다.
• 적응형 스케일링: 가이던스 신호의 강도($w_{lang}, w_{plan}$)는 현재 TR에 따라 동적으로 스케일링됩니다. TR이 에피소드 베이스라인보다 높아질 때(계획 단계임을 나타냄) 가중치가 증가하며, 과도한 가이던스를 방지하기 위해 상한선이 설정됩니다. 이를 통해 모델은 계획 단계에서는 구성적 추론을 활용하고, 조작 단계에서는 가이던스를 완화하여 국소적 정밀도를 유지할 수 있습니다.

3. 주요 결과

3.1 시뮬레이션 (LIBERO 벤치마크)

LIBERO 스위트(Spatial, Object, Goal, Long) 및 그 구성적 OOD 대응 모델에서 평가되었습니다:

• 베이스라인 성능: 기존 WAM 및 VAM은 ID 성능은 포화되었으나(>95%), OOD 시나리오에서는 붕괴되었습니다(종종 <15% 성공률).
• 설계 공간의 발견: LoRA를 사용한 공동 학습과 중간 단계의 비디오 노이즈 레벨($\sigma_v \approx 0.883$)이 가장 우수한 가이드 미적용 OOD 성능(평균 55.7%)을 보였습니다.
• TR-적응형 가이던스의 영향: 제안된 방법은 평균 OOD 성공률을 **59.4%**로 향상시켜, 기존 VAM 베이스라인 대비 5배 이상의 개선을 보였으며, ID 성능 또한 가장 우수한 가이드 미적용 모델과 대등한 수준을 유지했습니다. 평탄한 가이던스(TR 적응 없는 가이던스)는 ID 성능을 저하시켜, 단계별 가이던스의 필요성을 확인시켜 주었습니다.

3.2 실제 환경 평가 (Bimanual YAM)

구성적 OOD 테스트 장면이 포함된 24가지 멀티태스크(그릇, 간식, 병 등)를 수행하는 양팔 로봇에서 평가되었습니다:

• 성능: 제안된 VAM은 베이스라인($\pi_0, \pi_{0.5}$, Cosmos-Policy)을 능가했습니다.
• 가이던스 효능: 적응형 가이던스는 평균 성공률을 71.7%(가이드 미적용)에서 **83.3%**로 높였습니다.
• 표준 접근법의 한계: 기존 VAM들처럼 완전히 노이즈가 섞인 단계($\sigma_v=1.0$)에서 특징을 추출하는 것은 실제 환경 작업에서 거의 제로에 가까운 성공률을 보였으며, 이는 구조화된 부분적 디노이징 잠재 상태의 필요성을 강조합니다.

4. 의의 및 주장

본 논문은 VAG 격차가 단순히 데이터 부족이나 모델 용량의 문제가 아니라, 액션 헤드가 현재 관측과 예측된 미래 사이에서 정보를 어떻게 라우팅하는가에 관한 기계적 문제라고 주장합니다.

• 진단 도구: 시간적 비율(TR)은 정책이 생성적 비디오 사전 지식을 효과적으로 활용하고 있는지 진단할 수 있는 실행 시간의 해석 가능한 메트릭을 제공합니다.
• 개선을 위한 메커니즘: 본 연구는 구성적 일반화가 두 가지 조건, 즉 (1) 비디오 백본이 유용한 미래를 예측해야 하고, (2) 액션 헤드가 계획 단계에서 그 미래에 적극적으로 의존해야 한다는 것을 보여줍니다.
• 실질적 완화: TR-적응형 가이던스는 모델을 재학습시키거나 국소적 조작 정밀도를 희생하지 않고도, 이 내재된 어텐션 패턴을 활용하여 OOD 일반화를 개선하는 실용적인 추론 시 개입 방법을 제공합니다.

저자들은 이 프레임워크가 VAM의 동작을 명확히 하고 로봇 제어에서의 OOD 일반화 격차를 완화하는 경로를 제공한다고 결고하며, 다만 기초가 되는 비디오 모델의 물리적 타당성과 추가적인 추론 비용에 대한 한계를 인정합니다.