Making Foresight Actionable: Repurposing Representation Alignment in World Action Models

기술 요약: 예측 가능성을 실행 가능하게 만들기: 월드 액션 모델(World Action Models)에서의 표현 정렬 재구성

1. 문제 정의

월드 액션 모델(World Action Models, WAMs)은 제어 동작을 도출하기 전 비디오 생성 모델을 활용하여 미래의 장면 진화를 예측함으로써 로봇 조작을 위한 유망한 패러다임을 제시한다. 그러나 저자들은 결정적인 단절을 식별하였다: 그럴듯한 시각적 미래를 생성하는 것이 정확한 제어 동작의 추출을 보장하지는 않는다.

경험적 관찰과 진단 분석을 통해, 본 논문은 **"액션 그라운딩 갭(action-grounding gap)"**을 밝혀냈다. 베이스라인 WAM은 작업 일관성이 있는 미래 비디오를 합성할 수 있음에도 불구하고, 이들의 내부 표현은 제어 동작의 디코딩보다는 픽셀 수준의 재구성(질감, 색상, 배경 노이즈)에 최적화되어 있다. 결과적으로 다음과 같은 현상이 발생한다:

• 어텐션 불일치(Attention Misalignment): 액션 디코더가 작업에 필수적인 상호작용 영역(예: 손과 물체의 접촉 부위)에 집중하지 못하고, 대신 정적이거나 무관한 배경 요소에 주목하는 경향이 있다.
• 섭동에 대한 민감도(Sensitivity to Perturbations): 액션 출력값이 작업과 무관한 영역의 섭동에 매우 민감하게 반응하여, 분포 외(OOD) 시나리오에서 낮은 강건성을 보인다.
• 표현 불일치(Representation Mismatch): 시각적 재구성에 최적화된 은닉 상태(hidden states)는 정밀한 조작에 필요한 공간적 일관성이 부족하여, 저수준 액션 제어에 유용한 형태로 내재적으로 조직되지 않는다.

2. 방법론: AGRA

이 간극을 해결하기 위해, 저자들은 표현 정렬을 재구성하여 월드-액션 인터페이스를 규제하는 새로운 목적 함수인 **AGRA(Action-Grounded Representation Alignment)**를 제안한다.

핵심 메커니즘

AGRA는 비디오 확산 모델(즉, "월드 모델")의 중간 은닉 상태를 동결된 파운데이션 시각 인코더(구체적으로 DINOv2)로부터 추출된 공간적으로 일관된 의미론적 표현과 정렬한다.

• 타겟 구축: 이 방법은 DINOv2 타겟을 월드 모델의 은닉 상태와 시간적 및 공간적 형태가 일치하도록 구축한다. 각 잠재 비디오 프레임에 대해, 대응하는 첫 번째 RGB 프레임을 동결된 DINOv2 인코더에 통과시켜 패치 수준의 의미론적 특징을 추출한다.
• 정렬 목적 함수: 이 방법은 프로젝터를 통해 선택된 비디오 DiT의 은닉 상태(기본 설정에서 8번째 레이어)를 DINOv2 특징 공간으로 투영한다. 그 후, 투영된 상태와 DINOv2 타겟 사이의 음의 코사인 유사도(negative cosine similarity)를 최소화한다.
• 학습 통합: 이 정렬 손실($L_{AGRA}$)은 비디오 예측과 액션 생성을 위한 플로우 매칭 손실($L_{WAM}$)로 구성된 베이스라인 WAM 학습 목적 함수에 보조 항으로 추가된다. 결정적으로, AGRA는 월드 모델의 예측 능력을 대체하는 것이 아니라, 액션 디코더에 노출되는 특징들이 "액션에 근거하도록(action-grounded)" 보장하는 규제제 역할을 한다.

아키텍처

베이스라인 WAM은 듀얼 DiT 아키텍처를 사용한다:

1. 비디오 DiT: 현재 관측값과 언어 지시문에 조건화되어 미래의 시각적 잠재 변수를 예측한다.
2. 액션 DiT: 비디오 DiT의 예측된 시각적 특징에 조건화되어 연속적인 액션 청크(action chunks)를 생성한다.
   AGRA는 멀티 레이어 브릿지 전략을 통해 비디오 DiT의 특정 레이어를 동결된 DINOv2 인코더와 정렬함으로써 개입하며, 이 과정에서 특징들이 액션 DiT로 주입된다.

3. 주요 기여

1. 액션 그라운딩 갭의 진단: 저자들은 어텐션 맵 분석과 인과적 개입(토큰 수준의 섭동)을 통해, 베이스라인 WAM이 상호작용 영역에 집중하지 못하고 무관한 배경 노이즈에 민감하게 반응한다는 것을 보여주는 경험적 증거를 제공한다.
2. AGRA 목적 함수: 생성적 시각 특징과 실행 가능한 제어 신호 사이의 간극을 메우기 위해, 월드-액션 인터페이스를 규제하도록 특별히 설계된 표현 정렬 목적 함수를 제안한다.
3. 실세계 검증: 휴머노이드 로봇(IRON-R01-1.11)에 대한 광범-한 평가를 통해, AGRA가 실행 성공률, 물체 위치 파악 및 OOD 변화(의미론적, 인스턴스 수준, 속성 일반화)에 대한 강건성을 크게 향상시킨다는 것을 입증한다.

4. 실험 결과

저자들은 실세계 조작 작업(Pick-and-Place, Open-Steamer-Transfer-Bun)과 시뮬레이션 벤치마크(RoboCasa GR1)에서 AGRA를 평가하였다.

• 내부 분포(ID) 성능: AGRA는 80%의 성공률을 달성하였으며, 이는 베이스라인 WAM(34%)을 크게 상회하는 수치이다.
• 분포 외(OOD) 일반화: AGRA는 우수한 강건성을 보였으며, 베이스라인 대비 성능을 27%(의미론적), 32%(인스턴스 수준), 32%(속성) 향상시켰다.
• 어텐션 및 인과 분석:
  • 어텐션 맵: AGRA는 액션 헤드의 어텐션을 손-물체 상호작용 영역으로 더 정확하게 유도하는 반면, 베이스라인은 종종 정적인 손이나 배경에 주목한다.
  • 인과적 민감도: 정량적 지표(Matched Sensitivity Ratio)는 AGRA가 베이스라인에 비해 상호작용 영역의 섭동에는 훨씬 더 민감하고, 배경 노이즈에는 덜 민감함을 보여준다.
• 절제 연구(Ablation Studies):
  • 레이어 선택: 8번째 레이어(약 1/3 깊이)를 정렬했을 때 최적의 결과를 얻었다. 더 깊은 레이어는 동적 모델링을 방해하였고, 단일 레이어 브릿지는 멀티 레이어 브릿지보다 열등했다.
  • 시각 인코더 선택: DINOv2가 SigLIP보다 우수한 성능을 보였으며, 이는 조작 작업에서는 언어 정렬된 특징보다 객체 중심의 공간적으로 일관된 특징이 더 중요하다는 것을 시사한다.
  • 교차 체형(Cross-Embodiment): AGRA는 인간 시연 데이터(EgoDex)의 교차 체형 전이를 크게 개선하였으나, 베이스라인은 개선 효과가 거의 없었다.

5. 의의 및 주장

본 논문은 그럴듯한 시각적 예견(visual foresight)만으로는 명시적인 액션 그라운딩 없이는 신뢰할 수 있는 로봇 제어가 불가능하다고 주장한다. AGRA의 의의는 다음과 같다:

• 월드-액션 인터페이스 규제: 비디오 확산 특징을 공간적으로 일관된 의미론적 표현과 정렬함으로써, AGRA는 제어에 사용되는 특징들이 단순히 외형뿐만 아니라 작업 관련 구조(물체, 접촉점)를 중심으로 조직되도록 보장한다.
• 강건성 향상: 이 방법은 정책을 작업과 무관한 영역의 변화(예: 배경 변화, 방해 요소)에 대해 더 강건하게 만들어, 현재 생성적 월드 모델의 주요 실패 모드를 해결한다.
• 간극 해소: 표현 정렬 기술(원래 생성 품질을 높이기 위해 사용됨)을 재구성하여 물리적 로봇 공학을 위한 월드 모델을 "실행 가능하게" 만드는 구체적인 문제를 효과적으로 해결할 수 있음을 보여준다.

저자들은 AGRA가 비디오-액션 불일치를 크게 완화하고 실행 성공률을 높이지만, 불일치를 완전히 해결하지는 못하며, 다양하고 복잡한 작업에서 남은 간극을 체계적으로 규명하고 해결하기 위한 추가 연구가 필요하다고 결론짓는다.