Pixel-level Scene Understanding in One Token: Visual States Need What-is-Where Composition

1. 문제 정의 (Problem)

로봇 에이전트가 동적인 환경에서 순차적 의사결정을 내리기 위해서는 스트리밍 비디오 관측으로부터 **시각적 상태 표현 (Visual State Representation)**을 학습하는 것이 필수적입니다. 기존의 자기지도 학습 (Self-Supervised Learning, SSL) 방법들은 다양한 비전 작업에 우수한 전이 능력을 보였으나, **"효과적인 시각적 상태가 실제로 무엇을 인코딩해야 하는가?"**에 대한 명확한 답을 제공하지 못했습니다.

저자들은 로봇이 환경의 역동성을 이해하고 미세한 변화 (예: 로봇 팔의 이동 방향) 를 감지하기 위해서는 단순히 시간적 상관관계나 패치 수준의 대응만으로는 부족하며, **"무엇이 (What) 어디에 (Where) 있는가"**를 결합한 픽셀 수준의 장면 구성 (Scene Composition) 정보를 상태 표현에 명시적으로 담아야 한다고 주장합니다. 즉, 장면 내 객체의 의미적 정체성 (Semantic Identity) 과 정밀한 공간적 위치를 동시에 인코딩해야만 시간 경과에 따른 객체의 이동과 상호작용을 정확하게 추론할 수 있습니다.

2. 제안 방법: CroBo (Methodology)

저자들은 위 문제를 해결하기 위해 CroBo라는 새로운 시각적 상태 학습 프레임워크를 제안합니다. CroBo 는 글로벌 - 로컬 재구성 (Global-to-Local Reconstruction) 목표를 기반으로 합니다.

• 핵심 아이디어: 전체 장면의 맥락을 압축한 **보틀넥 토큰 (Bottleneck Token)**이, 해당 장면에서 무작위로 잘려나온 **마스크된 로컬 뷰 (Masked Local Crop)**를 재구성하도록 학습시킵니다.
• 아키텍처 및 프로세스:
  1. 입력: 비디오 프레임에서 전역 소스 뷰 (Global Source View, $x_g$) 와 이를 잘라낸 로컬 타겟 뷰 (Local Target View, $x_l$) 를 생성합니다.
  2. 인코딩: 공유 가중치를 가진 시아메스 (Siamese) 인코더를 사용합니다.
     • 소스 뷰는 마스킹 없이 전체를 입력받아 **단 하나의 보틀넥 토큰 ([CLS] 토큰)**으로 압축합니다.
     • 타겟 뷰는 매우 높은 비율 (예: 90%) 로 패치를 마스킹한 후, 가시적인 패치 토큰만 인코더에 입력합니다.
  3. 디코딩: 디코더는 가시적인 타겟 패치 토큰과 소스 뷰의 보틀넥 토큰을 결합하여 마스킹된 타겟 패치들을 재구성합니다.
  4. 학습 목표: 재구성 손실 (MSE) 을 최소화합니다.
• 작동 원리: 타겟 뷰의 90% 가 가려진 상태에서 재구성을 수행하려면, 모델은 보틀넥 토큰을 통해 "이 잘린 영역이 전체 장면의 어디에 위치하며, 어떤 객체가 존재해야 하는지"를 추론해야 합니다. 이 과정이 반복되면 보틀넥 토큰은 장면 내 객체의 정체성, 위치, 그리고 공간적 배치에 대한 정밀한 픽셀 수준의 'What-is-Where' 정보를 압축적으로 인코딩하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 통찰: 로봇 학습을 위한 동적 장면 이해는 시간적 대응이나 패치 수준의 상관관계가 아닌, **픽셀 수준의 '무엇이 어디에 있는가 (What-is-Where)'**를 인코딩하는 시각적 상태 표현이 필요함을 규명했습니다.
2. CroBo 프레임워크 도입: 압축된 표현에서 가중 마스크된 로컬 뷰를 재구성함으로써, 장면 구성 (Scene Composition) 이해를 강제하는 자기지도 학습 프레임워크를 제안했습니다.
3. 성능 입증: 로봇 정책 학습 (Robot Policy Learning) 벤치마크에서 최첨단 (SOTA) 성능을 달성했으며, 학습된 표현이 장면의 픽셀 수준 구성을 보존하고 관측 간 "무엇이 어디로 이동하는가 (What-moves-Where)"를 효과적으로 추적함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 CroBo 를 다양한 벤치마크에서 평가하고 분석했습니다.

• 로봇 정책 학습 벤치마크 (Franka Kitchen & DeepMind Control Suite):

  • Franka Kitchen: 5 가지 작업 중 4 개에서 최상위 성능을 기록했습니다. 특히 'Micro open' (+13.6%), 'Knob on' (+7.2%), 'Light on' (+7.0%) 에서 이전 SOTA 대비 큰 개선을 보였습니다.
  • DeepMind Control Suite (DMC): 조작 (Manipulation) 과 보행 (Locomotion) 작업 전반에서 SOTA 를 달성했습니다. (예: 'reacher/easy' +8.3% 향상).
  • 확장성 (Scalability): ViT-S, ViT-B, ViT-L 등 다양한 모델 크기를 테스트했을 때, CroBo 는 모든 스케일에서 기존 방법 (SiamMAE, RSP, ToBo 등) 을 능가했습니다. 특히 작은 모델 (ViT-S) 이 큰 모델 (ViT-L) 을 사용하는 기존 방법들보다 더 좋은 성능을 보여, 성능 향상이 모델 크기 때문이 아닌 표현 학습의 우수성임을 입증했습니다.

• 정성적 분석 (Qualitative Analysis):

  • 재구성 시각화: CLEVR, DAVIS, Franka Kitchen 데이터셋에서 90% 가 마스킹된 이미지를 재구성한 결과, 보틀넥 토큰이 객체의 속성, 위치, 그리고 객체 간의 공간적 관계 (예: 사람과 말의 관계) 를 정확하게 복원함을 확인했습니다. 이는 모델이 장면의 미세한 구성 정보를 잘 보존하고 있음을 의미합니다.

• 지각적 직선성 (Perceptual Straightness):

  • 비디오 프레임 간 표현의 시간적 궤적을 분석한 결과, CroBo 는 DINOv2 나 CropMAE 에 비해 **더 낮은 곡률 (Curvature)**을 보였습니다. 이는 표현 공간에서 시간적 변화가 더 매끄럽고 선형적으로 이루어짐을 의미하며, 모델이 장면의 역동적인 변화 (무엇이 어디로 이동하는지) 를 일관되게 추적함을 시사합니다.

• Ablation Study:

  • 시간적 관계 (Time: 미래 프레임 사용) 와 공간적 관계 (Crop: 잘라낸 뷰 사용) 를 비교한 결과, Crop 기반의 글로벌 - 로컬 관계가 시간적 단서를 사용하지 않음에도 동적 작업에서 더 우수한 전이 성능을 보였습니다. 이는 'What-is-Where'에 대한 명확한 공간적 학습이 역동성 이해의 핵심임을 뒷받침합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 로봇 학습 및 세계 모델링 분야에서 시각적 상태 표현의 본질에 대한 중요한 통찰을 제공합니다. 단순히 시간적 흐름을 학습하는 것을 넘어, 공간적 맥락과 객체 정체성을 통합한 'What-is-Where' 표현이 동적 환경에서의 의사결정에 필수적임을 강조합니다.

CroBo 는 이를 달성하기 위해 글로벌 맥락에서 로컬 세부 사항을 재구성하는 새로운 학습 목표를 제시했으며, 이를 통해 픽셀 수준의 장면 구성 정보를 보존하는 압축된 상태 표현을 학습했습니다. 그 결과, 복잡한 로봇 조작 및 보행 작업에서 최첨단 성능을 달성함으로써, 효과적인 시각적 상태 표현이 로봇의 순차적 의사결정 능력을 획기적으로 향상시킬 수 있음을 증명했습니다. 이는 향후 동적 환경에서의 자율 에이전트 개발에 중요한 방향성을 제시합니다.