Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos

1. 문제 정의 (Problem Definition)

이 논문은 자세 중심 (Ego-centric) 시각에서 물체의 상태 변화 (State Transition) 를 이해하고 생성하는 것의 중요성을 강조하며, 이를 **자세 중심 지시 시각 상태 전이 (Egocentric Instructed Visual State Transition, EIVST)**라는 새로운 작업으로 정의합니다.

• 핵심 목표: 초기 상태 (Initial State) 와 목표 상태 (Target State) 의 두 프레임과 간단한 행동 지시문 (Action Instruction) 을 입력으로 받아, 두 상태 사이의 중간 프레임 (Intermediate Frames) 일련의 시퀀스를 생성하는 것입니다.
• 기존 기술의 한계:
  • 텍스트 기반 비디오 예측 (TVP): 단일 참조 프레임과 지시문만으로는 목표 상태가 명확히 드러나지 않아 생성 과정이 불확실합니다.
  • 비디오 프레임 보간 (VFI) 및 장면 전환: 단순한 운동이나 외형 변화를 다루며, 복잡한 물리적 변환 (예: 조리, 조작) 의 의미론적 (Semantic) 단계를 추론하지 못합니다.
  • 생성 모델의 환각 (Hallucination): 기존 VLM(시각 - 언어 모델) 은 사실에 기반하지 않은 비현실적인 전이 단계를 생성하거나 시간적 범위를 균일하게 할당하는 경향이 있습니다.

2. 방법론 (Methodology: EgoIn Framework)

저자들은 EIVST 문제를 해결하기 위해 EgoIn이라는 프레임워크를 제안합니다. 이 프레임워크는 '분할 정복 (Divide-and-Conquer)' 전략을 따르며, 크게 세 가지 핵심 모듈로 구성됩니다.

2.1. 전이 과정 모델링을 위한 TransitionVLM

• 목적: 초기 상태, 목표 상태, 행동 지시문을 분석하여 **K 개의 중간 전이 단계 (Transition Steps)**와 각 단계의 **시간적 범위 (Temporal Ranges)**를 추론합니다.
• 데이터 구축 (Data Curation): GPT-4o 를 활용하여 커스텀 데이터를 생성합니다.
  • 상태 인식 (State-aware): 객체 바운딩 박스를 입력하여 배경 노이즈를 줄이고 특정 객체에 집중하도록 유도합니다.
  • 전이 인식 (Transition-aware): 전체 비디오 시퀀스를 입력하여 중간 상태 변화를 정확하게 설명하도록 합니다.
• 파인튜닝: Qwen2.5-VL 7B 를 베이스로 하여, **LoRA (Low-Rank Adaptation)**와 Adapter를 사용하여 파인튜닝합니다. 이를 통해 환각을 줄이고 사실적인 전이 단계를 학습시킵니다.

2.2. 전이 조건부 비디오 생성 (Transition Conditioning, TC)

• 목적: 추론된 전이 정보를 비디오 생성 모델 (I2V) 에 **프레임 단위 (Frame-wise)**로 주입하여 생성 과정을 제어합니다.
• 구조:
  • 다중 모달 의미 상태 인코딩 (Multi-modal Semantic State Encoding): 초기/목표 프레임과 VLM 의 텍스트 출력을 결합하여 상태 인식 특징 (State-aware features) 을 추출합니다.
  • 범위 인식 전이 인코딩 (Range-Aware Transition Encoding): 추론된 단계별 시간 범위 ($R_j$) 를 기반으로 가우시안 분포에서 가중치를 재샘플링하여 각 프레임에 대한 전이 특징을 정제합니다.
  • 이 조건들은 U-Net 의 크로스 어텐션 (Cross-attention) 레이어에 주입되어, 각 프레임이 올바른 전이 단계에 해당하도록 유도합니다.

2.3. 객체 인식 보조 감독 (Object-aware Auxiliary Supervision, OAS)

• 목적: 생성된 비디오 내에서 조작된 객체의 외형 일관성 (Appearance Consistency) 과 부드러운 운동을 보장합니다.
• 구현:
  • 학습 시, Qwen2.5-VL 과 SAM2 를 사용하여 행동 지시문에 해당하는 객체의 마스크 (Ground-truth) 를 생성합니다.
  • U-Net 의 마지막 블록 뒤에 **로컬라이제이션 헤드 (Localization Head)**를 추가하여 예측된 확률 지도와 실제 마스크 간의 교차 엔트로피 손실 ($\mathcal{L}_{Loc}$) 을 최소화합니다.
  • 추론 (Inference) 시에는 추가적인 계산 오버헤드 없이 마스크를 사용하지 않습니다.

3. 주요 기여 (Key Contributions)

1. EIVST 작업 정의: 행동 지시문에 따라 초기/목표 상태 간의 의미 있는 중간 프레임을 생성하는 새로운 태스크를 정의했습니다.
2. EgoIn 프레임워크 제안:
   • TransitionVLM: 도메인 특화 파인튜닝을 통해 시각적 앵커 간의 전이 단계를 추론합니다.
   • Transition Conditioning (TC): 프레임 단위의 전이 조건을 생성하여 비디오 생성을 정밀하게 제어합니다.
   • Object-aware Auxiliary Supervision (OAS): 객체 일관성을 강화하는 보조 손실 함수를 도입했습니다.
3. 성능 입증: 인간 - 객체 상호작용 및 로봇 조작 데이터셋에서 기존 SOTA 모델들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: EpicKitchens-100, Ego4D FHO, DualArm, Bridge 등 4 개의 데이터셋에서 실험 수행.
• 정량적 평가:
  • FVD (Fréchet Video Distance): 다른 모델들 (FILM, TRF, GI, SEINE, DC-Interp) 보다 현저히 낮은 값을 기록하여 비디오 품질이 우수함을 증명했습니다.
  • VTQ, VTC, VIC: 시간적 품질, 텍스트 - 비디오 일관성, 이미지 - 비디오 일관성 모두에서 최고 성능을 달성했습니다.
• 정성적 평가:
  • 사용자 선호도 조사에서 **74.92%**의 투표율을 받아 가장 자연스럽고 논리적인 전이를 생성하는 것으로 평가받았습니다.
  • 기존 모델들은 복잡한 물리적 조작 (예: 냉장고 문 열기, 음식 넣기) 에서 비현실적인 중첩이나 단계 누락을 보인 반면, EgoIn 은 논리적인 단계별 전이를 구현했습니다.
• 애블레이션 연구:
  • TransitionVLM 을 제거하거나 TC 모듈을 사용하지 않을 경우 성능이 크게 저하됨을 확인했습니다.
  • 전이 단계 수 ($K$) 를 4 로 설정하고 가변적으로 적용했을 때 가장 최적의 성능을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 물리적 세계의 변환 과정을 이해하는 기계의 능력을 향상시키는 중요한 진전을 이뤘습니다.

• 로보틱스 및 embodied AI: 로봇이 인간의 행동을 시각적으로 모방하고 복잡한 조작 작업을 계획하는 데 필수적인 '시각적 가이드'를 제공합니다.
• 교육 및 디자인: 복잡한 물리적 과정 (조리, 조립 등) 을 시각적으로 시뮬레이션하여 교육 도구나 컴퓨터 지원 설계 (CAD) 에 활용 가능합니다.
• 기술적 기여: 단순히 프레임을 이어붙이는 것을 넘어, VLM 의 추론 능력과 확산 모델 (Diffusion Model) 의 생성 능력을 결합하여 의미론적으로 일관된 상태 전이를 생성하는 새로운 패러다임을 제시했습니다.

요약하자면, EgoIn 은 초기와 목표 상태 사이의 '빈칸 (In-Between)'을 단순한 보간이 아닌, 행동 지시문에 기반한 논리적 추론을 통해 채워냄으로써 인간과 기계 간의 행동 모델링 격차를 줄이는 획기적인 접근법입니다.