Target-Aware Video Diffusion Models

이 논문은 입력 이미지의 특정 객체 (타겟) 와 텍스트 프롬프트로 정의된 동작을 기반으로 인간과 객체의 상호작용을 정확하게 생성하는 '타겟 인식 비디오 확산 모델'을 제안하며, 이를 통해 3D 상호작용 모션 합성 및 장기 비디오 콘텐츠 제작 등 다양한 응용 분야에서의 성능을 입증했습니다.

핵심

🎬 "타겟 어웨어 비디오" (Target-Aware Video): 원하는 물건을 정확히 집어주는 AI 영상 제작기

이 논문은 **"원하는 물건을 정확히 집어주거나 조작하는 영상을 AI 가 자동으로 만들어주는 기술"**을 소개합니다. 기존 AI 영상 생성 기술이 "사람이 물건을 집는다"라고만 말하면, AI 가 임의의 물건을 집는 영상을 만들어냈다면, 이 새로운 기술은 **"저기 있는 (마스크로 표시된) 그 컵을 집어라"**라고 지시할 때, 정확히 그 컵을 집는 영상을 만들어냅니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 문제: "눈이 먼" 영화 감독 (기존 AI)

기존의 AI 영상 생성 모델은 훌륭한 영화 감독이지만, 지시사항을 잘 못 듣는 경우가 많습니다.

• 상황: 감독에게 "사람이 테이블에 있는 빨간 컵을 집어"라고 지시합니다.
• 기존 AI 의 반응: "네, 알겠습니다!" 하고는 사람 손에 파란 컵을 쥐거나, 아예 컵이 없는 빈 손으로 집는 시늉을 합니다. 혹은 화면에 없는 컵을 만들어내기도 합니다.
• 원인: AI 는 텍스트만 보고 상상하기 때문에, 화면에 실제로 어떤 물체가 있는지, 그 물체가 어디에 있는지 정확히 구분하지 못합니다.

2. 해결책: "눈가리개"와 "특별한 암호" (이 논문의 기술)

이 논문은 AI 감독에게 두 가지 도구를 주어 문제를 해결합니다.

① 눈가리개 (세그멘테이션 마스크)

• 비유: 감독에게 "이 물체가 중요해"라고 말하기보다, 그 물체 위에 초록색 스티커 (마스크) 를 붙여주는 것입니다.
• 효과: AI 는 이제 "아, 저 초록색 스티커가 붙은 물체가 '목표물'이구나"라고 정확히 알 수 있습니다. 사용자가 마우스로 한 번 클릭만 하면 (또는 자동으로) 그 물체를 표시할 수 있습니다.

② 특별 암호 ([TGT] 토큰)

• 비유: 대본 (텍스트 프롬프트) 에 **"그 사람, [목표] 물건을 집어"**라고 특별한 암호를 넣는 것입니다.
• 효과: AI 는 이 [목표] 라는 암호를 보고, "아! 이 암호는 저 초록색 스티커가 붙은 물체를 가리키는 거야!"라고 텍스트와 화면을 연결합니다.

3. 핵심 기술: "주목력 훈련" (크로스 어텐션 손실)

AI 를 단순히 마스크를 입력받는다고 해서 바로 잘하는 게 아닙니다. AI 는 어디를 봐야 할지 집중하는 법을 다시 배워야 합니다.

• 훈련 과정: 연구자들은 AI 가 "목표"라는 암호를 볼 때, 정작 초록색 스티커가 붙은 부분만 집중해서 보도록 강하게 훈련시켰습니다.
• 비유: 마치 학생에게 "이 문제의 정답은 A 지점에 있다"라고 가르치면서, A 지점만 볼 수 있도록 눈가리개를 씌우고 집중력을 기르게 하는 것과 같습니다.
• 결과: 이제 AI 는 "컵을 집어"라고 할 때, 화면에 있는 컵이 아닌 다른 물건을 집는 실수를 하지 않고, 정확히 표시된 컵을 집는 영상을 만들어냅니다.

4. 이 기술로 무엇을 할 수 있을까요? (실생활 적용)

이 기술은 단순히 영상만 만드는 게 아니라, 실제 로봇이나 게임 캐릭터를 조종하는 데도 쓰입니다.

• 로봇의 눈과 손 (3D 동작 합성):
  • AI 가 만든 영상을 보고 로봇이 "아, 사람이 저 컵을 어떻게 잡았지?"라고 배웁니다.
  • 비유: 로봇이 AI 가 만든 영상을 보고 "모방 학습"을 통해, 실제 물리 법칙을 지키면서 컵을 잡는 동작을 스스로 익히는 것입니다.
• 게임/영상 제작 (장기 영상 만들기):
  • 게임 캐릭터가 복잡한 미로 속에서 "저기 있는 열쇠를 찾아서 문을 열어라"라고 지시받으면, AI 가 캐릭터가 열쇠를 정확히 찾아가는 긴 영상을 만들어줍니다.
  • 비유: 게임 개발자가 매번 캐릭터의 손동작을 일일이 조절할 필요 없이, "저기 저 물건을 집어"라고만 하면 AI 가 알아서 자연스러운 동작을 만들어주는 것입니다.

5. 요약: 왜 이것이 혁신적인가요?

• 기존: "사람이 물건을 집는다" (무엇을 집는지 모름) → AI 가 임의로 결정.
• 이 기술: "사람이 저기 있는 (마스크로 표시된) 그 물건을 집는다" → AI 가 정확히 그 물건을 집음.

이 기술은 AI 가 단순히 영상을 만드는 것을 넘어, 우리가 원하는 대로 세상을 조작하고 계획하는 '지능형 비서' 역할을 할 수 있는 첫걸음입니다. 마치 AI 가 "이거만 해"라고 지시하면, 눈이 먼 상태에서 엉뚱한 일을 하던 과거와 달리, 정확히 손이 닿아야 할 곳을 보고 행동하는 똑똑한 도우미가 된 것입니다.

기술 요약

논문 요약: 타겟 인식 비디오 확산 모델 (Target-Aware Video Diffusion Models)

1. 문제 정의 (Problem Statement)

기존의 이미지-투-비디오 (Image-to-Video, I2V) 확산 모델은 텍스트 프롬프트와 입력 이미지를 기반으로 비디오를 생성하지만, 특정 객체 (타겟) 에 대한 명시적인 인식 (Target Awareness) 이 부족합니다.

• 현재 한계: 모델이 텍스트로 "상자를 들어 올린다"고 지시받았을 때, 장면 내 여러 상자 중 어느 상자를 조작할지 구분하지 못하거나, 텍스트에 묘사된 객체가 실제 입력 이미지의 객체와 일치하지 않는 환각 (Hallucination) 현상이 발생합니다.
• 기존 대안의 부족: 깊이 맵, 엣지, 광학 흐름, 모션 궤적 등 밀집된 구조적 단서 (Dense Cues) 를 사용하여 제어를 시도하는 방법들은 존재하지만, 이는 사용자에게 사전에 복잡한 모션 정보를 입력해야 하므로 고수준의 행동 계획 (Action Planning) 이나 로봇 제어와 같은 응용에는 적합하지 않습니다.
• 목표: 입력 이미지의 특정 객체 (분할 마스크로 정의됨) 를 명시적으로 지정하고, 텍스트 프롬프트로 행동을 지시했을 때, 배우 (Actor) 가 해당 타겟 객체와 정확하게 상호작용하는 비디오를 생성하는 모델을 개발하는 것입니다.

2. 방법론 (Methodology)

저자들은 기존 I2V 확산 모델 (CogVideoX) 을 기반으로 타겟 인식을 강화하는 새로운 아키텍처를 제안합니다.

• 마스크 기반 타겟 지정:

  • 입력 이미지의 특정 객체를 나타내는 이진 분할 마스크 (Segmentation Mask) 를 추가 입력으로 받아들이도록 모델을 확장합니다.
  • 마스크는 첫 번째 프레임의 이미지 조건과 채널 단위로 연결 (Concatenation) 되며, 나머지 프레임은 0 패딩으로 처리됩니다.

• 특수 토큰 ([TGT]) 및 텍스트 프롬프트 확장:

  • 텍스트 프롬프트에 "The person interacts with [TGT] object."와 같은 문장을 추가합니다.
  • 여기서 [TGT] 토큰은 타겟 객체의 공간적 정보를 인코딩하는 역할을 합니다.

• 크로스 어텐션 손실 (Cross-Attention Loss) 도입:

  • 단순히 마스크를 입력으로 주는 것만으로는 모델이 마스크 정보를 효과적으로 활용하지 못하므로, **크로스 어텐션 손실 (Attention Loss)**을 도입합니다.
  • 손실 함수: 비디오의 첫 번째 프레임에 해당하는 잠재 노이즈 (Latent Noise) 와 [TGT] 토큰 간의 크로스 어텐션 맵이 입력된 타겟 마스크와 정렬되도록 강제합니다.
  • 수식: $L_{attn} = E[\|A(z^0_t, [TGT]) - \tilde{M}\|^2_2]$
  • 이를 통해 모델이 텍스트 내 [TGT] 토큰을 마스크의 공간적 위치와 강하게 연관시킵니다.

• 선택적 손실 적용 (Selective Loss Application):

  • 효율성과 성능을 극대화하기 위해 모든 블록에 손실을 적용하는 대신, 가장 의미 있는 영역에만 적용합니다.
  • 어텐션 영역: Video-to-Text (V2T) 크로스 어텐션 영역에 손실을 적용합니다. (T2V 보다 비디오 잠재 표현에 직접적인 영향을 미치기 때문).
  • 트랜스포머 블록: 실험을 통해 타겟 인식에 가장 민감하게 반응하는 블록 (5 번부터 23 번 사이) 을 선별하여 손실을 적용합니다.

• 데이터셋 큐레이션:

  • BEHAVE 및 Ego-Exo4D 데이터셋에서 초기 프레임에 배우가 존재하지만 상호작용 전 상태이고, 이후 프레임에서 상호작용이 발생하는 1,290 개의 클립을 추출하여 학습 데이터로 구성했습니다.

3. 주요 기여 (Key Contributions)

1. 타겟 인식 비디오 확산 모델 제안: 분할 마스크와 텍스트 프롬프트를 결합하여 배우와 지정된 타겟 간의 상호작용을 정확하게 생성하는 최초의 프레임워크입니다.
2. 크로스 어텐션 손실 메커니즘: 마스크 입력을 효과적으로 활용하기 위해 [TGT] 토큰의 어텐션 맵을 마스크와 정렬시키는 새로운 손실 함수와 이를 적용할 최적의 모델 영역 (블록 및 어텐션 타입) 에 대한 포괄적인 분석을 제시했습니다.
3. 전용 데이터셋: 타겟 인식 모델 학습 및 평가를 위해 큐레이션된 새로운 데이터셋을 공개했습니다.
4. 실제 응용 사례:
   • Zero-shot 3D HOI 모션 합성: 생성된 비디오에서 3D 포즈를 추출하여 물리 기반 모방 학습 (Imitation Learning) 을 통해 로봇 제어에 적용 가능한 물리적으로 타당한 행동을 생성합니다.
   • 장기 비디오 콘텐츠 생성: 최소한의 사용자 입력으로 장면 탐색 및 객체 상호작용을 포함한 긴 비디오를 생성합니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • Contact Score (접촉 점수): 제안된 모델은 기존 베이스라인 (CogVideoX, Attention Modulation 등) 대비 Contact Score 에서 0.878을 기록하여, 타겟과의 정확한 상호작용 비율이 압도적으로 높았습니다. (베이스라인들은 0.56~0.64 수준).
  • Video Quality: 타겟 정확도가 향상되었음에도 불구하고, VBench 를 통한 비디오 품질 (주제 일관성, 배경 일관성, 동적 정도 등) 은 기존 모델과 유사한 수준을 유지했습니다.
• 정성적 평가:
  • 다중 객체 구분: 동일한 유형의 객체가 여러 개 존재하는 복잡한 장면에서도 마스크를 통해 의도된 특정 객체만 정확하게 조작하는 것을 확인했습니다.
  • 비인간 에이전트 일반화: 인간 상호작용 데이터로 학습되었음에도 불구하고, 동물이나 로봇 팔과 같은 비인간 에이전트에도 타겟 인식이 잘 적용되는 것을 보였습니다.
  • 드래그 기반 방법 비교: 드래그 (Drag) 기반의 편집 방법들은 큰 이동이나 복잡한 상호작용에서 실패하는 반면, 제안된 방법은 명시적인 모션 가이드 없이도 자연스러운 상호작용을 생성했습니다.

5. 의의 및 의의 (Significance)

• 비디오 생성 모델의 모션 플래너로서의 역할: 이 연구는 비디오 확산 모델을 단순한 콘텐츠 생성 도구를 넘어, 물리적 세계에서의 행동 계획 (Motion Planning) 도구로 활용할 수 있음을 증명했습니다.
• 로봇 공학 및 시뮬레이션: 생성된 비디오는 로봇이 복잡한 환경에서 객체와 상호작용하는 방법을 학습하기 위한 합성 데이터 (Synthetic Data) 로 활용될 수 있으며, 물리적으로 타당한 3D 모션 합성으로 이어집니다.
• 사용자 인터페이스의 간소화: 복잡한 모션 궤적이나 깊이 맵 입력 없이, 직관적인 분할 마스크 (클릭 한 번) 만으로도 정밀한 상호작용 제어가 가능해져 사용자 접근성이 크게 향상되었습니다.

이 논문은 비디오 생성 모델이 "무엇을" 생성할지뿐만 아니라, "어떤 객체와 어떻게" 상호작용할지 정밀하게 제어할 수 있는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.