Controlling Motion Transfer in Diffusion Transformers via Attention Heads

기술 요약: 디퓨전 트랜스포머의 어텐션 헤드를 통한 모션 전이 제어

문제 정의
디퓨전 트랜스포머(Diffusion Transformers, DiT)는 고품질의 시간적 일관성을 생성함으로써 비디오 생성 분야를 크게 발전시켰으나, 이를 **모션 전이(motion transfer)**로 확장하는 데에는 여전히 어려움이 있습니다. 모션 전이는 타겟 텍스트 프롬프트를 준수하면서 참조 비디오의 모션 역학을 엄격하게 따르는 비디오를 합성하는 것을 요구합니다. 기존의 DiT 기반 방식들(예: 노이즈 워핑, 회전 위치 임베딩 조작, 크로스 프레임 어텐션 최적화 등)은 종종 모션 충실도(참조 영상에 대한 시간적 준수)와 구조적 정렬(공간적 레이아웃 일관성)을 동시에 달성하는 데 실패합니다. 이러한 방법들은 모션 표현을 조작하지만, DiT 내부에서 모션과 구조가 어떻게 인코딩되는지에 대한 근본적인 이해 없이 작동합니다. 결과적으로, 생성된 비디오는 그럴듯해 보이지만 부정확한 궤적을 그리거나, 객체의 구조가 어긋나거나, 의미론적 불일치(예: 자동차가 회전하는 대신 직진하거나, 객체가 잘못된 위치에 나타나는 현상)를 보입니다.

방법론: HALO
저자들은 비디오 DiT의 헤드 수준 분석을 활용하여 정확한 모션 전이를 달고 달성하는 HALO(Head-Aware controllable motion transfer framework)를 제안합니다. 이 프레임워크는 어텐션 헤드 분석을 통해 도출된 두 가지 주요 통찰력을 바탕으로 작동합니다.

1. 특화된 헤드의 식별:

   • 모션 특화 헤드(Motion-Specific Heads): 저자들은 프레임 간에 강력한 패치 대응 관계를 보이는 어텐션 헤드의 하위 집합을 식별했습니다. 이 헤드들은 명확한 변위 맵(displacement maps)을 생성하여 모션 흐름을 정확하게 반영하며, 프레임 내 관계에 집중하는 공간 헤드와 구별됩니다.
   • 구조 특화 헤드(Structure-Specialized Heads): 또 다른 하위 집합은 공간 구조를 인코딩합니다. 이 헤드들은 **낮은 어텐션 엔트로피(low attention entropy)**를 특징으로 하며, 이는 날카로운 대각선 형태의 어텐션 패턴으로 나타납니다. 낮은 엔트로피는 집중된 구조적 정보를 나타내는 반면, 높은 엔트로피는 분산되고 노이즈가 섞인 신호를 나타냅니다.

2. HALO 프레임워크:
   HALO는 식별된 헤드들을 사용하여 모션 충실도와 구조적 정렬을 강제하기 위해 두 가지 메커니즘을 활용합니다.

   • 의미론적 인지 모션 가이드(Semantic-Aware Motion Guidance): 모션 전이가 의미론적으로 관련 없는 영역으로 넘어가는 것을 방지하기 위해(원시 변위 맵의 흔한 실패 사례), 이 방법은 **의미론적 대응(semantic correspondence)**을 사용하여 변위 맵을 정교화합니다. 이는 모션 특화 헤드로부터 크로스 프레임 어텐션을 집계하되, 디퓨전 특징에서 유도된 의미론적 유사성을 기반으로 가중치를 재설정합니다. 이를 통해 모션 큐(cue)가 단순히 시각적 유사성이 아닌 객체의 의미론적 특성과 일치하도록 보장합니다.
   • 선택적 구조 특징 주입(Selective Structural Feature Injection): 참조 비디오의 공간적 레이아웃을 보존하기 위해, HALO는 생성 과정에 참조 비디오의 밸류(value) 특징을 주입합니다. 결정적으로, 이 주입은 선택적입니다. 즉, 식별된 저엔트로피(구조 특화) 헤드의 특징만을 포함합니다. 이는 노이즈와 정체성 누출(identity leakage)을 억제하는 동시에 공간 구조를 강화합니다.

주요 기여

• 헤드 수준 기능 분석: 본 논문은 비디오 DiT를 어텐션 헤드 수준에서 분석한 최초의 연구로, 모션(시간적 역학 포착)과 구조(공형적 조직 인코딩)에 특화된 별개의 헤드 집합을 밝혀냈습니다. 이들은 효과적인 제어 프리미티브(control primitives)로 검증되었습니다.
• HALO 프레임워크: 의미론적 인지 변위 최적화와 구조 특화 헤드로부터의 선택적 특징 주입을 통합한 새로운 파라미터 프리(parameter-free) 프레임워크입니다.
• 영화 장면 데이터셋(Movie Scene Dataset): 저자들은 전문적인 영화적 조건과 복잡한 샷 구성을 중심으로 모션 전이를 위해 특별히 큐레이션된 새로운 데이터셋을 도입하여, 기존의 일반적인 벤치마크의 한계를 해결했습니다.

결과
표준 벤치마크와 새로운 영화 장면 데이터셋에 대한 광범위한 평가 결과, HALO의 우수성이 입증되었습니다.

• 정량적 성능: HALO는 높은 CLIP 점수(텍스트-비디오 정렬)를 유지하면서 모션 충실도(MF) 및 프레임 간 거리(FTD) 측면에서 최첨단(SOTA) 결과를 달성했습니다. 또한 텍스트 프롬프트 준수와 참조 모션 추종 사이의 트레이드오프를 성공적으로 균형 있게 조절하며, GWTF, RoPECraft, DiTFlow와 같은 베이스라인 모델을 능가했습니다.
• 정성적 개선: 시각적 비교를 통해 HALO가 일관된 객체 정체성, 정확한 모션 궤적, 보존된 구조적 레이아웃을 가진 비디오를 생성하며, 다른 방법들에서 나타나는 카메라 드리프트나 객체 중복과 같은 흔한 아티팩트를 피한다는 것을 보여줍니다.
• 강건성: 이 방법은 다양한 모션 복잡도(Easy, Medium, Hard)에 걸쳐 안정성을 보여주며, 폐쇄(occlusion) 및 고속 역학 상황을 효과적으로 처리합니다.
• 어블레이션 연구(Ablation Studies): 의미론적 정교화 과정을 제거하면 모션 불일치(예: 객체 모션 대신 배경 모션 발생)가 발생하며, 선택적 구조 주입을 제거하면 공간적 왜곡과 객체 중복이 발생합니다.

의의 및 주장
본 논문은 주요 기여가 제어 가능한 비디오 생성을 위한 해석 가능한 토대를 제공하는 데 있다고 주장합니다. DiT의 특정 어텐션 헤드에 걸쳐 모션과 구조가 본질적으로 분리되어 있음을 입증함으로써, 저자들은 모델을 재학습하지 않고도 정밀한 제어가 가능하다는 것을 보여주었습니다. 이 연구는 DiT의 내부 메커니즘을 헤드 수준에서 이해하는 것이 제어 가능한 비디오 생성을 발전시키는 데 필수적임을 시사합니다. 나아가, 도입된 영화 장면 데이터셋은 실제 제작 지향적인 조건 하에서의 모션 전차를 평가하기 위한 단계로 제시됩니다. 저자들은 자신들의 발견을, 발견된 내재적 분리(disentanglement)를 바탕으로 모션 방향 및 강도에 대한 명시적 제어와 같은 미세 조정 연구를 위한 개방적인 기초로 겸손하게 규정하고 있습니다.