1. 문제 정의 (Problem)

최근 비디오 생성을 위한 디퓨전 트랜스포머 (Video DiTs) 는 단일 객체나 인간의 생성에는 큰 진전을 이루었으나, 복수 인스턴스 (multi-instance) 간의 상호작용 (예: "누가 무엇을 누구에게 하는가") 을 정확하게 모델링하는 데에는 여전히 한계가 있습니다. 기존 모델들은 다음과 같은 두 가지 주요 실패 양상을 보입니다:

1. 의미론적 그라운딩 실패 (Semantic Grounding Failure): 프롬프트의 명사 (주어, 목적어) 나 동사 (상호작용) 가 비디오 내의 올바른 시각적 영역에 매핑되지 않음. (예: "남자가 병을 잡는다"는 프롬프트에서 남자가 아닌 다른 사람이 병을 잡거나, 상호작용 관계가 잘못 연결됨).
2. 의미론적 전파 실패 (Semantic Propagation Failure): 프레임 간에 주체와 객체의 바인딩 (binding) 이 유지되지 않아, 시간이 지남에 따라 정체성 혼란 (drift), 중복 생성 (duplication), 또는 할루시네이션이 발생함.

기존 연구들은 이러한 상호작용이 비디오 DiT 내부의 어텐션 (attention) 메커니즘에서 어떻게 표현되는지에 대한 체계적인 분석이 부족했습니다.

2. 방법론 (Methodology)

저자들은 Video DiT 가 상호작용을 어떻게 내부적으로 표현하는지 분석하고, 이를 개선하기 위해 MATRIX 프레임워크를 제안했습니다.

A. 데이터셋 구축: MATRIX-11K

기존 데이터셋은 상호작용에 대한 세밀한 캡션과 인스턴스별 마스크 트랙 (mask tracks) 이 부족했습니다. 이를 해결하기 위해 MATRIX-11K라는 새로운 데이터셋을 구축했습니다.

• 구성: 상호작용이 풍부한 캡션과 각 인스턴스 (주어, 목적어) 에 대한 프레임별 마스크 트랙을 쌍으로 구성한 11,000 개의 비디오.
• 큐레이션 파이프라인: LLM 을 사용하여 상호작용 동사와 인스턴스 ID 를 추출하고, VLM(시각 - 언어 모델) 과 SAM2 를 활용하여 마스크 트랙의 정확성을 검증하고 보정하는 자동화 프로세스를 적용했습니다.

B. 분석: 의미론적 그라운딩 및 전파

Video DiT 의 3D 풀 어텐션 (3D full attention) 메커니즘을 분석하여 두 가지 핵심 관점을 정의했습니다.

1. 의미론적 그라운딩 (Semantic Grounding): 비디오 - 텍스트 어텐션 (Video-to-Text Attention, $A_{v2t}$) 을 통해 텍스트 토큰 (명사, 동사) 이 올바른 시각적 영역 (주어/목적어 영역, 상호작용 영역) 에 집중하는지 분석.
2. 의미론적 전파 (Semantic Propagation): 비디오 - 비디오 어텐션 (Video-to-Video Attention, $A_{v2v}$) 을 통해 첫 프레임의 바인딩이 시간 흐름에 따라 일관되게 유지되는지 분석.

주요 발견: 상호작용 관련 어텐션은 모든 레이어에 분산되어 있는 것이 아니라, 소수의 상호작용 지배적 레이어 (Interaction-Dominant Layers) 에 집중되어 있음을 발견했습니다. 성공적인 생성에서는 이러한 레이어에서 어텐션이 명확하게 정렬되지만, 실패 사례에서는 그렇지 않았습니다.

C. MATRIX 프레임워크 (제안 모델)

위 분석 결과를 바탕으로, Video DiT 의 특정 레이어 (상호작용 지배적 레이어) 에서 어텐션을 마스크 트랙과 정렬시키는 정규화 기법을 도입했습니다.

• 아키텍처: 기존 CogVideoX-5B-I2V 모델을 기반으로 LoRA(Low-Rank Adaptation) 를 적용하여 파라미터 효율성을 높였습니다.
• 손실 함수:
  1. SGA (Semantic Grounding Alignment Loss): 비디오 - 텍스트 어텐션 ($A_{v2t}$) 을 통해 명사 토큰이 주체/객체 영역에, 동사 토큰이 상호작용 영역에 정렬되도록 유도.
  2. SPA (Semantic Propagation Alignment Loss): 비디오 - 비디오 어텐션 ($A_{v2v}$) 을 통해 프레임 간 인스턴스 트랙이 일관되게 유지되도록 유도.
• 구현: 어텐션 맵을 픽셀 공간의 마스크 트랙과 정렬하기 위해 경량의 인과적 디코더 (causal decoder) 를 사용하여 어텐션 스케일을 비디오 해상도에 맞췄습니다.

D. 평가 프로토콜: InterGenEval

기존 벤치마크는 전역적 정합성만 평가하여 상호작용의 세부 사항을 놓치는 문제가 있었습니다. 이를 위해 InterGenEval을 제안했습니다.

• KISA (Key Interaction Semantic Alignment): 상호작용의 전 (Pre), 중 (During), 후 (Post) 단계를 질문형식으로 검증.
• SGI (Semantic Grounding Integrity): 주어, 목적어, 동사의 그라운딩 정확도 평가.
• SPI (Semantic Propagation Integrity): 프레임 간 인스턴스의 등장/소멸을 감지하여 시간적 일관성 평가.
• IF (Interaction Fidelity): KISA 와 SGI 의 평균으로 최종 상호작용 충실도 점수 산출.

3. 주요 기여 (Key Contributions)

1. MATRIX-11K 데이터셋: 상호작용 인식 캡션과 멀티-인스턴스 마스크 트랙을 포함한 대규모 데이터셋을 구축하여 분석과 학습의 기반을 마련.
2. 체계적인 분석: Video DiT 내부에서 상호작용이 의미론적 그라운딩과 전파를 통해 어떻게 표현되는지 최초로 체계적으로 규명하고, 이를 담당하는 '상호작용 지배적 레이어'를 발견.
3. MATRIX 프레임워크: SGA 와 SPA 손실 함수를 통해 특정 레이어의 어텐션을 마스크 트랙과 정렬시키는 효율적인 정규화 방법 제안. 이는 LoRA 를 통해 경량화되어 적용 가능합니다.
4. InterGenEval: 상호작용의 정확성과 시간적 일관성을 정량적으로 평가할 수 있는 새로운 평가 프로토콜 및 메트릭 제안.

4. 실험 결과 (Results)

• 정량적 평가 (InterGenEval): MATRIX 는 CogVideoX, Open-Sora, TaVid 등 기존 SOTA 모델 대비 KISA, SGI, IF 점수에서 압도적인 개선을 보였습니다. (예: IF 점수 0.449 $\rightarrow$ 0.593, 약 32% 향상).
• 정성적 평가: 복잡한 상호작용 (예: 두 사람이 악수하기, 물건을 건네기) 에서 기존 모델들이 보이는 정체성 드리프트나 할루시네이션이 크게 감소하고, 프롬프트의 상호작용 의도가 정확하게 구현됨.
• 휴먼 평가: 인간 평가자 (Human Raters) 가 수행한 2AFC(두 가지 대안 강제 선택) 테스트에서 MATRIX 는 다른 모든 모델 대비 90% 이상의 승률을 기록하며 상호작용 정확도와 시각적 현실감을 인정받음.
• 일반화 능력: MATRIX 는 CogVideoX 뿐만 아니라 Wan2.1-14B-I2V 와 같은 다른 DiT 백본에도 플러그 앤 플레이 (plug-and-play) 방식으로 적용되어 성능을 향상시킴.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 모델이 "누가 무엇을 누구에게 하는가"라는 복잡한 상호작용을 어떻게 내부적으로 처리하는지에 대한 메커니즘을 최초로 규명했습니다. 단순히 데이터 양을 늘리는 것이 아니라, 모델의 어텐션 메커니즘이 상호작용을 담당하는 특정 레이어에 집중되어 있다는 통찰을 바탕으로, 마스크 트랙을 통한 직접적인 어텐션 정렬이라는 간결하고 효과적인 해결책을 제시했습니다.

이는 텍스트 - 비디오 생성 분야에서 상호작용의 정확성과 시간적 일관성을 동시에 확보하는 새로운 패러다임을 제시하며, 로봇 공학, AR/VR, 시뮬레이션 등 상호작용이 필수적인 응용 분야에 중요한 기여를 할 것으로 기대됩니다.